索尼的AI车手击败顶级人类玩家
还记得柯洁吗？
5年前，柯洁身为中国排名第一的职业九段棋手，围棋世界史上最年轻的五冠王，成为了第二次人机大战的主角。
让人无奈的是，Alpha Go实在是太完美了，曾击败李世石的它再次以3：0击败了柯洁。赛后，柯洁泪洒赛场的照片传得满世界都是。
除了围棋之外，人工智能在许多游戏中都击败了人类，包括国际象棋、扑克等等。现在，人工智能甚至可以在经典的赛车游戏Gran Turismo上获得人类难以企及的高分。
01 人工智能又一次里程碑式的成就
索尼在前不久宣布，其研发人员已经开发出一种名为GT Sophy的AI系统。GT Sophy 是一种自主型AI，利用索尼 AI、PDI 和 SIE 合作开发的新型深度强化学习平台进行训练。各方通过汇集基础 AI 研发方面的专业知识、超逼真的真实世界赛车模拟器和大规模 AI 培训的基础设施，为GT Sophy项目的成功做出了贡献。
据称，该系统控制的AI赛车手在超车方面表现突出，能够在Gran Turismo Sport比赛中击败顶级人类车手。
关于这项成就，难免会有人认为这对于人工智能而言是一个简单的挑战。毕竟，凝聚人类智慧的围棋看起来比赛车游戏要复杂很多，而赛车仅仅是速度和反应时间的问题，因此人工智能应该更容易掌握。但赛车游戏和人工智能领域的专家表示，GT Sophy的成功是一个重大突破，这意味着人工智能开始在游戏中表现出对战术和战略的掌握。
对于这项突破，斯坦福大学汽车教授J. Christian Gerdes在科学杂志《自然》的一篇社论中写道："在面对面的比赛中如此巧妙地超越人类驾驶员代表了人工智能的一项里程碑式的成就。"的确，GT Sophy在赛道上的成功表明，神经网络有朝一日可能会在自动驾驶汽车软件中发挥比今天更大的作用。
02 GT Sophy的运作逻辑
GT Sophy使用一种称为强化学习的方法进行训练，这本质上是一种试错的学习模式。具体来说，AI赛车被扔进一个没有指令的环境中，并因达到某些目标而得到奖励。
在GT Sophy的案例中，索尼的研究人员表示，他们会非常仔细地制定奖励规则，例如微调碰撞的惩罚。通过规则的设定来塑造一种足够激进的驾驶风格，以赢得胜利。不过，索尼的研发人员同样会设置相关的程序，来避免AI欺负新手赛车玩家。
使用强化学习模式后，GT Sophy只需几个小时的训练就能在赛道上顺畅驰骋，并且能在一两天内比95%的人类车手更快。经过大约45000个小时的总训练，GT Sophy已经能够在三条赛道上实现超越人类顶级玩家的表现。（对于Gran Turismo Sport的玩家来说，有问题的赛道是Dragon Trail Seaside，Lago Maggiore GP和Circuit de la Sarthe）
在针对人类测试AI的表现之前，研发人员普遍认为，相比人类玩家，AI具有许多天生的优势。对此，索尼的测试人员承认，GT Sophy确实具有一些优势，例如带有赛道边界坐标的精确路线地图以及掌握"有关每个轮胎的负载，每个轮胎的滑移角度和其他车辆状态的精确信息"。但是，为了让竞争更公平，他们在两个特别重要的因素：动作频率和反应时间上对AI进行了相应的调整。
GT Sophy的输入上限为10 Hz，而理论最大人为输入为60 Hz。基于此，这会导致人类驾驶员在高速行驶时表现出更平稳的动作。对于反应时间，GT Sophy能够在23-30毫秒内对比赛环境中的事件做出反应，这比专业运动员估计的200-250毫秒的最高反应时间要快得多。针对这一点，研究人员为AI车手增加了人为延迟，将GT Sophy的反应时间设置为100毫秒、200毫秒和250毫秒。但是，这三项测试都达到了超越人类水平的单圈完成时间。
03 AI技术可以提升游戏的生命力
除了技术上的突破，PlayStation下属的游戏开发工作室PDI和AI开发团队之间的深入合作展示了AI技术将如何为玩家提供全新的游戏体验。据索尼游戏业务相关人士透露，索尼AI和PDI正在探讨如何把GT Sophy整合到"Gran Turismo "的未来系列中。
对此，索尼集团董事长吉田宪一郎表示：“索尼的企业宗旨是‘用创意和科技的力量感动世界’，这次我们为游戏玩家构建游戏AI的跨团队合作，是索尼身为一家创意娱乐公司可提供的独特价值，也为全世界的GT粉丝提供了更加丰富的体验。”
索尼AI首席执行官北野宏明则说：“GT Sophy是AI领域的重大技术突破，开发它的根本目标不是为了战胜人类玩家，而是希望可以给玩家提供一个可资激励的对手，以此来不断提升玩家的技术和创造力，从而让游戏的生命力得到增强。”
事实上，除了为游戏界做出贡献外，GT Sophy的技术突破为自动赛车、自动驾驶、高速机器人和控制等领域都将带来新的机遇。
本文来自微信公众号“Techsoho”（ID:scilabs），作者：徐浩，36氪经授权发布。
相关推荐
索尼的AI车手击败顶级人类玩家
Nature封面：人类又输给了AI，这次是玩《GT赛车》游戏
谷歌AI在星际争霸II中10:1击败职业玩家
腾讯AI击败王者荣耀职业队，全靠自学、策略清奇，一天训练量为人类440年
“击败星际争霸II职业玩家”的AlphaStar是在作弊？
腾讯AI单挑碾压王者荣耀职业玩家：人类15场只能赢1局，坚持不到8分钟
DeepMind、OpenAI、FAIR，谁是全球最顶级AI实验室？
完胜星际顶级人类职业选手，AI“星际指挥官”究竟是何来历？
谁是全球最顶级AI实验室？DeepMind、OpenAI和FAIR霸榜前三
索尼宣布成立AI事业部，以激发人类创造力为使命
网址: 索尼的AI车手击败顶级人类玩家 http://m.xishuta.com/newsview60951.html
