麻省理工新AI，玩桌游会使诈，平均胜率超人类玩家
麻省理工学院的研究人员近日开发了一套会玩“阿瓦隆（Avalon）”桌游的 AI 系统，名为 DeepRole。它可以在遵守所有游戏规则的前提下，在阿瓦隆多人在线游戏网站 ProAvalon.com 上跟 0-4 名人类玩家同场竞技，有些是它的队友，有些则是对手。
在超过 4000 多场游戏中，无论所处哪个阵营，队友是 AI 还是人类，DeepRole 取得的平均胜率都超过了人类玩家。而且数据统计显示，如果用 AI 替换一名人类玩家，所处阵营的胜率最高可以提高 12%。虽然被替换玩家的游戏水平不详，但超过 10% 的稳定胜率提升说明 AI 的表现已经超出了普通玩家。
这项研究是一个更广泛的项目的一部分，该项目旨在更好地模拟人类如何依据社会反应做出决定，从而帮助开发能够更好地理解、学习人类，并与人类合作的机器人。
在下个月的神经信息处理系统大会（NeurIPS）上，麻省理工学院研究团队将进一步展示 DeepRole。目前研究成果已经以预印本的形式发表在 Arxiv 上。
图 | ProAvalon.com 的游戏界面（来源：YouTube）
“阿瓦隆”的游戏规则
桌游“阿瓦隆”的全称是“抵抗组织：阿瓦隆（The Resistance: Avalon）”，类似于“狼人杀”。一局游戏由 5-10 人组成，每人有一张身份牌、一张成功票和一张失败票。所有人被划分为抵抗组织和间谍两个相互对立的阵营。前者希望任务成功，后者希望任务失败。
每局游戏共有 5 轮任务，玩家们轮流担任队长，负责指派 3-5 个人行使投票权，决定该轮任务成功与否。只要有一张失败票，该任务就算失败。
游戏的核心角色是抵抗组织阵营的“梅林（Merlin）”和间谍阵营的“刺客（Assassin）”。“梅林”知道谁是间谍，因此可以不让他们执行任务，确保任务 100% 成功，但也不能做的太明显，将身份暴露给间谍阵营会引来“刺客”的刺杀。
抵抗组织阵营的玩家在执行任务时只能投成功票，获胜条件是三轮任务成功。而间谍阵营玩家可以视情况投失败票或成功票（隐藏身份），获胜条件是三轮任务失败或完成对“梅林”的刺杀（正确找出“梅林”是谁）。
这是一种明显的信息不对称游戏，考验玩家在短时间内收集信息并加以分析和推理的能力。
对于 AI 来说，想要玩好这类游戏，最难的一环就是如何区分阵营，尤其是在玩家会刻意隐藏身份的前提下找出谁是队友，谁是对手。
“人类向他人学习并与之合作，使我们能够共同实现一个人无法独立完成的事情，”研究团队成员 Max Kleiman-Weiner 表示，“像『阿瓦隆』这样的游戏可以更好地模仿人们在日常生活中所经历的动态社交环境。无论在幼儿园还是职场，我们都必须弄清楚哪些人与自己一组，可以一起共事。”
DeepRole 的设计原理
研究团队出于概念验证的原因稍微简化了游戏，DeepRole 被限定在 5 人局中，因为拥有特殊能力的角色会随着人数的增加而增加，使游戏的不确定性和复杂程度大幅上升，但其他规则没有任何变化。
在开发 DeepRole 的过程中，研究人员使用了一种常见的“反事实遗憾最小化（CFR）”的游戏计划算法，通过反复与自己对战来学习游戏，同时还引入了演绎推理（Deductive Reasoning）的技巧，使其具备从已有假设或前提推导出新结论的能力，比如 AI 看到任务中出现了一张失败票，就能推断出必然至少有一名间谍的结论。
在游戏中，CFR 会前瞻性地创建由线和节点组成的“游戏决策树”，整合了每个玩家在未来每个决策点可能采取的所有动作，以描述每个玩家可能做出的举动。
在进行数十亿次的游戏模拟时，CFR 会注意哪些动作增加或减少了获胜的机会，反复修改其策略以包含更多的好决策，最终选择最优解。
虽然与围棋或者扑克相比，“阿瓦隆”的游戏规则并不复杂，但由于每轮任务都可以选择不同的几个人，而且通过集体投票表决还可以最多否决五次队长的提议，因此在一局游戏中，其状态空间包含 10^56 组不同的信息集，甚至超过了国际象棋的状态空间（10^47）。
图 | DeepRole 的决策树和推断流程图（来源：MIT）
为了缩小决策树的尺寸，优化寻找最优解的过程，研究团队还开发了价值网络，配合 CFR 共同使用。
在训练过程中，DeepRole 没有借助任何人类玩家的数据，仅通过自己扮演两个阵营的角色来“左右互搏”。它会通过决策树来预测每个玩家将要做什么，每一个分支都代表着玩家的不同策略，而树上的每个节点都有对应的价值，是 AI 对选择这条策略的预估回报。
理论上，一条分支的整体价值越高，意味着对应阵营的获胜的可能性就越大。
在游戏的执行任务环节，DeepRole 会以自己阵营为基础，用决策树中的选择对比每个玩家的真实选择。如果玩家做出的选择和 AI 预期的不一样，那么该玩家就可能是在对立阵营。随着游戏的进行，它会积累更多的数据，对玩家身份的判断也会更加准确。最终，这些概率信息会用于更新 AI 的策略，以增加其获胜机会。
与此同时，AI 还会使用相同的技术来估计第三人视角的观察者如何看待自己的行为。这有助于判断其他玩家的反应，从而做出更明智的决策。
“如果一个两人执行的任务失败，那么合理的推断是其中至少有一名间谍。AI 未来很可能不会在同一任务中同时带上这两人，因为它知道其他抵抗组织阵营的玩家会觉得这个提议很糟糕，”论文的第一作者 Jack Serrino 解释道。他也是狂热的“阿瓦隆”游戏爱好者。
玩法高端，胜率不俗，还不用沟通
在真实测试中，从未跟人类一起练习的 DeepRole 表现不俗。
在一局玩家上传的视频中，AI 扮演的“梅林”甚至懂得高端玩法：人类玩家在后期判断出了哪三个人是好人（抵抗组织），于是派这三个人执行任务，“梅林”在明知道这三人出任务绝对安全的情况下，依然不断否决提议，以混淆间谍的判断，让他们分不清谁是“梅林”，最终成功避免被刺杀。
超过 4000 场的游戏统计数据显示，在一局有 5 名人类玩家的游戏中，如果用 AI 替换其中之一，其所处阵营的平均胜率会比替换前高出约 12%。反之，在一局有 5 个 AI 的游戏中，如果用人类玩家替换其中之一，其阵营的平均胜率则会下降约 8%。
尽管玩家水平参差不齐，没有一个衡量标准，但超过 10% 的胜率差距的确能体现出 DeepRole 的表现不俗。
图 | 在不同阵营，DeepRole 和人类的胜率对比（来源：MIT）
值得一提的是，DeepRole 在游戏过程中不会与其他玩家交流，依旧能取得不错的成绩。通常来说，沟通是“阿瓦隆”等桌游的关键组成部分。在游戏中，人类玩家可以通过游戏平台的文字框相互交流。
“但事实证明，仅凭观察玩家的行为，AI 就能够与其他人很好地合作。这很有趣，因为人们倾向于认为这样的游戏需要复杂的沟通策略，”Kleiman-Weiner 表示。
接下来，研究团队将尝试让 DeepRole 使用简单的文字进行交流，例如给出自己对玩家阵营的看法——这些信息已经以概率的形式存在于 AI 的决策树当中了，但需要按照概率配上正确的文字。
除此之外，他们还想让 DeepRole 学习更强调沟通、社交和推理的“狼人杀”。这对沟通能力提出了更高的要求，因为它需要学习如何争论并说服其他玩家，涉及到的推理因素也更复杂。
“在这类游戏中，还有很多难点需要克服，但沟通绝对是最关键的因素，”Serrino 强调。
卡牌类桌游？黑骑士科技的另类玩法
本文作者严雪丽为盐科技资深编辑。
成都——当盐科技记者见到林旭的时候，他穿着黑色的衣服、黑色的裤子，就连拖鞋都是黑色的。一身黑的打扮就像是他公司的名字，成都黑骑士网络科技有限公司（以下简称“黑骑士科技”）。
“在给公司取名的时候，我们团队当时的四个人都在群里讨论，每人说一个名字，然后投票。因为黑骑士是我说的，所以大家都愉快的接受了。”作为创始人兼CEO的林旭，笑着告诉盐科技。
这是一群85后创办的公司，至于创业的原因，林旭笑着表示，其实没有原因。如果一定要加原因，那可能就是他当时太闲了。不管是从公司名字，还是创业原因，亦或是产品选择上，林旭从来不走寻常路。
到底哪里不寻常？市场是否又可以接受他的不寻常？
太闲了，不如创个业
2008年，从福州第二高级技术学院毕业的林旭，在涉及游戏行业前做过许多工作。“我在福州是学平面设计的，但我毕业之后也做过本职工作，还做过总经理助理和印刷厂副厂长。”2011年之前的这些从业经历，并没有让林旭找到特别喜欢的，倒是让他想起了读书时自己编的小游戏。
“我在读书的时候，应该兴趣就自己在66RPG那种有游戏编辑器的游戏网站上，去设计和制作小游戏，自己编来自己玩。但当时都是自己玩了就算了，也没有想到以后要走这条路，更不会想到说要用游戏来赚钱。”林旭笑着告诉盐科技，虽然那个时候没有会在游戏行业工作的想法，但他到了成都之后却进入了游戏美术外包公司。
2009年，从福州到成都准备进修平面设计的林旭发现，成都的平面设计并没有他想像中那么好：“成都的平面设计很一般，想着都来了，我就把机构里的所有学科都学了一遍。包括游戏美术和室内设计。”也是在学习游戏美术的过程中，林旭认识了他后来创业的小伙伴，何祺夜。
学完机构里的学科之后，林旭生病了。“病了之后就被我爸抓回福州了。”2011底，在家呆了一年半的林旭有一天在QQ上发现何祺夜的留言。“他知道我喜欢游戏，他说成都的游戏公司很多，问我要不要过来工作。”收到何祺夜邀请的林旭心动了，便翘班跑到了成都，到了成都林旭进入了何祺夜当时所在一家游戏美术外包公司。
“我当时在那家公司呆了一年，在哪里既做UI、特效、场景、策划等等。后来因为我个人原因离开了那家公司。”林旭告诉盐科技，离开那家公司，是因为他当时病了，要请很久的假住院，便辞职了。辞职两个星期后，何祺夜也辞职了。
在辞职之前，林旭完全没有创业的想法，真正有创业想法是他生病期间躺在病床上的时候想到的：“当时我辞职了，又在生病，觉得生活很无聊。加上那个时候认识 的朋友都没有工作，我想思考，大家可以聚在一起做些什么呢？就想到了创业。”有了创业的想法之后，林旭在做游戏和做游戏美术外包中选择了游戏。
“我之前的公司就是做游戏美术外包的，所以我了解做游戏美术外包经常会收到很坑爹的需求。比如，发一个需求过来让你做，你做出来了，他们又觉得这个不是他们的效果，就会要求改，改多了谁都烦。做游戏的话，至少不会收到很坑爹的需求。”
确实了创业的方向后，林旭找到了当时同样没有工作的三个人。
招聘首选小网站
“我们现在的主策和偏执行还兼美术的策划，以及祺夜和我在当时都没有工作。我把我创业做游戏的想法和他们一说，他们也觉得还不错。”彼时是2011年12月，在确定了其他三个人的想法后，林旭开始着手注册公司。
一直到2012年5月，产品才正式进入研发阶段。“在产品研发之前，我们注册公司、找办公场地、买设备、招人以及做产品策划。”彼时，林旭自己存的30万元启动资金已经所剩无几。林旭表示，这些钱主要是花在人员的工资和购买电脑之类的设备上。
在资金和产品的策划上林旭并没有特别的花费精力，倒是人员招聘上，林旭摸索出了一套自己的方法。“在资金上不太着急，是因为后来我给家人说我创业开了一个游戏公司，给他们讲游戏公司赚钱的例子，问他们要不要投资，然后家人就给了70万。在策划上，则是因为在公司成立之前，我们策划有一个想了很久的产品，他给我们说了之后，我们都觉得还不错，所以那段时间除了各种杂事以外，策划还在写产品策划。”
在招聘人员上，林旭的路法和所有公司都一样：网上招聘和朋友推荐。“我们最开始在所有可能涉及到的网站上发求职简历，不管是大的小的都发。但最后我们发现，大网站招来的人质量并不好。很多没有达到标准阶段，但是会在简历上伪装成高手。比如之前我们面试了一个人，他的简历很牛逼，说开发过哪些游戏。但是来面试的时候，做考题才发现，他什么都不会，月薪还要求上万。”林旭苦笑的摇摇头说，这种现象在游戏公司中并不少见。
但让林旭惊喜的是，他们在不网站上招来的人很好：“我发现，游资网和第九游戏资源网里面活跃的高手很多。这些和游戏相关的网站，大家都会去看贴，我在上面 发的招聘信息，他们看到了会来联系，态度也比大网站的好。”林旭分析认为，大网站是企业找求职者，小网站是求职者主动联系企业。
2012年5月，产品正式研发时，林旭的团队从最初的四个增加到了8个。现在黑骑士科技有四个人都是从小网站上招来的，其中包括三个程序。
招到了人，注册了公司，找到了办公室，有了产品的大框架，一切准备就绪后，林旭他们正式投入了研发。
具有卡牌原素的桌游
“我们这款游戏中文名叫《魔卡世纪》，英文名叫《Sommoner's Age》。是一个竞技类的桌游，是计时对战，而不是像扑克牌那种，你一张我一张的来。游戏的大框架又是卡牌，玩家去收集各种各样的卡牌，再去战斗。赢了就可以具备拿到更好卡牌的条件，就能去拿更好的卡牌，然后再去战斗。”当时选择这类游戏，林旭的想法有两点：1、当时手游市场已经很明显，用户倾向于玩这种游戏。2、这个方法在卡牌中很创新。
2014年5月，研发整整两年《魔卡世纪》开始了测试。“我们最早的计划就是做三四个月，我们想着最晚2013年肯定能上线，但期间改了太多东西，就推迟到了现在这个时间。”谈到产品的修改，林旭表示，虽然改的很多，但还没有到伤筋动骨的阶段。
“我们卡牌中有合成和附魔两个体系，这两个体系在最初设计的时候没有放进去，而是想着在最后做完了再放。但最后导致的结果就是，我们的战斗系统出了问题， 玩家不需要用到这两个功能就可以直接通关。但这两个系统对整个游戏本身又是有用的，所以我们就必须要去改战斗系统，把他们的数值和需求重新调整。光这一 块，我们就改了一个月。”
虽然改的不是很顺利，但也并没有出现大的问题。“我们整个游戏框架都是一步一步来的，先搭一个形状，再根据这个形状加工，再加工。就像捏泥人，开始拿泥巴捏一个人物形状。这个形状没问题了，再去雕他的五官 ，五官雕好之后，再给他上色，上色之后再拿去烤。我们当时的情况是，发现哪里有缺陷，就立刻去补，补完之后再上釉。”
除了一些系统的改动以外，在PVP的竞技场上，林旭他们团队也改了很多。“最初的版本，有人对机器人的排行榜。后来我们就砍 掉了，觉得和机器人打，玩家也会觉得没意思。还有人对人的竞技场，当时那个竞技场有一点特点，玩家和玩家打，赢的玩家可以抢夺失败玩家手里的牌。后来我们 担心这个太狠了，会吓跑一些玩家。因为赢了的玩家可以抢到对方的牌值几千人民币。”
为了照顾到大多数玩家，林旭他们又开了一个竞技场：“这是个大的竞技场，这个竞技场和可以抢牌的竞技场不在一个画面，这个竞技场会和平很多。”但这样，却 让很多玩家给出不好的反馈。“有玩家反应，他们看到拆成两个的竞技场会有点晕，我们就把两个竞技场拼成一个界面了。”在观察了玩家的反应后，林旭他们发 现，玩家会更喜欢可以抢牌的竞技场。
林旭对盐科技说，很多系统他们一开始想的时候挺好的，但是在做的时候不是很好。“很多零碎的小的趣味性系统，做的时候发现，要把这些系统在游戏里实现并不容易，因为它会和一些系统产生冲突。”
“我们当初是要做一个探索系统，那款系统能够做好，可以让我们游戏趣味性变的很高。但我们第一版本出来的时候，并没有很好的效果。我们还改，改了发现效果 依然也不好。我们就砍掉了，因为担心在这里面耽误的时间会导致变数越来越大。我们后面考虑的是，我们还没有很大的实力可以把两个无关的系统整合在一起，这 个其实有一些很强大的游戏制作人会这么干。他们把两个无关的东西整合在一起之后，用户就会觉得很新鲜。”
2013年底，把一些小的趣味性系统去掉，再把原来的系统做了完善。林旭便开始和之前参加活动认识的一些运营商联系。
代理也要创新，不赚也不能亏
同样是2013年底，在接触了大量的运营商之后，林旭开始意识到，他们的游戏可能并不适合中国玩家。“运营商都觉得我们游戏 创新度太高，中国玩家接受不了。因为国内的卡牌是自动战斗的，但我们的那款卡牌游戏，是一张卡牌上下左右都有数字。玩的时候，别人的九宫格旁边放一张，如 果数字比他大，这张牌就是对方的了。当把九宫格填满的时候，谁的比分高谁就赢。这是一款需要动脑子的游戏。但国内的玩家不喜欢动脑子。”
林旭也确定他们的游戏并不适合上国内，便把目光放到了海外市场。“我们最开始在国内接触了很多运营商，包括触控、360、91、 北京掌娱无限和杭州边锋网络科技有限公司等等。印象比较深的是触控，触控拖我们很久，我去北京见他们的时候，他们不聊重点，带我参观公司。等我确定了代理 商，要签合同的时候，他们又说在签之前再聊一下，但聊来聊去还是没聊重点，没说具体的运营方式等等，最后林旭他们就把游戏带给了北京掌娱无限。”
选择做北京掌娱无限，林旭的原因很简单：“他们一开始就直奔主题，告诉我们这款游戏怎么运营、会配哪些能力、海外怎么推广、翻译配备等等。”和北京掌娱天下确定了代理之后，林旭准备赶往杭州见杭州边锋网络科技有限公司谈投资的事。
“当时北京掌娱天下想让我在北京玩几天，我说要去杭州，他问去做什么，我说去聊投资，他就说，我要投资可以找他。最后就确定除了代理我们产品，还投了我们100万元。”林旭摇了摇头。
在代理上，林旭并没有走传统游戏公司的方法：拿代理金或者分成。而林旭则选择了新方式：不拿代理金，按产品修改成本收费和4：6的分成。“我 们分析如果拿代理金的话，会受很多制约，一笔代理金还不够后面维护的钱。所以我们不拿代理金，把维护成本算一算，然后和他们谈维护时间，按维护时间收费。 我们没想在这一块去赚他们的钱，我们更多的想的是在分成那一块和他们细谈，如果连拿分成的信心都没有，就扔给别人，别人也要被坑。”
除了在代理上不走寻常路以外，在美术外包上林旭也另辟捷径。
“我们现在美术人员有四个，大部分是自己的美术人员画的。其他的都是外包的。”但在外包上，林旭也没有选择传统的外包公司，而是选择找人接私单。
“我们的人是在美术界挺有名气的P（pixiv）站上找的，那上外国人建立的网站，里面有很多国 外的游戏界美术大师，我们就找里面的高手接私单。找这些高手接单不像找美术外包公司，这个是可以看到实力的，但外包公司看不到实力。而且外包公司有很多美 术人员，可能会出现一种情况就是，交出来的画，有高手画的也有新人画的，质量参差不齐。但如果找人接私单，价格会便宜很多，而且有交情之后让他们帮点小忙 是没问题的。”林旭向盐科技展示他们最新的一张人物图。
“这张画的市场标准价是2000元左右，但我们找私人画的是几百元到一千元，比外包公司便宜。”
最后，林旭聊到，游戏圈里走寻常路的其实也不多。“只是说做卡牌的很多，以至于那段时间我们谈代理很不好谈。我给别人说我们是卡牌，别人就会没兴趣。但说我们是桌游，他们就会惊讶一下。卡牌现在已经被做烂了。”
【微信yankejicn】
相关问答
开元棋脾558cc新品亮相，高品质桌游体验，性价比之选!【1分...
图吧中国»重庆地图»重庆市居委会»开元棋脾558cc新品亮相,高品质桌游体验,性价比之选!开元棋脾558cc新品亮相,高品质桌游体验,性价比之选!信息更新时间:...
