文章的结尾，再行抛一个问题：大家在玩电子游戏的时候，一门心思投放进来，不会发现自己显然停不下来，是什么原因造成的呢？这个问题有可能有些明确，无法得出一个清楚的答案。但如果你想把相接新任务，升级或者再行玩游戏一把等一系列总结一起，最简单的说明就是“好奇心”——只是想要想到接下来不会再次发生什么。事实证明，在指导人工智能玩游戏电子游戏时，好奇心是一个十分有效地的动力。

非营利人工智能研究公司OpenAI本周公布的一项研究说明了一个具备好奇心的AIagent如何攻下经典的1984Atari游戏Montezuma＇sRevenge。熟练掌握Montezuma＇sRevenge却是人工智能的众多变革，但无法将其等同于击败Go或Dota2的里程碑。谷歌旗下的人工智能公司DeepMind2015年公布了一篇开创性论文，说明AI如果通过深度自学在许多Atari游戏里取得高分，打败强劲的人类玩家，其中Montezuma’sRevenge是唯一一款得分成0的游戏，算法没能自学如何去玩游戏这个游戏。游戏可玩性低的原因在于它的操作者方式与AIagent自学的方式不给定，这也说明了出有机器学习不存在盲点。

要想要AIagent掌控电子游戏的玩法，一般来说须要利用增强自学的训练方法。在这种训练中，agent不会被放进虚拟世界，并且不会因为某些结果而取得奖励（如减少分数），或是受到惩罚（如丧失一条命）。AIAgent开始随机玩游戏，且能学会在重复试验之后改良其策略。增强自学一般来说被看做是建构智能机器人的关键方法。

Montezuma＇sRevenge的问题在于它无法为AIagent获取定期奖励。这是一个益智类游戏，玩家必需探寻地下金字塔，逃离陷阱和敌人，同时搜集解法锁门和类似物品的钥匙。如果你正在训练AIagent攻下这款游戏，可以在它死掉通过各个房间并搜集钥匙时给与其一定的奖励。但是你该如何教教他留存其他物品的钥匙，并用于这些物品来解决陷阱并已完成关卡呢？答案就是：好奇心。

在OpenAI的研究中，他们的agent取得奖励某种程度是因为跳过尖峰，还为了探寻金字塔的新板块。探寻新板块的好奇心是众多动力，也促使了agent在游戏中高于人类的展现出，机器人在9次过关中平均值分数10000（人类平均值分数4000）。OpenAI称之为，在一次运营中，agent甚至通过了第一关。

OpenAI的HarrisonEdwards告诉他TheVerge：“我们目前早已研发出有一个可以探寻大量房间，取得大量奖励，有时候还能闯过第一关的系统。”并补足道，游戏的其他关卡跟第一关类似于，游戏通关“只是时间问题。

”攻下“NOISYTVPROBLEM”OpenAI并非第一家尝试这种方法的实验室，AI研究人员几十年来仍然在利用“好奇心”的概念作为诱因。他们之前也曾将此应用于Montezuma’sRevenge，但如果没指导人工智能从人类的例子中自学，就会如此顺利。

然而，尽管这里的一般理论早已奠定，但建构特定解决方案依然具备挑战性。例如，基于预测的好奇心仅有在自学某些类型的游戏时简单。它限于于马里奥这类游戏，游戏过程中探寻空间大，关卡设置多，且弥漫着从未见过的怪物。

但对于Pong这种非常简单游戏，AIagent更加不愿打消耗战，而不是确实打败他们的输掉。（也许是因为夺得比赛比游戏中球的路径更佳预测。）另一个实验是“NoisyTVproblem”，实验中已被编程为找寻新体验的AIagent沉迷于随机模式，例如回声至静态噪音的电视。

这是因为agent对“有意思”和“新的”的感觉源于他们预测未来的能力。在采行某种行动之前，他们不会预测游戏之后的情况。如果他们猜对了，很有可能是他们之前早已看完这个关卡了。

这种机制被称作“预测错误”。但因为静态噪声是不能预测的，实验中AIagent被放进迷宫中，任务是寻找奖励最低的物体。环境中还有一台电视，电视上的频道可由遥控器随机切换，因为每次换台的结果是不能预测的、令人吃惊的，面临这样电视（或类似于不能预测的性刺激），AIagent显得十分欺骗。

OpenAI将这个问题与沉迷于老虎机的人类赌徒展开了较为，人们不告诉接下来不会再次发生什么，所以不舍不得早已离开了。OpenAI的这项新的研究通过转变AI预测未来的方式精妙地规避了这个问题。

精确的方法（称作RandomNetworkDistillation）十分复杂，Edwards和他的同事YuriBurda将其说明为在游戏的每个界面中设置一些隐蔽信息，等着人工智能去挖出。这个隐蔽任务是随机的，无多大意义（Edwards建议道，比方说“屏幕左上角的颜色是什么？”），但可以鼓舞agent之后探寻游戏，而会让它过分更容易地受到噪音电视陷阱的影响。值得注意的是，这个鼓舞因素并不需要大量的计算出来，这点十分最重要。

增强自学的方法倚赖大量数据来训练AIagent，所以训练中的每一步都必须尽量较慢的已完成。来自Unity的软件工程师ArthurJuliani，同时还是一位机器学习方面的专家，他回应，这正是OpenAI研究工作的亮点所在。Juliani告诉他TheVerge：“OpenAI用于的方法非常简单，却十分有效地。

纵观过去应用于游戏的探寻方法，简单有余，且基本上没给科技圈带给多少印象深刻印象的结果，比起一起，OpenAI的方法就非常简单得多了。”Juliani回应，鉴于Montezuma’sRevenge有所不同关卡之间的相似性，OpenAI目前已完成的工作基本上等同于攻下整个游戏了。

但他补足道：“事实上，他们无法保证每次都能闯过第一关，这意味著依然不存在一些挑战。”Juliani还想要告诉OpenAI的方法否限于于3D游戏，3D游戏的可玩性互为较其他有可能更大，视觉特征更为错综复杂，且游戏中第一人称视角遮盖了大部分界面。“3D游戏里，在必须探寻的情景中，环境各部分之间的差异更加错综复杂，这种方法的实际展现出有可能会过于好，”Juliani说道到。

好奇心但是为什么我们首先必须不具备好奇心的AI呢？不具备好奇心的AI跟人类一样，很更容易沉迷于随机模式。仅次于的原因是好奇心有助计算机展开自我自学。如今被普遍使用的机器学习方法大体可分成两个阵营：第一种，机器通过网页大量数据来自学，并计算出来出有可以应用于类似于问题的模式；第二种，机器被投放环境中，利用增强自学方法取得某些成就，从而取得奖励，也就是用奖励性刺激的形式促成机器学习。

这两种方法在特定任务中都是有效地的，但并非几乎依赖机器自身展开，无论是标记培训数据还是为虚拟环境设计奖励功能，都必不可少大量的人工。通过为人工智能系统获取探寻的内在诱因，一些工作被避免，人类需要像从前一样花费过多精力在机器学习上，在诱因的性刺激下，机器需要自律自学。OpenAI的Edwards和Burda回应，这种好奇心抗拒的自学系统相比设计研发在现实世界中运营的计算机程序要好得多。却是，跟Montezuma’sRevenge一样，实际生活中，即时奖励往往很少，我们都必须长时间工作、自学和探寻才能获得报酬。

好奇心能协助我们继续前进，也许也可以协助计算机。

本文来源：乐发lll彩票-www.scabiding.com