如何防止人工智能技术失控？

3月1日，英国《卫报》网站近日刊登了一篇题为《这位人工智能天才能防止人工智能技术失控吗》《The superhero of artificial intelligence: can this genius keep it in check? 》，作者是Clemency Burton-Hill。

下面是文章的主要内容。
　　
德米斯·哈萨比斯(Demis Hassabis)有着温和的风度和谦逊的面容，但当他告诉我说，他正在致力于这样一个使命——“解答智能问题，然后用它来解答一切问题”，他显得很严肃。这话从其他任何人嘴里说出来都是可笑的，但从他嘴里说出来不一样。哈萨比斯是一位国际象棋大师，也是一位视频游戏设计师，他创办的人工智能创业公司DeepMind在2014年被谷歌以6.25亿美元的价格收购。他出生于一个移民家庭，拥有剑桥大学和伦敦大学的计算机科学和认知神经科学学位。哈萨比斯的同事认为他是一名“有远见”的管理者，哈萨比斯认为自己已经找到一种“进行高效科学研究”的方法，并宣称自己正在领导一个“21世纪的阿波罗计划”。哈萨比斯相貌很平常，走在大街上丝毫没有回头率，但互联网创始人蒂姆·伯纳斯-李（Tim Berners-Lee）将他称为这个星球上最聪明的人之一。
　　
人工智能（AI）已经走进人们的生活，许多人都在使用苹果或谷歌的语音助手。不久以后，谷歌的产品必将从哈萨比斯的研究中获益，产品个性化、搜索、YouTube、语音和面部识别领域的改进都与“AI”有关。从长远来看，哈萨比斯正在研究的技术不仅仅与情绪机器人或智能手机有关，其受益者不仅仅是谷歌，也不仅仅是Facebook、微软、苹果等投入巨资参与人工智能产品研发竞赛的大公司。它关乎我们能够想象和不能想象的一切。
　　
这听起来很吓人，确实如此。大多数AI系统是“狭隘的”，它们只能完成一种特殊的任务。所以，IBM的深蓝电脑可以击败国际象棋冠军卡斯帕罗夫，但在面对画圈打叉这种简单的游戏时连一个三岁小孩都不如。 而哈萨比斯从人类的大脑获得灵感，并试图建立第一个“通用学习机器”，即一套灵活、自适应性的算法，它可以像生物系统那样学习，从零开始完成任何任务，除了原始数据之外不需要任何别的帮助。
　　
这就是人工通用智能（AGI），其重点是“通用”。在他的未来愿景中，超级智能机器将能够与人类专家协作解决几乎所有问题。“癌症、气候变化、能源，基因组学、宏观经济学、金融系统、物理，许多我们想要掌握的学科越来越复杂。”他说，“即使是最聪明的人，穷期一生也难以掌握其中一个领域。我们如何通过筛选泛滥的数据得出合理的观点？我们可以将AGI看作一个能够自动将非结构化信息转化为可用知识的过程。我们正在努力研究的是一种可以解决任何问题的超级解决方案。
　　
这种超级智能机器的出现也许还需要几十年之久，但它似乎离我们越来越近。2015年2月，DeepMind的一篇论文世界成为顶级科学杂志《自然》的封面文章，该文宣称“能够自学的AI软件在视频游戏中已经达到人类的水平。”在这个“终端到终端”的学习系统中，一种被称为Deep-Q Network的算法已经学会如何理解输入端的动作，并能作出正确的决定（它在一些经典的雅达利2600游戏——包括《太空侵略者》、拳击和乒乓球游戏——中达到精通水平。）这是一个震撼世界的技术突破。
　　
上个月，DeepMind的另一篇论文又登上了《自然》杂志的封面。在这样短的时间里连续在《自然》杂志上发表两篇封面文章，这本身就是一个了不起的成就。这一次，DeepMind的试验走得更远，它向古老的竞技游戏围棋发起了挑战。围棋的历史超过2500年，中国孔子的著作中曾提到过这种游戏。围棋的着法变化无穷，其变数甚至超过宇宙中原子的移动。国际象棋的所有变化可以计算出来，但围棋不能。更难的是，编程者也不可能写出围棋的评估函数。相反，围棋需要一种类似于“直觉”的东西，当围棋棋手被问到他们下出一步棋的原因时，他们往往会这么说：“感觉。”

重大里程碑
　　
出于显而易见的原因，电脑一直无法进行这种类似于直觉的判断。围棋也因此长期以来被认为是AI“最大的挑战”之一。大多数研究人员预计，要研究出能够破解围棋的电脑至少还需要十年。
　　
但是，DeepMind创立的新人工算法AlphaGo曾在去年秋天的一次秘密比赛中以5比0战绩击败了欧洲围棋冠军范辉（Fan Hui）。AlphaGo还将在今年三月份挑战世界围棋冠军李世石。英国帝国理工学院(Imperial College)认知机器人学教授Murray Shanahan将AlphaGo的成功称为“一个惊人的成就”，超人类主义哲学家Nick Bostrom也将之称为“一个重大里程碑”。Nick Bostrom认为，如果AGI能够最终完成，它的影响将是无与伦比的。
　　
“是的，它很酷。”哈萨比斯同意。“围棋是一种终极游戏：它是游戏的巅峰之作，是最智慧的游戏。它的迷人的、美丽的。我们感到兴奋的不仅仅是我们已经精通了这种游戏，而且我们可以通过一套惊人而有趣的算法来处理它。”他认为围棋是一门艺术，而不是一门科学。“AlphaGo能够以人类的方式学习围棋，并在不断的对局中变得越来越厉害，就像我们人类一样。”AlphaGo是他最激动人心的研究成果。“它超出了任何人的想象，”他兴奋地说，“但对我们来说，最重要的方面是，它不是一种采用人工规则的专家系统。它能够使用通用机器学习技术进行自我教育，最终精通这门游戏。最终，我们希望将这些技术应用于诸如气候建模或复杂的疾病分析等重要的现实问题。所以，想象一下它下一步的进展，这让人感到非常兴奋……”
　　
我与哈萨比斯首次相遇是在2014年夏天，即谷歌收购DeepMind几个月之后。从那以后，我观察他在各种环境中工作。在过去八个月里，我在三个不同场合正式采访过他。在那段时间里，我看着他从谷歌的AI天才发展成一个引人注目的技术传播者。他找到了一种有效的方式来向非科技工作者描述他的工作。DeepMind的研究成果将新旧人工智能技术结合在一起，例如，DeepMind的研究人员将传统的“树形检索”和现代的“深度神经网络”结合起来分析围棋的变化。同时，DeepMind系统也将AI研究的不同领域结合在一起。
　　
在DeepQ中，他们将深度神经网络和“强化学习（reinforcement-learning）”机制结合在一起。“强化学习”是所有动物的学习方式，通过大脑的多巴胺奖励系统发生作用。而AlphaGo又向前迈出了一步，它加上了另一个更深度的、用于处理长远规划的强化学习系统。接下来，他们将会加入更多功能，直到整合所有重大的人工智能成果。哈萨比斯说：“关键是结合所有这些不同的领域，因为我们感兴趣的是可以将从一个领域中学到的知识应用到另一个领域的算法。”
　　
哈萨比斯自己就是一个跨领域的天才。从他的简历来看，他的好奇心很广泛，包括棋盘游戏、视频游戏、电脑编程、认知神经科学，一直到人工智能。事实上，他今天的位置是一系列光辉成就的结果，他是一个百年一遇的天才。他8岁编写自己的电脑游戏，13岁成为国际象棋大师，17岁开发出最早的人工智能视频游戏Theme Park，20成为剑桥大学获得两门学科优等成绩的学生，2011年创立DeepMind。他还获得过智力奥运会精英项目“Pentamind”的五次冠军，创下世界纪录。
　　
“我很容易感到无聊。世界是如此有趣，有这么多很酷的事情可做。”他说。“如果我是一个体育运动员，我希望成为一个十项全能选手”。
现在，DeepMind公司拥有近200名员工，他们来自超过45个国家。哈萨比斯决定将自己的公司总部保留在英国，尽管谷歌希望将它迁往硅谷。
　　
“我是在伦敦长大的。”他说。“我非常喜欢这个城市。我坚持住在这里的理由是：我觉得伦敦没有理由不能拥有一个世界级的AI研究机构。
　　
除了哈萨比斯之外，全球还有很多顶级科学家和科技巨头在关注AI的发展，如斯蒂芬·霍金、比尔·盖茨、伊隆·马斯克、杨·塔里安（Jaan Tallinn）等。与哈萨比斯不同的是，这些巨头对AI的发展表示很大的担忧。他们的担忧包括AGI武器和“技术奇异点（technological singularity）”的幽灵——它将导致“智能爆炸”，届时机器将能够不断地进行自我完善，超越人脑的智力，从而脱离人类的控制。如果这样的超级智能灾难最后发生了，人类将悔恨自己当初为什么没有退出AI开发竞赛。霍金在最近的一次谈话中表示：“AI的成功创建，将是人类历史上最大的事件。不幸的是，它也可能是最后一个历史事件。”
　　
“好吧，我希望不会这样。”哈萨比斯说。在他看来，关于AGI的危言耸听不仅忽略了它可能在不久之后为人类带来的福祉，而且不合时宜。“要创建达到人脑水平的人工智能，我们还需要几十年时间”他提醒我说，“我们还处在楼梯的第一级上，我们的AI系统现在还只能玩游戏。”他承认我们现在也有应该考虑的风险，但坚称这些风险不是像科幻小说中描写的那样：超级智能机器无情地驱逐人类。
　　
此外，他坚持认为，在减轻AGI的潜在危险方面，DeepMind也是领先的。该公司的研究虽然不像阿波罗计划那样受到官方审查，但它的运作相当透明。DeepMind会在网上公开技术代码，而且谷歌收购该公司的一个条件是禁止将它的技术运用在军事或情报领域。哈萨比斯和他的同事们积极推动了2015年在波多黎各举行的一个关于AI的开创性会议，并在公开信上签名承诺将AI技术用在有益的事情上，“避免潜在的陷阱”。最近，他们还推动在纽约举行的另一个类似会议。DeepMind公司内部的伦理委员会和顾问委员会目前已经建立。“哈萨比斯完全熟悉有关AI安全问题的争论，”帝国理工学院认知机器人学教授穆雷·沙纳汉(Murray Shanahan)说。“他肯定不是幼稚，他也没有把头埋进沙滩里。”
　　
“在推动关于安全问题的对话方面，DeepMind一直是行业中的领导者。”穆雷说，“从长期来看，研究者需要解决这些挑战。”
　　
我询问哈萨比斯主要的长期挑战是什么。“随着这些AI系统变得越来越复杂，我们需要思考如何优化它们。”他回答道，“这项技术本身是中性的，但它是一个学习系统，因此它不可避免地会打上设计者的价值体系和文化的印记，所以我们必须非常仔细地考虑价值观问题。”
　　
关于超级智能的问题，他说：“我们需要确保我们的研究目标是有确定性的，确保没有什么模糊不清的地方，它们将随着时间的推移趋于稳定。但是，在我们所有的系统中，最高目标仍然会由它的设计师设定。系统可能会拿出自己的方式去实现这一目标，但它并不能创建自己的目标。””
　　
他的语气让人放心。“你看，这些都是有趣的、难以应对的挑战。如同所有强大的新技术一样，AI技术的使用必须符合伦理和负责任，这就是为什么我们正在积极呼吁辩论，所以，当那个时刻到来时，我们已经做好准备。”
什么时刻？超级智能机器出现的时刻，或当它们超越人类的时刻？他笑了。“不，不，不，我的意思是在那之前的某个时刻！”（我觉得他是在开玩笑，但在2011年他的同事肖恩·莱格曾说过：“我认为，人类很可能会灭绝，技术将有可能起到推动作用。）哈萨比斯补充说：“我的意思是，当这些系统不仅能玩游戏而且变得更加强大的时刻，当它们的能力超过解决如医疗保健等重要现实问题的时刻。然后，我们需要确保我们知道它们的能力将达到什么地步。“他笑着看着我。“那时，我们应该停下来。”
　　
哈萨比斯是友好的，非常有说服力。他所说的一切似乎是合理的，并没有显得傲慢。也许AGI仍将在我们的控制之下。但很多人仍持怀疑态度。“很显然，如果一种人工智能在所有方面大大超过人脑，那它就不再是‘辅助设备’了。”特斯拉创始人马斯克争论道。他最近宣称人工智能技术的发展是在“召唤恶魔”。 马斯克是DeepMind的原始投资者之一，但他不是为了钱。他对我说：“我把钱投入DeepMind的唯一原因是为了更好地了解AI的发展和危险。如果我们在研究AI时不够谨慎，如果发生了灾难，银行存款没有任何意义。”
　　
“马斯克是全球最聪明的人之一，与他交谈令人吃惊。”哈萨比斯表示。“实际上我觉得像他这样的人仅仅因为AI是一件大事而参与AI的投资是一件很酷的事情。”他说。但是，当其他领域科学家随意公开发表针对AI的批评时，哈萨比斯显得有些激动。
　　
“总的来说，我发现那些AI行业外部人士没有充分理解AI。他们往往并没有与很多AI专家交谈过，所以他们的思想实验会失控，因为它们是基于不正确的假设。”他再次提到自己的内部伦理委员会和顾问委员会，它们的成员是科学界和哲学界的领军人物，这些人将监视AGI技术未来的应用。哈萨比斯坚定地相信自己目前所做的事情。“因为以前没有人尝试过这样的技术，我们有很多东西需要探索，现在还不是因为公众讨论而停下来的时候。”他说，“在这个阶段，我们要做的是加快研究速度，研究出实际的算法和应用。”
　　
哈萨比斯最近在剑桥与霍金进行了一次私人会面。“与他会见本身就是一个梦幻般的荣誉。”他兴奋地说，并拿出他的一张自拍照。“按照计划，我们只有一个小时的时间交谈，但他提了那么多问题，我们最后谈了四个小时。他错过了午餐，所以他的陪同人员并不十分乐意我和他在一起。“
　　
哈萨比斯指出，霍金在与他会面之后，一直没有在媒体上发表“任何有关AI的激烈言论”。最奇怪的是，在BBC的Reith讲座上，霍金也没有将人工智能列入“人类的潜在威胁”名单。哈萨比斯表示，听取更多关于AI系统的言论也许是有帮助的。”他说，“如果你理解了AI工程，这一切都显得更能理解。”
　　
但是，他是否真的相信霍金已经改变了观点？“是的，我想他很放心。他很有幽默感。在我离开之前，我对他说：‘所以，你觉得怎样呢？’他在键盘上输入：‘我祝你好运。’他的眼睛闪着亮光，补充说：‘但不要太多’。”哈萨比斯笑着说，“我将这看成一场胜利。”