Bostrom 列举了这一「控制问题」的两种可能解决方案。一种是控制 AI 能做的事情，如阻止 AI 连接互联网；另一种是控制 AI 想做的事情，如教授 AI 规则和价值观，使其秉持人类利益最大的原则行动。Bostrom 认为，第一种解决方案存在的问题是超级智能机器可能挣脱任何人类施加给它的限制；第二种解决方案则担心人类可能没有能力训练出超级人工智能。 控AI切连控想做?
论文
论文标题：Superintelligence Cannot be Contained: Lessons from Computability Theory
作者：Manuel Alfonseca, Manuel Cebrian, Antonio Fernandez Anta, Lorenzo Coviello, Andrés Abeliuk, Iyad Rahwan
期刊：Journal of Artificial Intelligence Research
发表时间：2021/01/05
数字识别码：10.1613/jair.1.12202
摘要：Superintelligence is a hypothetical agent that possesses intelligence far surpassing that of the brightest and most gifted human minds. In light of recent advances in machine intelligence, a number of scientists, philosophers and technologists have revived the discussion about the potentially catastrophic risks entailed by such an entity. In this article, we trace the origins and development of the neo-fear of superintelligence, and some of the major proposals for its containment. We argue that total containment is, in principle, impossible, due to fundamental limits inherent to computing itself. Assuming that a superintelligence will contain a program that includes all the programs that can be executed by a universal Turing machine on input potentially as complex as the state of the world, strict containment requires simulations of such a program, something theoretically (and practically) impossible.
查看更多
所属学科：
计算机
人工智能
计算的能力是有极限的，但因此，人类无法控制超级人工智能。
选自spectrum.ieee
作者：Charles Q. Choi
机器之心编译
编辑：泽南、杜伟
近日，一项新的研究发现，从理论上来看，人类不可能控制超级人工智能。更为糟糕的是，这项研究也明确了人类无法在这种 AI 生成之时发现它。
让人稍稍感到安慰的是，根据不止一项预测，任何通用超级计算机超越人类的时间都会在数十年以后。
最近几年，人工智能在国际象棋、围棋、德州扑克、Jeopardy 等游戏上超越了人类，在 Dota2、星际争霸游戏中和顶级玩家打得有来有回，时不时会引起一小阵恐慌，有人担心超越人类的机器智能会在某一天让人们无所适从。「有关超级智能是否接受人类控制的问题其实很古老，」西班牙马德里自治大学计算机科学家 Manuel Alfonseca 说道，「这还得追溯到 20 世纪 40 年代的阿西莫夫的机器人三定律。」
2014 年，牛津大学人类未来研究所（Future of Humanity Institute ）主任、哲学家 Nick Bostrom 不仅探索了超级人工智能破坏人类的方式，还研究了针对这类机器可能的控制策略以及它们无法奏效的原因。
Nick Bostrom。
Bostrom 列举了这一「控制问题」的两种可能解决方案。一种是控制 AI 能做的事情，如阻止 AI 连接互联网；另一种是控制 AI 想做的事情，如教授 AI 规则和价值观，使其秉持人类利益最大的原则行动。Bostrom 认为，第一种解决方案存在的问题是超级智能机器可能挣脱任何人类施加给它的限制；第二种解决方案则担心人类可能没有能力训练出超级人工智能。
计算固有的限制可能导致人类无法控制超级人工智能
在21-1月初发表在 AI 领域顶级期刊《人工智能研究杂志》（JAIR）上的一篇文章中，马德里自治大学、马克斯 - 普朗克人类发展研究所等机构的研究者认为，由于计算本身固有的基本限制，人类可能无法控制超级人工智能。
