人工智能：为什么忧虑 担心无法控制

旅行家

作者：胡珉琦 来源：中国科学报

发布时间：2016/4/1 8:30:19

人工智能：为什么忧虑



郭刚制图

■本报记者 胡珉琦

围棋人机大战让人工智能的话题热度居高不下。每一次新进展的横空出世，都让期待这项技术的人变得更乐观，不过，人们对其影响力的顾虑也在明显上升。越来越多的组织、机构开始研究智能机器衍生的伦理问题。虽然人们无法保证今天的思考、策略完全有效，但在没有作任何准备的情况下，就必然无法将其控制。

永恒的恐惧

对于人工智能的忧虑，最早可以追溯到200年前。但这不是对一项技术的反思，而是展示了造物者与被造物之间的内在关系。

“亚当”是英国19世纪女作家玛丽·雪莱笔下作品《弗兰肯斯坦》中的合成生命体，科学家弗兰肯斯坦创造了他。亚当天性善良，渴望感情，渴望受到尊重，但世界并没有像他所期待的那样接纳他，他始终是个异类。

于是，他被迫反抗，作出极端行为，胁迫弗兰肯斯坦为他造一个“夏娃”。弗兰肯斯坦担心“亚当”和“夏娃”会衍生出无数新的怪物，在即将成功时将“夏娃”销毁。“亚当”开始了复仇杀戮，弗兰肯斯坦只能与之决斗。

《弗兰肯斯坦》在多年以后，依然能够成为英美文化的热点。上海交通大学科学史与科学文化研究院院长江晓原认为，这是源于人类与被造物之间天然的永恒恐惧与不安。“历史证明，即便同是人类，异族之间想要获得融合，也需付出巨大代价。”这可以解释为什么人类与人工智能的实现越近，恐惧与不安会更深。

不过，科学家一向反对将人工智能过度拟人化，他们认为目前没有确切证据证明它们在未来会带来像作品中的灾难性后果。

伦理学家、哲学家则坚持对人工智能的忧虑，至少可以理解为对科学技术的人文关怀。江晓原说：“要打消这个担忧，就必须论证‘人工智能不会危害人类’或者‘人工智能的危害是可控的’。”

人造机器会不会超越人

对于人工智能的警惕最初的焦点在于“人造的机器会超越人”。库兹韦尔在《奇点临近》中表示，一旦强人工智能实现，它可以很轻易地获得提高，其能力也会增倍，这是机器能力的根本特质。而这种自我强化的智能最终会超过人类智能水平。

世界通用人工智能学会副主席、《通用人工智能》杂志主编、美国天普大学计算机与信息科学系副教授王培认为，首先需要理清人工智能的概念。他告诉《中国科学报》记者，目前主流认知是，“人工智能”就是要在计算机上再现“全部的”人类智力功能。

虽然人们不断尝试设计和构建“思维机器”，但是往往都以失败而告终。因此，科学家转而研发只在某个特定问题的解决上可以达到人类水平的计算机系统。

在王培看来，这种研究方向的根本问题是这类系统的能力完全由人设计决定，系统本身基本上没有适应性、灵活性和创造性。因此，这类系统不是真正的智能。

一种非主流认识是，“智能”代表着某种理性原则，人类的智能从来不是全知全能，但人类总是能在任意环境中找到最优解。因此，真正的智能的定义可以抽象为“在知识和资源相对不足的条件下的适应能力”。

所谓“适应能力”是指，系统面临的问题是实时发生的，对系统作出反应的时间是有要求的；同时，相对于所要解决的问题来说，系统只有有限的信息加工能力，比如记忆的容量、计算的速度；其次，系统必须是开放的，不对面临的问题内容加以限制。

如此一来，目前人们所了解的人工智能系统都不满足这种能力。但王培认为，这才是更接近公众心目中的人工智能观念，是灵活的、有创造力的。

这类系统是一个自适应系统，元程序设计会赋予其自主应对问题的能力，但是它所面临的每一个问题本身并没有程序可以依靠，而是全凭自己在环境中学习和积累经验。

“无论计算机技术如何发展，尽管真正的人工智能系统会在很多具体问题的解决能力上超过人类，但由于它没有生物属性，没有和人类完全相同的经验，所以不会在所有方面超越人类。”王培表示，未来的人工智能系统只是在某些方面和人具有可比性，而非整体超越人类。那么，人与系统之间的关系也不可能等同于人与人之间的互动水平。

人工智能真的可控吗

人工智能不会全面超过人类不意味着它完全可控。就连库兹韦尔也表示，失控的人工智能在逻辑上是完全可能的。

王培承认，“智能”往往被当作褒义词，但事实上，真正的智能在拥有灵活性和创造性的同时，也可能是不稳定、不可靠的。“人工智能目标在一定程度上可以说就是减少人对计算机的控制和干预。因此，智能越高，失控的可能性在理论上就越大，风险也就越大。”

这正好印证了伦理学家的担忧。我国著名生命伦理学家邱仁宗表示，伦理学认为解决这个问题的核心，是希望人工智能机器成为一个“人工道德行动者”，使它们能考虑他人利益，甚至拥有利他主义倾向。

美国机器智能研究院专门研究人工智能的安全发展，该机构奠基人尤德科夫斯基就曾提出了“友好人工智能”的概念，认为“友善”从设计伊始就应当被注入机器的智能系统中。但这个理论很容易被推翻。“一个明显的常识是：人类无法避免自己的一部分后代学坏。”江晓原说。

王培的看法是，一个智能系统的行为同时取决于其先天条件以及后天条件。对于系统设计本身，可以在某种程度上将人类普世的道德标准编进程序。但由于它拥有自适应能力，人类无法预见其行为的所有后果。

“人工智能的‘自主决策’仍是被它的经验所约束的，如果在其‘未成年’期对其输入信息控制，以达到社会认可的动机、知识、技能结构和水平，并在其成长过程中进行与机器相关的道德、法律等社会约束，通过终生教育和社会化过程，可以实现像对人一样的管理。”

他认为，这就是平衡自由和道德的手段，然而，这个平衡并不能事先保证。这也说明人工智能一定能成为“人工道德行动者”的证据是不明确的。

预防还是行动

有一种观点认为，在科技发展过程中，恐惧新技术的人都会振振有词地说：到此处为止，不要再进步。

然而，由于“智能”天生就无法控制，在邱仁宗看来，人工智能对人类构成的威胁是一种“存在威胁”，即人类存在本身都成为问题，没有一项其他科技可以与之对等。

“真正带有终极性质的问题是：我们究竟为什么需要人工智能？人工智能真的必不可少吗？”江晓原认为，“没有人工智能或者限制人工智能并不会影响人类生存，它影响的是资本增值。”

这也造成在该问题上两种截然不同的处理原则。预防原则要求，我们不能用试错法来处理生存危机。如果一个行为的后果未知，但是根据科学家判断有极小可能会带来巨大的负面风险，这一行为最好不要进行；行动派则认为，很明显，这就要求科学家在战略中要尽可能提高自信以对抗这种风险。阻止新兴技术带来的好处，可能会增加灾难性结果的可能性。

尽管两者无法达成一致，但人工智能研究是人类几千年来在意识层面上自我认识的努力的最新前沿，它将不会停止发展。

“目前在这个领域的研究成果还没有成熟到支持应用技术的程度。和所有科学领域一样，把不成熟的研究成果投入实际应用是危险的，尤其是那些可能产生深远影响的成果，因此它的伦理问题很重要。”王培坦言，作为人工智能的研究者，随时想着自己研究工作的社会后果非常必要。“但人工智能技术的具体伦理规范应当随着科学研究的进展而逐渐建立，而不可能在研究成果尚未成熟的条件下完善。”

江晓原也表示，在必须发展该技术的前提下，我们应该抱着慎之又慎的心态。虽然本质上不存在能对抗强人工智能的绝对保护措施，大力增加在发展防御手段上的投入，包括道德标准、法律标准和防御技术本身都是非常必要的。

此外，在他看来，当这样一项重大科技应用有可能引发伦理和社会问题时，应对方式应该是科学与人文、科学家与公众之间展开积极的对话，而非单向的传播和顺从。

《中国科学报》 (2016-04-01 第1版 要闻)

http://news.sciencenet.cn/htmlnews/2016/4/342011.shtm