认知安全：机器人会产生邪恶的想法吗 会的

王兴

认知安全：机器人会产生邪恶的想法吗

http://www.iotworld.com.cn 来源：中国商业电讯 2016-03-11 16:30:00

导读：    梆梆安全研究院 卢佐华     近几天谷歌AlphaGo与李世石的人机大战吸引了超越围棋界的更多的科技圈以及广大圈外人士的关注。当前这场最先进的人工智能与人类的据说计算量最大的棋类对抗赛，人工智能已经连胜2局！大家还在猜测最终结局，但其实这已经不重要了，目前为止AlphaGo带给我们的震惊、对人工智能能力的证实，以及所引发的广大民众对人工智能、认知计算的关注与担忧，这些更具意义。     人工智能必将超越人类——我个人信奉这一观点，而这也是众多科学家对几百万年来自然界与经济的发展研究，对近代科技诸如摩尔定律等综合统计的结果。随着认知技术的发展，更多的科技人员相信并在实践着，就像AlphaGo



    梆梆安全研究院 卢佐华

    近几天谷歌AlphaGo与李世石的人机大战吸引了超越围棋界的更多的科技圈以及广大圈外人士的关注。当前这场最先进的人工智能与人类的据说计算量最大的棋类对抗赛，人工智能已经连胜2局！大家还在猜测最终结局，但其实这已经不重要了，目前为止AlphaGo带给我们的震惊、对人工智能能力的证实，以及所引发的广大民众对人工智能、认知计算的关注与担忧，这些更具意义。

    人工智能必将超越人类——我个人信奉这一观点，而这也是众多科学家对几百万年来自然界与经济的发展研究，对近代科技诸如摩尔定律等综合统计的结果。随着认知技术的发展，更多的科技人员相信并在实践着，就像AlphaGo的开发者宣称，“我们（开发AlphaGo的目的）不是为了模拟人类，而是为了战胜人类。”

    这里引用人工智能思想家Nick Bostrom的一段话:“如果我们将实现人工智能视为一辆火车所要到达的站台，那么不管我们现在与将要到达的站台之间有多少临时停靠站，实现与人类智能相同的机器智能也并不是终点站，顺着这条道路再往前走，下一个站台就是机器智能超越人类。这列火车不会在到达人类智能水平这一站就停滞不前或者减速行驶，它很有可能会飞速而过。”

    超越了人类智能的机器智能是否会对人类产生危害呢？回答这个问题如果还有迟疑，甚至持怀疑态度，这均是由于一直以来我们对人工智能技术研究的投入与关注，远远超过我们在人工智能安全方面研究的结果。机器人（人工智能的代表）对人类的伤害其实早已发生：

    2015年7月互联网上宣称发生了首起“机器人杀人案”，德国大众汽车公司包纳塔尔工厂中的一个机器人杀死了一名人类工作人员。当时这名21岁的工人正在安装和调制机器人，后者突然“出手”击中工人的胸部，并将其碾压在金属板上。这名工人当场死亡。

    这起事件引起了足够的关注，但它并不是最早的机器人伤人事件。

    1978年9月6日，日本广岛一家工厂的切割机器人在切割钢板时，突然发生异常，将一名值班工人当作钢板操作，这是世界上第一起机器人杀人事件。

    1981年7月4日，日本川崎重工业株式会社明石工厂的一名修理工，不小心触动了旁边机器人的启动按钮，随后这台加工齿轮的机器人把这名修理工当成齿轮夹起，酿成惨祸。

    1989年，前苏联发生了一宗震惊世界的智能机器人棋手杀人事件。在全苏国际象棋冠军古德柯夫连胜三局的情况下，机器人棋手突然向金属棋盘释放出强电流，在众目睽睽之下，将这位国际象棋大师击毙。虽然后来调查出杀人真相是因为电磁波的干扰，让电子控制系统失灵。但电子设备在使用过程中发出的各种不同波长和频率的电磁波，其实也正是机器人的一个组成部分。

    也许乐观主义者依然认为这是操作故障、机械故障造成的，不是人工智能从自我认知上产生出“邪恶的想法”来伤害人类。那我们一起来看看所谓人工智能发展的阶段：

    弱人工智能（Artificial Narrow Intelligence - ANI）：擅长单个方面的人工智能，比如只具备下棋的智能。

    强人工智能 (Artificial General Intelligence–AGI)：在各方面都具备和人类相同认知能力的人工智能，目前还未产生。

    超人工智能（Artificial Super Intelligence–SI）：在所有领域都比人类聪明。“大大超越我们智慧的极限，我们甚至做梦也无法想象得到。”——NickBostrom

    所以可编程计算并根据外界输入（数字的或非数字化的）有相关输出，这已是人工智能的初级阶段。而人工智能的负载体，比如机械手、机器人，由于其特殊的材质与构造，一旦人工智能失去控制就会对人造成伤害，比如上面的杀人惨案。所以对人工智能的安全还能够轻视吗？

    全球众多科研人员努力期望实现的强人工智能、超人工智能，一旦机器智能有了自我认知，无论是从《三体》描述的为了文明发展的暗黑森林法则上看，还是从超出人类心理范畴的非道德行为的人工智能存在目标来看，机器智能都会产生人类认为“邪恶”的想法与行为，而这在机器智能的认知世界里，在一个非道德体系中，或许只是完成预设定的目标而已。

    据全世界人工智能领域专家预测，大约45年后超人工智能会出现。一旦超人工智能出现，人类任何想试图控制它的行为都是可笑、可悲的了，我们只有在创造它的时候，在早期的认知计算的时候植入一个可控的安全种子。

    梆梆安全是最早认识到机器智能安全风险并展开认知安全研究的公司之一。当然基于目前认知计算与人工智能自身的发展程度，我们的研究也还是对这个神秘并艰深领域的初探。但是，既然超人工智能是人类的最后一项发明，最后一个挑战，我们也必然要投入到这场对人类生存最大威胁的战斗中。

    AlphaGo与李世石的对战在继续，机器智能与人类智能在角逐，认知安全掌握着人类的命运。借此机会，梆梆安全研究院发出英雄帖，欢迎有志在认知安全领域开拓的各专业人士加入梆梆安全！

http://www.prnews.cn/common/NewsShow3865818.htm