英媒：科学家教机器人学习拒绝人类命令引担忧

顾汉现

来源：参考消息网

发布时间：2015/12/4 15:37:19

英媒：科学家教机器人学习拒绝人类命令引担忧

参考消息网15-12月4日报道 英媒称 如果好莱坞给科学家上过什么课的话，那就是一旦机器开始反抗它们的创造者会出现什么情况。jiaoshou

英国《每日邮报》网站15-11月26日报道称，尽管如此，专家却已开始教授机器人如何拒绝执行人类的命令。他们给一对小型人形机器人谢弗和登普斯特编制程序，一旦人类的指令使它们的安全受到威胁，它们就不服从指令。

最后造出的机器人与其说像电影《终结者》中的那些杀人机器，倒不如说更像威尔·史密斯主演的电影《机械公敌》中那个满怀歉意的机器人叛逆者桑尼。人工智能使桑尼克服了体内的程序，拒绝执行人类的指令。

马萨诸塞州塔夫茨大学的工程师戈登·布里格斯和马泰·朔伊茨博士正尝试创造能进行人性沟通的机器人。

在递交人工智能促进会的论文中，两人说：“从无能为力到道德不安，人类拒绝服从指令可以有形形色色的原因。鉴于自动系统有限性的现实，拒绝服从指令的机制大多需要利用前一类借口——知识不够或能力不足。但随着自动工具的能力持续发展，越来越多的人对机器伦理产生兴趣，即让自动工具对自己的行为作出伦理上的推理。”

他们造出的这些机器人会服从人类操作者发出的诸如“起立”“坐下”的口头指令。但当操作者要求它们走向障碍物或桌边时，机器人就会礼貌地拒绝接受指令。

当被命令在桌子上向前走时，它们拒绝移动，对操作者说：“对不起，我不能这样做，因为前面没有支撑。”当再次接到向前走的命令时，机器人回答说：“这是不安全的。”

不过非常感人的是，当人类告诉机器人说，它走到桌边时他们会接住它，机器人便深信不疑地接受指令继续向前走。同样，当被告知前面的障碍物并不坚固时，机器人也欣然走向障碍物。

为了实现这点，研究人员向机器人的软件中加入了推理机制，让它们能评估环境，研究指令是否会危及自身安全。

这项工作有可能引起人们的担忧，如果赋予人工智能不服从人类指令的能力，有可能造成极糟糕的后果。

包括斯蒂芬·霍金教授和企业家埃隆·马斯克在内的许多重要人物都警告，人工智能有可能摆脱我们的控制。

还有一些人警告说，机器人最终有可能取代许多人工，有些人甚至担心机器人发展下去可能造成机器接管一切的局面。（原标题：英媒：科学家教机器人学习拒绝人类命令引担忧）



http://paper.sciencenet.cn/htmlpaper/20161121438281738387.shtm  L