文/赵斌

近日，在莫斯科举行的国际象棋公开赛上，国际象棋机器人Chessrobot折断了一位7岁男孩的手指。

据当地媒体报道，在比赛中，机器人“吃掉”该参赛男孩的一枚棋子，并把自己的棋子放在空位上，但小男孩未等机器人完成动作便急忙回击。随后，机器人捏住男孩手指。工作人员急忙帮助小男孩将手指从机器人的“虎钳”中挣脱出来，并送往医院，但小男孩的手指骨折了。

人工智能会突然“变脸”攻击人类吗？电影《终结者》和《我机器人》里机器人大战人类的桥段是否会成真？

西北工业大学从事机器人科研工作的副教授冯华山在接受中新社国是直通车采访时认为，没有必要恐慌，问题可能出在识别上，但对人工智能的应用风险仍需时刻保持高度警惕。

下棋机器人“惩罚”违规棋手？

从公开视频上可以看到机器人夹住小朋友的手，但由于图像模糊看不到机器人是否有“用力捏”的动作。这到底是机器人故意为之？还是属于程序漏洞或者故障？

冯华山表示，没有见到详细应用程序前无法判断其具体原因。不过，首先可以排除人为设计机器人“惩戒”程序，因为机器人不能伤害人类是国际上机器人三原则的重要原则之一。比较大的可能性是识别错误，大可不必因此对人工智能产生恐慌。

冯华山介绍，机器人识别系统在手指误入棋盘空间后，可能把人手指的某些部位错误识别成了棋子。

机器人下棋首先是通过摄像头等装置进行图像采集并识别。一般下棋机器人的识别系统比较简单，主要是对棋子和棋盘颜色、形状、纹理和位姿等进行采集和识别。位姿指的是棋子在棋盘空间的“XYZ”坐标以及绕三个坐标轴的旋转角度。机器人由人工智能算法针对棋盘上博弈双方的棋子布局和态势做出判断和决策，并产生下一步落子、吃子等动作，通过指令队列的方式，形成机器人的动作轨迹，并交由机器人执行。

由于机器人末端缺乏除视觉以外的其他感知方式，尽管棋子是硬的、手指是软的，但程序没能感知到抓住软物的信息，所以可能有机械手用力捏手指的情形出现。下棋决策由人工智能算法、策略程序实现，能够让机器人“自己学习”。在训练过程中，可以通过输入棋谱或反复博弈，让机器人学习博弈策略和经验，有效的方法会被存储，失败的方法会被淘汰和删除。通过这种反复训练、学习，记忆到机器人算法当中。

冯华山说，有可能是模型存在逻辑漏洞或BUG使机器人在“自己学习”的迭代过程中产生偏离，形成棋谱规则以外的一些博弈逻辑，从而偏离了人对机器人的完全控制和常规理解。这些涉及到机器人伦理学，需要人们对机器人的学习演进过程严格监督和把控。

在这个案例中，机器人敌对人类的可能性很小。很有可能小孩子的手指位置刚好是机器人计算获得下一步需要移动的棋子位置，在机器人形成动作轨迹指令后，小孩子恰巧将手指遮挡了这枚棋子。因为在机器人形成动作指令后，是不会再依据视觉做出判断。也就是说，机器人“以为”夹持的是棋子，而实际是小孩子的手指。这只是一种巧合。

马斯克和比尔盖茨的警告

对于机器人及人工智能的恐慌，不仅来源于科幻电影。

特斯拉董事长、首席执行官马斯克说：“开发人工智能，相当于在召唤恶魔。我认为我们应该非常小心谨慎，如果让我猜测什么最有可能对我们的生存造成威胁，我会说可能是人工智能。我越来越倾向于人工智能应该被监管这个观点，包括国家层面和国际层面上的，以确保我们没有在干蠢事。”

比尔盖茨也表示：“我是对超级智能的发展保持担忧的人之一。目前，那些在我们的位置替代我们劳动、并完成许多任务的机器并不是超级智能。如果我们能够很好地进行管理，像这样的发展会变得越来越好。然而几十年之后，智能会带来新的问题。我十分同意马斯克的观点，但不明白为什么目前人们对这个问题并不担心。”

马斯克还出资1000万美元给一个致力于人工智能领域安全性研究的基金。

据了解，目前国际上达成共识的机器人三原则是在1940年由被誉为“机器人学之父”的科幻作家阿西莫夫所提出的：

第一条，机器人不得伤害人类，或看到人类受到伤害而袖手旁观。

第二条，机器人必须服从人类的命令，除非这条命令与第一条相矛盾。

第三条，机器人必须保护自己，除非这种保护与以上两条相矛盾。

冯华山表示，如果违背“机器人三原则”，将人工智能应用到战争中，将带来恐怖的结果。更重要的是如果机器人在执行自我学习的过程中失去或脱离人的监控，按照程序自行排列、演进，那么就有可能形成超越人类理解的内部逻辑，从而出现缺乏约束、失控、反人类的可能性。所以，坚守原则和国家的规定对人工智能使用的安全性而言至关重要。

人工智能伦理安全如何把控？

从全球范围来看，美国政府较早关注到这一问题，2016年在白宫文件中呼吁开展研究，并在《美国国家人工智能研究与发展战略规划》中明确了提高公平、可解释性，符合伦理道德的设计，确保系统安全可靠等要求。

2017年，霍金、马斯克、DeepMind创始人戴密斯等全球数千名专家和企业代表，签署有关伦理的阿西洛马人工智能23条原则，呼吁业界遵守，共同保障人类未来的利益和安全。

中国人工智能学会基础委员会常务委员陈志成在接受中新社国是直通车采访时表示，我国对人工智能伦理的重视也上升到国家层面。

2019年2月，科技部部长王志刚宣布成立新一代人工智能治理专业委员会，并在第一届治理专委会的第一次会议上讨论起草相关的人工智能技术的标准和使用规范。2020年6月，国家新一代人工智能治理专业委员会发布了《新一代人工智能治理原则—发展负责任的人工智能》，提出了人工智能治理需遵循的8条原则：和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作和敏捷治理。

在中国，很多企业也在积极参与探讨，如百度提出人工智能伦理的4条原则，包括人工智能的最高原则是安全可控等。腾讯则提出“可用、可靠、可知、可控”的理念，倡导科技向善。

来自：国是直通车

编辑：陈昊星

责编：魏晞