人工智能/自动驾驶太容易上当，极不安全

如果你开车的时候看到十字路口的停牌上有一张小小的贴纸，或者有一个被人随意涂抹的图案，你肯定知道那仍然是个停牌。但如果是无人驾驶车辆，停牌上出现的这点微小的变化就会让人工智能犯糊涂，把它认作减速标识或其他东西。结果当然就是这辆车无视停牌，直接冲过去了。

这个场景并不只是科学家们的假设。上个月，腾讯科恩安全实验室发表文章，称已证明在路面放置干扰贴纸可以让特斯拉Model S自动驾驶系统接收到错误信息，开进逆行车道。

这只是人工智能“受骗上当”的例子之一。此前CBC科普节目Spark邀请的专家也介绍过，一张图片只要稍作改动，就能让人工智能的图像辨识系统犯下把一只猫当成一罐调味料这样的错误。



这类测试很搞笑，但是如果控制我们生活中的各种系统、提供各种服务的人工智能犯这种错误，结果就一点也不好笑了。加州大学伯克利分校计算机系教授宋晓东的研究领域之一就是人工智能的安全问题。她在接受CBC主持人Nora Young采访时介绍说，攻击者可以给出错误的信号，甚至是为导致某种错误特别设计的信号，对人工智能的图像辨识分类系统进行恶意干扰。

近年来人工智能的深度学习突飞猛进，谷歌AlphaGo击败围棋国际冠军，IBM“深蓝”战胜国际象棋冠军，让许多人看到人工智能超越人类智力的证据。但是宋晓东说，与此同时，真实的证据也显示，人工智能系统面临攻击时还相当脆弱。



加州大学伯克利分校计算机系网络安全专家宋晓东 (Berkeley.edu)

攻击针对人工智能的可靠性和机密性

宋晓东介绍说，攻击人工智能的可靠性，指的是攻击者用各种方法“愚弄”机器学习系统，让它做出错误的判断和决定。对交通标识做出轻微改动，误导图像辨识系统，就是一个可靠性攻击的例子。

她说，对机器学习系统可靠性的攻击可以发生在不同的阶段。涂写停牌或者是改动电脑图像是让它在需要做出判断的“推理阶段”犯错。但是攻击也可能在人工智能的“培训阶段”进行。机器学习系统通过大量数据来掌握特征，学习模型。攻击者通过在培训阶段提供错误数据给它“下*”，导致它学到错误的模型。

未来的城市生活，从红绿灯到下水道系统都可能由人工智能控制。宋晓东说，她们的大量研究显示，对人工智能的干扰并不仅限于图像辨识系统，它在不同类型的深度学习系统和不同的应用领域也普遍存在。人工智能的迅速发展令人兴奋，但我们在把这些进步运用到实际生活中的时候也需要保持警惕。

她认为，安全问题将是人工智能应用的最大挑战之一。因为攻击者一直在紧紧跟随我们开发和应用新技术的脚步。在人工智能运用上安全风险更大，因为将来会有越来越多的系统由人工智能控制。这些系统受到攻击会造成非常严重的后果。

宋晓东在过去的采访中曾经提出，人工智能的开发者从一开始就应该从攻击者的角度去思考和设计，以便提高系统的安全系数。

(RCI with CBC，Spark，Nora Young)

不错不错.,..我喜欢

喋喋不休

无稽之谈