小米AIoT安全峰会议题回顾｜构建安全可信的人工智能

AIoT超级互联时代，人工智能、深度学习、物联网等等前沿技术不断改变着人们的日常生活，给人们带来便利。但同时，人工智能等技术也带来了算法操控、技术滥用、数据隐私、安全风险等问题。如何在促进人工智能发展应用、继续造福社会的同时，避免随之而来的风险与伤害是亟待解决的问题。朱玲凤律师在本次峰会的议题中，介绍了小米是如何践行安全可信AI，努力让全球每个人都能享受人工智能等科技所带来的乐趣。

构建安全可信的人工智能

以下为速记全文：

从2016年AlphaGo打赢李世石之后，人工智能的产品逐渐跟我们日常生活有了更多息息相关的感觉，仿佛它一夜之间成长了，变聪明了，感觉它能做很多很多的事情，但是又带来了很多的问题，包括数据漏洞、算法操纵等等问题，如何规制好人工智能，让它良性的发展，是我们真正要探讨的问题。

但是这个命题是非常跨领域、跨学科的，懂法的人不见得懂技术，懂技术的人可能也不懂其他领域的问题，所以我今天只是抛砖引玉给大家介绍一下我们认为的人工智能应该往哪些方向发展，以及小米的人工智能怎么实现我们对用户在人工智能上的承诺。

人工智能这个词是1950年图灵在一篇论文中提到的，他没有提到它的定义，他只是说怎么判断一个机器具有智能：一个裁判在幕后，幕后有一个人一个机器，当这个裁判无法判定出来跟他对话或者交流的是人还是机器的时候，那么这个机器就具有智能。

这句定义出来之后，有很多人说图灵进入了仿声学，其实并不是，因为人工智能其实不是去模仿人的思考，它是最终达到了跟人智力一样的效果，达到了人智力所解决的问题。它的本质还是计算，它把所有需要用智力解决的问题变化成计算问题，通过大数据和深度学习的算法，去获得相应的智能。所以我们的人工智能里面有很重要的一部分，就是用算力、算法和大数据去进行所谓获得的智能，然后有它的输入和相应的输出，所以这个就是人工智能整个大的模型。

但是随着人工智能的发展，突然之间长期以来观棋不语的君子突然华丽转身变成棋王之后，大家会担心人工智能会不会有一天觉醒了，突然之间这个世界主宰变成了人工智能，但不是人了呢？这个想法提出之后，人工智能的定义上更强化了对人的那部分内容，所以人工智能是人设计出来，以实现既有目的的能够像人一样解决人的智力所解决的问题。这个定义会在我后面的分享不断出现，因为要知道怎么去规制人工智能的道和术，首先得确定我们规制的课题本身到底是什么。

但是讲概念特别得枯燥，我们找一些很典型的例子或者说场景让大家感受一下。这是昨天我们在发布会上用很大篇幅去讲的魔法分身功能，大家想想短视频上的跳舞视频怎么录，传统的通过镜面原理拍摄，或者多机位拍摄，但是用魔法分身，一键就可以实现图片中的教学视频，能够观察到跳舞的人每一个动作和细节。

我们再找一个场景，比如说这种情况，到了海边我很想抒发一个“面朝大海，春暖花开”，但是这个场景实在无法抒发这个情感，但是魔法换天立刻能实现。

诗和文学作品大家觉得是人类特有的东西，这是一种文学创作的东西，它不该是机器会有的东西。但是我们的小爱同学特别会写诗，看到一个图片就能抒发很优美的诗。我要给大家解释一下这个诗怎么产生的，不是像诗人一样突然身处意境之下有感而发，而是靠算法解析出来图片里面最有可能出现的物体本身是什么，根据这个物体第一个字对应的通过文人墨客历史上这么多诗词最合适讲的词是什么？从最合适的两个字再找到第三个字，最终再找到第四、第五个字，直到最后一个字，这么说完之后，会不会诗的意境让我给讲没了。对，其实人工智能的本质是计算，它从来不是用人的思维推理逻辑做出来的，它本质还是计算，它把所有问题都变成一个分类选择和决策的结果。

我们再看一个更加典型的或者说更加复杂或者高端的人工智能。利物浦推出了一个人工化学家，这个人工化学家基本上具有跟人一样的身高和操作空间，能够操作实验室里的所有仪器和结果，并决定下一个实验怎么做。它在八天时间内做了688个实验，并且发明了一种新的化学催化剂，它不仅有做实验记录结果的本体，更有一个大脑决定说下一个实验该怎么做。所以，人工智能的专家认为，这特别像一个自由导航仪，徜徉在化学世界里，但是它的本质其实是通过大数据和算力算法算出来下一步怎么做。

说完很美好的一面之后，我们也不得不看到人工智能其实也会给我们带来很多的问题和困境。当人工智能的产品从遥远的幻想科幻片里面到现实生活当中，如果发生了产品质量问题，会影响人身的损害，人的自由，人的尊严等等的时候，谁应该为这个产品质量的安全负责呢？

再比如说我们刚刚说到人工智能的核心其实是计算，计算是要靠大量数据的，这也是为什么人工智能能够到2016年之后才有这么大的爆发，其中一个重要的原因就是大数据的量，从量变到质变，让智能的优势发挥出来了。

还有一个问题是我们近些年发现的，智能具有它的傲慢和偏见，可能会发现歧视性的问题，也有可能是算法操纵的问题，甚至有进一步伦理问题的出现。机器是没有相应伦理和道德约束的，那么没有约束的机器会发生一些什么事情呢？

我们从这三个方面来看一下AI的困境和相应的路径该怎么解决。2018年自动驾驶风风火火，做得非常非常明显，但是，却马上遇到的就是两起交通事故，第一起是特斯拉的半自动驾驶，当时是一个苹果的员工驾驶这辆车的时候，玩了手机上面的游戏，然后半自动驾驶在视觉识别时发生了障碍，突然间开到旁边的路障上，基本上达到了车毁人亡的结果。事件调查结果在今年上半年得出来的，一部分原因就是自动驾驶设计上有一定的缺陷，发生问题的时候，它没有识别障碍物，并且也没有打算做制动，而且在司机分心的时候没有足够的警示和停止行为。

另外一个案例是Uber的自动驾驶，前面的行人是推着自行车带着货物，但是视觉系统没办法识别这是一个行人，于是就撞上去了，行人就去世了。但是安全检查员在后面坐着，他在玩手机，并没有看到这个行人，所以现在以过失杀人罪被起诉了。

我们现在不评判这个结果是对还是错，对于产品事故加上人工智能，它会有些什么样的问题？是不是我们现在原有的产品责任法能够解决的？首先第一个问题是算法黑箱的问题，我们先排除有些企业为了保护自己的商业利益，不去把算法本身讲得很透，就机器学习本身来说，它是靠机器在学大家的数据当中，通过深度神经网络不断的学习。说实话，连设计者可能他也无法完全准确的判断出来说机器到那个时候，在那个时点为什么做出了这样的决策。所以，他存在算法黑箱的问题。

算法黑箱问题出现之后，这个事故发生的责任和问题到底在哪？因此在产品责任法上是找不到谁应该为这个事情承担责任的，所以这是人工智能遇到的第一个困境。

第二个困境，人工智能把整体产品的生命周期拉长了，因为从设计系统、训练数据最后部署使用，而且它是一个自动不断学习和迭代的产品。也就是说在产品上市之后，它也在迭代。但是任何一个阶段都有可能发生问题，比如说设计的时候本身存在缺陷，比如选择的数据集本身就带有歧视性，或者禁止性安全性的问题，就导致算出来的结果产生了问题。或者使用方并没有知道这个人工智能使用的时候是有条件限制的，生命周期的不断拉长导致整个过程中损害和原因之间的因果关系很难确认。

再往下说，因为生命周期变得非常长，参与者也会变多，包括设计者、部署方、使用者以及外来的侵入者。那么，原因找不到，原因对应的人也很难找到，在这种情况下，用户应该怎么去获得相应的赔偿，企业怎么承担因此而产生的人身或者财产损害所带来的违法成本。所以这就是一个很大的困境。

但是，我们不能只看到说人工智能可能会发生这个问题。因为所有的事情新技术的发展都会有这个问题，汽车刚刚诞生的时候也有这个问题，汽车也会发生交通事故，后面才说要做好安全设置等等，这些东西不能因噎废食。

欧洲提出来说人工智能带来的收益和它的风险本身就是一个硬币的两面。它解决的路径应该是什么呢？是基于风险，基于风险的路径最终想解决的问题是让监管可以以恰当比例的方式介入。所以，进行了一个风险上的分析。如果这个风险部分来说是可以忽略不计的，非常小的，那么就以现有的法制规制就好，不要再额外去增加一些要求，这样可能会影响整个创新的发展和市场的竞争。如果这个风险是非常不可接受的，那么这种人工智能就应该被禁止，就不要再进行产品上市和研发。

对于中间过程中风险相对较小的，应当基于过错责任，当他有过错时才承担责任，对于高风险的应该采取严格责任，不应该再要求用户说你证明这个损害发生到底是谁发生的，不需要他再去证明。那么这个产品或者说这个人工智能的技术，或者这个算法提供方应该承担相应的责任。

对于高风险的人工智能提出了一系列的解决路径和要求，包括第一点，一定要以人为本，用人类的监督方式保证人的自主控制性，以及保证机器不会以伤害人的方式去运用。但是人工的介入方式是要根据当时的场景进行确定的，比如说是对于拒绝社保利益，对人来说影响这么大的事情，必须是人审批通过才可以作出决策。但是对于有些相对来说风险小一些的，比如说信用卡的自动拒绝，机器可以做出决策，事后需要人工复核。还有特殊条件下人工智能不能发挥作用的，比如说视觉的系统判断当前的可见度非常差，那么自动驾驶就不应该被激活使用，还是应该强调由人来进行操作汽车，以免发生故障和事故。

对于算法黑箱以及后面的长生命周期里面，各方的行为以及确定损害因果关系之间的确定，核心要解决的两点，一是透明性，二是可解释性，确定大家能找到问题在哪，问题是由谁发生的，必须解决的透明性和可解释性。

透明性第一点来说，必须很清楚的告诉使用方，这个人工智能能达到什么样的结果，达到这样的结果，它的精确度有多少可能性，以及实现这个预期结果所需要的条件是什么，一定要告诉得很清楚。另外一点也是很重要的一点，如果人工智能在跟人交流，必须告诉对方这是一个人工智能，而不是一个人。要尊重人的尊严，所以这是透明性的问题。

还有可解释性最终的目的就是为了能找到问题在哪。对于训练的数据集本身，训练的结果，以及在这个过程中关于安全和禁止歧视性的测试方法和算法模型都要准确记录，以便后续的追溯。

最重要的是鲁棒性，人工智能作为一个新的技术应当被验证可靠才可以上市让人去使用，因为这是一个企业最基本的责任，它需要确保这个安全性和准确性，当它达到一定的上市标准时，才可以运行，才可以到用户身边去。

我们给大家举一个例子，比如说我们的小爱同学，这是看起来很魔幻的实验室，是我们的声学实验室，看起来大家觉得那句小爱同学的“我在”，好像很容易，但是面对不同的设备和麦克风，我们通过这个实验室不同的凹凸优质的块，以及它会用软件上的各种模仿噪音、唤醒时的情景做70多种排列组合的测试，每一句温暖的“我在”，背后都是千锤百炼的测试，必须具有稳定性才能上市。这是人工智能在保证安全责任和产品风险最基本的保证。

我们一直提到AIoT，这是宝秋叔最早在公司提出来的点，现在已经成为行业热词。AI像人的大脑，但是IoT加上5G就像神经网络，通过传感器把信息传给大脑，由大脑往下传输执行。大数据之所以对人工智能有这么大的影响，它的核心是在数据量足够大和完备性，AlphaGo能打败李世石也是有大量对弈训练的结果。因为围棋是有确定的目的和确定规则的，以及它有有限的走的步数和路数的，所以这个东西是可计算的。

这种情况下，大数据本身的量和完备性以及质量对于这个人工智能的智能性有决定性的作用。但是这一点在隐私保护上是有很大的冲突，隐私保护有一个基石性的原则，就叫做数据最小化，为了避免数据的滥用和协调。在人工智能领域当中，怎么去平衡数据最小化和大数据之间需要充分的考量用户的安全性和合理预期。

另外，我们一直提到AIoT是一个万物互联的世界，当你回到家用指纹解锁打开门之后，音箱在播出你喜欢的音乐，阳台上的窗帘全部关上，空调和加湿器调到你喜欢的状态，一切非常得便利。但是这样带来的风险是，很有可能数据会在不同的企业之间发生风险，隐私的风险在扩大。怎么保证你的合作方同样遵守隐私的规则，怎么能把一个企业做得好，变成一个行业，变成全世界隐私都做得好是一个很核心的命题。

再往前走，我们现在可以说人脸识别这个技术变得那么大，人走在路上就会被识别出来，可能把你跟线上的记录组合起来，可能你这个人无所遁形。再不是以前我把手机关了你就找不到我，你在世界上遁形这件事就不存在。用户怎么知道数据被收集和怎么使用，也是一个很大的难关。

我们觉得隐私法和个人信息法本身就诞生于大数据时代，对于解决大数据时代带来的风险问题，它是可以解决的。更深一层来说，只做法律的底线不足以满足现在用户对于大数据或者人工智能时代的一个恐慌和担忧，它更需要的是一个企业自身的提升。

比如我们去年已经向公众下发了我们安全和隐私管理框架，从原则、顶层结构到数据全生命周期遵循PDCA的逻辑实现对用安全和隐私的承诺。同时对用户来说，这是我们企业内部的自我约束，另外一个层面是透明性，透明能换来信任和信赖，我们通过MIUI的安全白皮书，包括AI算法，在这个过程中如何实现的，如何保护用户隐私，如何让算法只在端上使用，所有数据不会传到云端，去获得用户的信赖，都会在这个白皮书中充分展现出来。这是我们企业对用户的一分承诺。

在安全隐私和安全的问题聊完之后，再下一层是更难解决的问题，智能本身是带有偏见和傲慢的。这个偏见最早在谷歌的图像识别时，它曾经把黑人识别成了大猩猩，虽然他道歉了，但是对人的伤害还是很明显的。现在疫情是比较严重的，体温枪是一个很常见的场景，但是如果黑人拿这个体温枪就会被识别为他在持枪。

外卖系统把外卖骑手跟商家的订单都算作了一个数据，给外卖员的时间越来越缩小，因此导致了外卖员不顾生命危险送餐等情形，这个地方最令人不舒服的是把人当成了参数，人还应该是一个人，不应该成为系统里设置的一个参数。

再往前说一下，如果人工智能遇到了伦理问题会怎样？比如说现在图里体现的这个，车上有四个人，前面有四个人，当这辆车突然之间刹车装置失灵了，请问我们是选择直行撞前面人还是选择撞到旁边的障碍物导致车上的人身亡？这个时候大家可能会觉得这个伦理的问题其实人也会遇到，但是大家觉得最大的困境是在这个时候由机器来判断人的生死，所以机器遇到了伦理的问题。但是我们往深去想一层，这个伦理问题真的是存在的，机器真的有伦理这件事吗？《人物周刊》曾经访问过一位AI伦理学家，他说其实机器不存在什么道德和伦理，它不是高和低的问题，它本身一直和道德和伦理无关。

因为基于图灵概念的基础，智能本身是计算，它没有逻辑、没有情感，跟道德本身就没有关系。那么这个伦理约束的到底是谁呢？其实是人工智能的设计者，以人为本这些核心强调的是对AI智能的设计者提出的一个要求。

曾经看过一个综艺节目提到一个人工智能专家在将不久于人世时将人工智能芯片植入女儿的大脑中，仍然能听到妈妈的声音、看到妈妈的形象。对于职场妈妈，陪伴孩子是内心最大的痛，朱律师现场演示了小爱同学自定义语音功能，输入20句语音，定制了小爱同学回答声音为朱律师的声音，与其女儿进行交流，小爱让AI有了温度。

但是世界上还有一群特殊的人群，但我不愿意说他们是特殊人群，2015年有一位用户在我们的论坛上提出了很多残障人士需要的东西。那天开始我们就在所有的技术上去考虑，怎样让信息无障碍，让这些人跟所有人一样能够享受到科技带来的乐趣。大家可能想象不到一个视障人士开空调有那么难，他必须要等到有人来，有外卖，或者收水电费的人帮他开空调，他才知道空调现在多少度，我还要不要去调。所以我们简简单单在产品上设计就是万能遥控，你调任何一步给你一个声音的反馈。对于正常人来说，它没有差异，但是对视障人士来说，很重要。

我们的AI电话助理，能够通过AI帮听障人士接通电话，打字就跟通话一样，给他们创造了很多就业条件，他也可以作为外卖骑车通知用户“你的外卖到了”，这是AI能做的，让这个世界没有障碍的享受科技的乐趣。

其实在现在还有一群人更值得我们去关怀，就是我们的老人。疫情的时候，大家觉得好像没差啊，宅男宅女一直在用APP买菜，但是对老人来说这件事有多难啊，他玩不来手机，不知道怎么抢购，冒着生命危险去买菜，发现超市货架上没有任何东西。这是一个很可悲的状态，我们不能让这个世界把曾经养育我们的人抛弃了，所以我们希望把所有的操作简单化，简洁化，让老人感受到科技这么近，能给他们的生活带来很多有意思的事。包括扫地机器人断电，没电了自己充，充好了再来扫，一句话就能打开电视机，这是多么小的一件事，但是对他们来说，内心的温暖非常非常之重。

小米的AI价值观里面我们有几个很重要的因子，第一个是普惠包容，在我们看来每个人，每个具有特殊需求的人都应该被尊重，被关怀，所以要强调普惠和包容。同时AI在我们看来，它就是简简单单的，是增强幸福感的。同时我们会通过遵守安全和隐私的保护，来提升用户对我们的信任，真正打造一个安全可信，能给全球每一个人带来人工智能的乐趣和美好的。

所以回到最后的一句话，小米的AI、小米的人工智能目标就是让全球每一个人享受科技带来的美好生活。

2020小米AIoT安全峰会议题 索引

人脸识别的法律规制框-洪延青

安全可信体系：系统可信标准解读与实践-万鑫

注意：关注小米安全中心，后台回复PPT即可获取本次峰会所有议题ppt。

点击 “ 阅读原文 ” 获取ppt