百度人工智能交互设计院：用AI技术探索人机交互体验

7月3日-4日，“Baidu Create 2019”百度AI开发者大会在北京国家会议中心隆重举行，大会聚焦产业智能化，向业界展示了百度最新的技术进展和落地实践。在此次大会的百度AI交互设计论坛上，百度人工智能交互设计院院长、百度设计体验委员会主席关岱松与其设计团队共同向外界展示了百度人工智能交互设计院基于深度学习的人因工程，以及百度AI交互设计在无人驾驶、智能硬件、百度大脑、机器人、AR、VR等方面协同发展的实践，并发布多项最新AI交互设计成果，不仅包含全新升级的小度交互设计系统，更有AI交互设计助力产业智能化的最新探索。同时，三款基于百度自然情感交互系统NIRO开发的软硬一体化创新机器人也在现场首次亮相。

作为百度AI交互设计的重要阵地，经过过去一年不断的探索，百度人工智能交互设计院取得了令人瞩目的成果。在AI交互设计论坛现场，百度人工智能交互设计院高级经理向业界介绍了百度人工智能交互设计院的最新成果：在18个人机交互和人因工程领域的专业学术/行业平台累计发表或录用23篇论文，通过公众号发布68篇人因工程文章，并在行业内发布了《智能汽车人机交互设计趋势白皮书》与《2019AI人机交互趋势研究》两大核心报告，为行业指出了人工智能时代下的交互设计趋势。

同时，为了进一步提升用户体验，百度人工智能交互设计院建立了中国最AI的家居实验室。通过邀请被访者模拟在家庭场景下的真实状态和行为，结合人体检测、情绪识别、音频内容检测等多项百度大脑开放能力，用AI技术赋能人机交互体验研究与探索。而通过与百度研究院商业智能实验室合作，基于百度自主研发、开源开放的深度学习平台飞桨（PaddlePaddle），打造了界面设计深度学习算法，对用户体验进行分析，生成最优界面设计区间。

事实上，研究团队还做了很多超前的人机交互探索，总结出决策树，使机器变得更加聪明，懂人情。未来的AI赋能，会让人和机器之间的距离更近，也会让机器更懂人类。

以下为演讲实录：

各位嘉宾上午好，我是百度人工智能交互设计院高级经理，非常高兴站在这里和大家分享过去一年百度人工智能交互设计院在研究上一些新的突破和进展，我们把它叫做“AI时代的研究新大门”。

AI改变了我们的生活，各种智能产品已经出现在我们的身边。作为一个高科技公司的员工，我非常习惯上班刷脸打卡签到、刷脸付钱吃饭，没事儿撩撩小度，带访客一起坐坐无人车。

作为研究员，我们则在智能家居、智能驾驶、公共服务的领域进行人因工程的研究，去发现影响人们与产品交互时的关键因素，找到体验优化点。两年累积下来，我们开展了50多个研究项目，成果也陆续应用到了产品中。

除了内部应用，我们也通过论文、公众号文章，以及线下交流等形式和学界、业界不断交流，分享我们的研究成果，累计发表或录用论文23篇，发布公众号文章68篇。

对前沿趋势的洞察，我们以白皮书的形式进行总结和传播。比如我们2018年10月与湖南大学联合发布了《智能汽车人机交互设计趋势白皮书》，2019年2月，独家发布了《2019AI人机交互趋势研究》报告。

在这两年的经历中，我们看到了AI的能量巨大，AI改变生活、改变各行各业。所以我们也在一直不断在思考，在人因工程研究的领域，如果有AI加持，我们能做什么呢？今天给大家分享我们的两步实践。

第一步，我们搭建了一个家居实验室，让AI自动识别、采集和分析用户数据进行研究。过去，为了了解人和智能产品的交互体验，我们会去用户家里拜访，或者把用户邀请到我们租用的民居中，进行人机交互的实验研究。

通过这些研究我们得到了很多重要发现，但是这些研究方法一直面临着人工分析成本高、时间长、数据精度低的问题，而且一些创新交互原型只能在内网实现时，我们又无法把它们带到真实的家居环境中测试，带来了研究的局限性。

所以，建造一个家居实验室，更真实地还原交互场景，更智能采集和分析数据，提高研究的效率和精度，是我们很早就确定的目标。今天，这个实验室已经在百度科技园建成并有效投入使用，它支撑了我们在智能家居领域的各项研究。它不是最早的，也不是最大的，但肯定是中国最AI的家居实验室。在这个实验室里，涵盖了客厅、卧室、厨房、餐厅等家庭主要场所，几乎可以还原被访者在家里的一切操作。

在这里，被访者可以自由地和各种产品互动，有已经上市的，还有很多我们还在研发中的产品。而且就算是已经上市的产品，通过实验室集成的设备控制平台，我们可以调整这些设备输出的各种参数，比如灯光、话术、音色等，并加入很多现有产品还没有的能力，比如手势交互、主动交互等等，以供我们测试。这是第一个层面的最AI，它是可以体验未来AI生活的智能实验室。

而在被访者的授权同意下，我们通过在实验室内布置的音频、视频、温感、红外等信息采集设备，实时收集实验过程中被访者的声音、动作、情绪等，而不对他们造成任何干扰。

采集到的信息和百度大脑的能力相融合，这就带来了第二个层面的最AI，它能自动化采集和分析数据。 比如，能识别人体、人脸属性、分析人的音频、姿态、动作，追踪人体行为与空间距离，最重要的是，能够实时监测和分析人的情绪。 有了这些能力，让我们可以更懂用户。

我们邀请被访者到实验室，自然地和各种智能产品进行交互，总结出人们和智能产品交互的行为模式和体验要素。比如他们交互时的位置、距离、关注因素等等。

我们发现除固定位置交互，当人在移动中去和智能语音产品交互的时候，通常人会走近到1.5-2米之间才开始与产品说话，这也在人和人之间的社交交往距离范围内。并且，大多数情况下人会不自觉去看产品，特别是开机/唤醒/配网的任务下，期待产品除声音以外更丰富的灯光、界面反馈。这也带出来小度用户体验团队对灯光反馈的更精细化设计，在接下来的分享中大家会看到设计成果。

在这个过程中，我们发现被访者会用不同的方式调节去音量，“大点声”、“声音大一点”、“大一点点”，这看似是个“文字游戏”，但实际上却反映出他们不同的心智模型。所以，我们单独把这部分数据拿出来分析，把被访者首次调节音量的指令，和他最终调节满意的音量对应起来，计算出指令和音量调节步幅之间的对应关系，还原心智模型。

我们还发现，被访者在不同的距离和音箱交互时，他们最满意的音量范围不断变化。这是为什么呢？其实是声音随着距离的增加在不断衰减，而人的听觉舒适区域是相对稳定的55-67分贝。

基于这些研究发现，我们提出了“个性化音量调节策略”，它综合考虑了音量调节历史、语义理解以及交互距离等因素。目前这套策略正在内部测试，我们也申请了专利，不久的将来会在产品中应用。

在实验室，我们还可以记录下被访者所有的界面操作行为，以及以每秒15次的频率，记录下他的情绪变化，这是一个很精细的数据。

累积一定时间的数据，我们可以画出被访者的情绪波动图。比如说一个被访者真实阅读资讯推荐内容11分钟后所画出来的情绪曲线，上面有10000个数据点。

通过情绪和行为比对，我们可以找到她的情绪高点，比如这个时候我们看到她在看可爱的猫；也可以找到情绪低点，比如这个时候她在看恐惧的高空视频，结合行为记录我们可以看到在这个内容和情绪后续，是关闭阅读，还是继续浏览类似内容，从而找到内容-情绪-行为之间的关联关系。当我们提炼出这套策略关系，在实际应用场景中，就可以基于用户行为反推用户情绪，修改内容推荐策略，优化产品体验。

通过让被访者在这个“家中”模拟出他真实的生活轨迹，综合以上的分析能力，我们可以绘制出最细致的用户体验地图。

我们不再是单一地去评估一个产品的用户体验，而是将它们放到同一个时间、空间的维度，更立体地去还原和理解用户需求、场景、产品、体验之间的关联关系。

通过邀请更多不同的人群来家居实验室进行体验研究，有单身青年、年轻小夫妻、三口之家、空巢老人，他们代表了我们现有 智能 家居 产品用户人群的大多数，使得我们更深刻地理解用户需求，追寻用户本真，为产品优化提出更细致的落脚点。

当然，除了对现有产品进行体验研究，在这里，我们也会探索未来人机交互可能的形态和模式。

随着AI情境感知能力的提高，智能产品比如说机器人将可以识别人和环境，主动提供服务。但是，在什么样的情况下机器人可以主动，哪些人更愿意接受机器人主动交流，不同任务下有没有差异？比如用户难过的时候，它怎么表达安慰？紧急事情发生时，它应该如何通知等等，我们进行了研究。

通过设置不同的情境和人群实验，我们积累了很多结果并总结形成决策树。这个决策树将会让机器人变得更加聪明，懂人情。

通过以上案例，我们可以看到，AI替代了我们过去繁琐的数据记录和分析工作，甚至比我们做得更快、更精、更好。当我们的精力被AI释放出来，我们可以更专注于用户需求和行为本身，并在一个更加立体的空间还原他们最本真的诉求。

我相信，未来在这个空间，还有更多的AI能力可以应用，也将有更多场景和产品被创造和验证。

我们第二步突破和进展，可能大家已经期待了很久，就是运用深度学习，进行用户体验的研究。深度学习是一种非常强大的算法，它通过大数据去学习人的认知过程，进而构建复杂的模型，能进行判断和预测。

我们今年和百度研究院商业智能实验室展开了深入的合作，尝试将深度学习算法运用于界面设计、音色体验、外观设计等多个维度的用户体验研究。目前，我们已经完成的研究成果是在界面设计方面的模型应用。

如何找到最优的界面设计，是困扰每一个设计师、每一个用户体验研究者由来已久的问题。 因为要设计一个界面，涉及的因素，实在是太多了。 以我们最熟悉的手百App首页为例，简单拆解，我们可以发现，这个页面有14个模块组成，每个模块各自都可以有不同的变化。

比如最熟悉的搜索框，设计师需要考虑的因素竟然有二十几个，比如说框的颜色、粗细、高低、图标设计、字体、字号大小等等。挑选其中最关键的8个因素，综合计算它们可能的取值，全部的组合是近两百万个，这是一个人力很难企及的数据。

在过去，我们会让设计师不断尝试，依靠经验判断，然后做出艰难的取舍，最终定下来8个，进行线上的小流量实验。这8个, 是对设计、开发人力、流量影响、数据准确性综合考量的结果。从200万到8个，绝大多数方案没有机会被验证。到底我们挑选出来的8个，是不是最优的那8个，我们无从知道。

所以，有没有可能测试更多的方案，获得最优设计的答案呢？深度学习的出现，让这件事变为可能。

我们和百度研究院商业智能实验室的算法工程师合作，基于百度深度学习平台飞桨的算法，训练机器判断和预测的能力。这里演示实现模型构建的流程有8步，实际上可以分为两个阶段。

第一个阶段，我们把页面拆为不同的模块，收集用户体验数据，先对模块进行深度学习，找到最优模块设计区间。

第二个阶段，我们把每个模块的最优区间重新组合成不同的界面，再收集用户体验数据，让机器进一步学习，找到最优界面的设计区间。

具体展开模型构建的过程。首先，算法工程师通过模型的复杂度计算深度学习所需要的最少方案数，是2000多个，大约是所有组合的千分之一，依照这些组合随机生成测试方案。

然后，我们通过众测的方法，将这些方案随机拆解给1000多个用户进行评价，评估每个方案的体验好坏，我们收集到了4万多条用户数据。

接下来，算法工程师基于这些数据，进行深度学习模型构建，让机器学会判断设计好坏的标准。经过多轮的学习和模型优化之后，模型准确性会不断提高。最后，我们再随机生成300多个新的方案，让用户和机器同时判断，通过两者判断的一致性，去检验机器的学习效果。

我们来看一下深度学习的部分结果，这里每一个图代表了一个设计因素对用户体验得分的影响，横坐标是因素的取值变化，纵坐标代表这个取值下用户的喜好度，得分是越高越好。

图一，我们可以看到这个因素非常关键，随着取值的不断上升，体验会下降。图二说明，这个因素取不同值时，对体验几乎没有影响。图三说明，虽然随着这个因素取值越大，得分有向下走的趋势，但它的用户体验得分分布很散，说明这个因素受其它因素的影响较大，它需要综合考量。

通过模型，我们可以计算得到这个框架下的任意一种设计的用户体验得分，设计师可以通过模型反馈的结论，不断调整设计，从而找到最优方案。这个模型计算的结果与用户实际打分的结果，一致性达到了92%。

通过同样的流程，我们进行新闻模块的深度学习研究。我们梳理出相应的设计因素和取值范围。这次交叉出来的组合数，是20多万。我们依然是生成随机测试方案，进行用户体验数据回收，构建深度学习模型。

这是新闻模块深度学习的部分结果。在这里我们发现了一个新的规律，即图一这个因素，随着它的取值变化，对用户体验的影响呈倒U型，即它存在最优区间，它既不是取值越大越好，也不是取值越小越好，而是在中间。

因素二和因素三随着取值变化，用户体验得分会略升或略降，但范围也是比较分散，同样受到其他因素的影响，设计时需综合考虑。

同样我们得到这个框架下的任意一种设计的用户体验得分，这个模型计算的结果与用户实际打分的结果，一致性是95%。

当我们研究完不同模块之后，我们将模块进行组合，进行界面研究，用同样的流程我们构建了界面级别的深度学习算法模型，给出了最好的界面设计方案。

我们粗略去进行一下深度学习算法和传统测试方法的比较，应用深度学习去进行设计模块的研究，我们研究的广度即方案数提升了百倍级，生成模型的复杂度提升了万倍级，而研究效率较以往提升3-4倍，模块学习后给出的最优方案，较传统测试方法选出的最优方案，用户体验提升了16%。更为关键的，这是一个可以预测的模型，这意味着，在这个模型框架下，无论任何新的参数设计，都可以被直接计算出用户体验得分。

而对页面来说，我认为这个价值的提升是无穷的。过去我们可能都是靠设计师的经验，综合设计出几种不同的方案，完全无法解释因素对页面的影响关系。有了深度学习模型算法，我们每测试一个新的模块或新的页面类型，都可以把新的数据加入原有的模型继续计算，经验可以复用，最终我们会得到一套的可覆盖所有移动页面的用户体验深度学习算法评估模型。

总结以上，AI时代，我们从研究AI到让AI为我们所用，实现了更智能更精准的用户行为和情绪分析，建立了更高效更复杂的用户认知模型，这是用户研究新的开始。我们也还在更多研究中尝试加入AI，期待在未来的场合给大家做更多的分享。

最后，感谢过去2年对我们持续关注的朋友，百度人工智能交互设计院仍将以引领与定义最好的人机交互作为使命，做时代的探路者，勾勒AI时代的第一张用户体验地图，欢迎更多的朋友关注我们，与我们交流。谢谢大家！

聊聊天，谈谈“情”——智能产品情感体验研究

“声”临其境——如何为你的产品选择恰当的发音人？

AI人机交互趋势研究（2019）