中国青年科学家让耶鲁机械手拥有“自我意识”， 自研算法模型，少量参数即可实现写字和...

中国青年科学家让耶鲁机械手拥有“自我意识”， 自研算法模型，少量参数即可实现写字和走迷宫 | 专访

机械手也会写字了！

机械手也会写字了！

最近，西安交大毕业生杭凯宇研发出一款算法，只需提前设计好路线，机械手就能写出英文单词“SCIENCE”，平均控制精度高达 0.42 ± 0.34 mm。

图 | 正在写字的机械手（来源：受访者）

通过该算法，机械手还能操作迷宫模型，并控制小球按照特定路线、走向迷宫终点。在没有任何位置约束的前提下，机械手的方向控制精度达 1.20° ± 1.38°。

图 | 写字和走迷宫任务（来源：受访者）

在堆叠杯子的应用中，针对桌上五个杯子，机械手能按大小顺序、依次拿起其中四个，然后堆叠到蓝色杯子上。

图 | 机械手在叠放杯子（来源：受访者）

为让任务更具挑战性，杭凯宇将杯子随机倾斜摆放，要求机械手必须始终从桌子的垂直方向来接近和抓取杯子。即便如此，机械手仍能完成任务，并可把控制精度在 2.1 ± 0.92 mm。

图 | 夹起随机摆放的杯子（来源：受访者）

而且，就像壁虎尾巴断了还能长出来一样，假如机械手的手指坏掉，换上新的还可照样工作。

这一切都得益于本次算法，他告诉 DeepTech，以往基于模型的机器人操控系统，往往依赖模型参数。这些参数要么来自先验知识，要么来自传感模块的实时捕捉，比如基于视觉、触觉和力觉的传感器等。然而，这种基于模型的操控系统，需要非常多的模型参数。

图 | 实验装置（来源：受访者）

假如遇到不稳定的物理环境，亦或者机器人尺寸比较有限，传感模块的数量和性能也会被限制。如果机器人的执行环境比较陌生，同时又缺乏先验知识，那么操控系统就会陷入无参数可用的尴尬境地，相关功能会遭受极大影响。

已从西安交大毕业、目前正在耶鲁大学做博后研究的杭凯宇，攻克了上述难题，并以上面几个案例证明了算法可用性。

图 | 杭凯宇（来源：受访者）

他以第一作者身份撰写了相关论文，并于近日发表在 Science Robotics 上，论文题为《以机器人操作实现自我识别， 和以自我识别实现更好的机器人操作》（Manipulation for self-Identification, and self-Identification for better manipulation）。

图 | 相关论文（来源：受访者）

据悉，基于虚拟链接模型（Virtual linkage-based representations，VLR）的概念，杭凯宇研发出上述新算法，该算法可通过探索性操控动作、以及概率推理，去自我识别机械手、和目标物体之间的基本互动机制，从而让机械手实现精确操控。

图 | 实验中使用的机械手 Yale Model O（来源：受访者）

在实验中，他将算法应用到一款名为 Yale Model O 的欠驱动机械手上，该机械手既没有关节编码器、也没有触觉传感器。

但即便在缺少传感模块的情况下，搭载该算法的机械手也具备被动适应能力，从而极大促进自我识别过程，并能确保机械手在随机探索过程中、与目标物体的稳定交互。

据悉，该系统只依靠机械手上的手内摄像头，即使给原装手指增加新设计，它也能有效地自我识别。

从人类第一次知道火苗烫手说起

事实上，传统基于模型的操控系统，除了需要较多模型参数，还面临着多模态传感、硬件设计、规划和控制等复杂问题。

此前，已有学者使用传统设计理念简化了个别问题。仍以可抓取物体的机械手为例，虽然它能通过手臂运动完成拾取和放置等任务，但这种方法不仅缺乏灵活，能耗也比较高，用户在使用时也不安全。

正因此，许多学者都尝试打造与人类灵巧双手类似的机械手，即仅凭手指运动就能提供目标性更强的物体操控。但是，机械手的高敏捷性和高自由度，也意味着更复杂的控制系统，所以同时协调多根手指、并进行稳健操作并非一件易事。

（来源：受访者）

在该研究中，杭凯宇尝试用最少的传感模块，让机械手去识别自己与物体互动时所需的参数。

期间，他提出一种自我识别概念，可将机械手操控的传统范式从感知-规划-行动，转变为行动-感知-规划。

这种转变后的范式，对你我来说并不陌生。比如，人类首次面对火苗时，可能并不知道它会烧伤人类，当用手指触摸火苗，感到极其烫手之后，才明白原来火苗不可用手直接碰触，这便是先行动后感知的范式。

存在的意义是什么？机械手自己就能解释

近年来，各种机械手层出不穷。但是，每个机械手与物体的互动系统各不相同，即使是同一物体和同一只机械手，每次抓握时的接触位置、机械手的关节配置、以及力量分布等参数也不一样。而这些复杂的参数，也组成了机械手操控机制的基本参数。

（来源：受访者）

尽管参数并非恒定，但本次研究中的机械手系统，具备通用且不变的属性，因此可有效描述机械手和物体之间的相互作用。

基于此，杭凯宇制定了一款框架，它主要面向运动学约束，在捕捉到机械手和物体的属性后，借助该框架即可进行建模。

所谓虚拟链接（Virtual linkage），指的是先在机械手模型中建立虚拟链接，然后将触点、关节和操控点三者连接起来。由于不同物体的抓握方式不同，因此会生成不同的连接方式。

和多数传统方法不同的是，当机械手接触物体、并处于稳定状态时，即使没有机械手或者物体的任何几何信息，虚拟链接模型也能描述系统运动。

（来源：受访者）

就在这时难题来了，虚拟链接模型以接触点为中心，要想让它正确反映出物理系统，机械手所接触位置的精度至关重要。

要想拓宽虚拟链接模型的应用范围，就得让它在没有传感器的前提下，也具备预估接触位置的能力。

此外，虚拟链接模型的虚拟链接和关节配置也要进行实时更新。但是，机械手关节的角度配置，取决于机械手与物体接触的角度，而这种角度参数无法从关节编码器中直接获取。

为解决该挑战，杭凯宇又开发出一套自我识别机制。在该机制下，机械手不仅能解释自身的存在，也能解释从机械手电机运动、到机械手自身行为的映射，以及机械手的运动行为如何与世界交互。

图 | 自识别过程（来源：受访者）

断指之后，换上新手指照样能抓握物体

一般来说，机械手在感知自身变化、以及自身行为产生的外界变化时，采用的是交互式感知法。期间，机械手会不断估算本体行为和运动行为，但是仅凭虚拟链接模型，机械手无法对控制系统进行建模。

故此，杭凯宇引入一系列物理属性如摩擦系数、关节扭力限制和物体重量，这些物理属性能描述出机械手和物体之间的动力学模型。

为了找到未知参数，机械手会通过执行一些探索性操作，借此来尝试和物体互动。在互动初期，虽然它还不能精准控制物体，但不断增加探索时间和次数，就能逐渐估算出来原本未知的参数，最终实现参数的自我识别。

（来源：受访者）

为了验证自我识别的表现，杭凯宇将虚拟链接模型应用到 Yale Model O 机械手上，该机械手有三根手指，分别是左指、右指和拇指，其中左指和右指之间有连接关节。

（来源：受访者）

其中，每根手指都配有两个关节，里面的弹簧负责控制手指，此外还有电机带动肌腱来驱动手指。当电机动作导致肌腱长度改变时，手指关节会根据弹簧的柔度重新配置。

实验中，杭凯宇使用了四个摄像头，它们的分布如下：为省去外部感知设备以及额外校准，机械手上只安装了一个手内摄像头，来观察操控点的运动状态；余下三个摄像头都安装在观察架上，用来捕捉指尖的活动、以及收集相关数据。

在实验中，由虚拟链接模型和自我识别驱动的机械手，主要面临三方面挑战：一是由于不使用编码器，因此无法获得关节配置数据；二是没有触觉传感器，故此无法直接获得位置一类的接触信息；三是关节不具备单独控制的能力，所以机械手没有完整驱动。

（来源：受访者）

除文章开头的应用展示之外，杭凯宇还测试了机器手在原装手指被替换后的表现。在实际应用中，给机械手更换零件属于常事，有时还会面临原装零件缺货，只能用类似零件暂时代替的状况。

在测试中，他分别假设一根、两根、三根手指断裂并需要更换的情况，为让实验更具挑战性，他还使用了三种长短和形状各不相同的替换手指。

结果显示，被替换的手指越多，机械手的控制精度下滑就越厉害，这具体体现在模型对手指长短和关节位置的估算误差上，但多出来的误差并未对机械手的表现造成太大影响，自我识别框架和虚拟链接模型都能较好、较快地适应新手指，并重新掌握操控物体的“窍门”。

图 | 用长短不一的新手指也能操控物体（来源：受访者）

本次成果可被 Science Robotics 报道，也得益于他在机器人工程领域的多年积累。其本科毕业于西安交通大学信息工程系，硕士专业是通信系统专业，博士专业则是机器人专业。其中，硕士和博士均就读于瑞典皇家理工学院（KTH Royal Institute of Technology），博士毕业后来到耶鲁大学做博士后研究。

关于该成果的应用，杭凯宇表示凡是需要在复杂环境中工作的机械手，都可使用该成果。尤其在物理不确定性较大，以及可用感知器无法完全支持精准操作的情况下，比如工业机器人、家用服务机器人和医疗机器人等均可搭载虚拟链接系统。