9

喷上它就能凭空打字!鲍哲南团队开发新型智能皮肤,可准确识别手部动作,打字手语不在...

 2 years ago
source link: https://www.qbitai.com/2022/12/40885.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

喷上它就能凭空打字!鲍哲南团队开发新型智能皮肤,可准确识别手部动作,打字手语不在话下

head.jpg萧箫 2022-12-30 12:12:14 来源:量子位

快速适应不同手型

萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

注意看,这人的面前没有键盘。

但他在桌上做出打字动作后,电脑屏幕上就出现了对应的字母:

316f3348cc35485e929696bac9a68753~tplv-tt-shrink:640:0.image

△亚克力板只印刷了键位,不发出信号

这个神奇的“虚空打字”能力,来自一款智能皮肤。

与其他材料不同,它可以像喷雾一样被附着在手上,其中的微型电子网络可以感知皮肤的变形情况。

不止是凭空打字,有了它甚至能通过触摸3D物体感知形状、以及用电脑识别手语。

如果将它喷到脸上,还可以识别人脸面部表情,在元宇宙里做个有表情的人指日可待了(doge)

c4715e87a152488eafe57bfaf7d42d48~tplv-tt-shrink:640:0.image

这款智能皮肤来自斯坦福鲍哲南团队、韩国建国大学、首尔大学和KAIST,目前已经登上Nature Electronics。

06ad2ce3686647ad8c9c7decf142d768~tplv-tt-shrink:640:0.image

所以它究竟是如何识别手势的?

超薄皮肤如何识别手指信号?

先来看看这块皮肤是如何基于“超薄材料”收集手指信号的。

整体来看,它由一个无线信号收发模块和一块纳米级网状网络组成。

其中,无线模块用于收集并传输从人类手上感知到的皮肤变形状态,当人类的手指皮肤因为拉伸产生变形时,相应部位就会改变网络导电能力(电导率),从而成功传递手部运动信号。

f45b8a3579ae4ed1a2b62c5e1b1ba45c~tplv-tt-shrink:640:0.image

至于纳米级网络的“网线”,则由一个“金包银”的结构制成,即银线外面镀金

这样既能保证强大拉伸能力,又可以抵抗反复的摩擦力,同时还能确保一定的透气性和生物相容性(降低过敏概率)。

1063e87de0894845a332f763d052ccd2~tplv-tt-shrink:640:0.image

将智能皮肤喷涂到手上,只需要将手伸进一个特殊的“印刷机”里:

1f7f74f9a1e84fa580fc9002adda410b~tplv-tt-shrink:640:0.image

在那之后,就是用AI算法来识别不同的手部信号、并判断它具体在做什么动作了。

68077c9b1f534fa2ba242fd632cb3938~tplv-tt-shrink:640:0.image

论文基于对比学习开发了一种AI算法,可以区分不同的未标记运动信号。

然而,虽然皮肤喷涂能很好地适应不同大小的手,但对于AI算法来说可不是这样。

一方面,目前针对智能皮肤收集的AI数据有限,用来训练远远不够;另一方面,由于不同人手部差异较大,即使AI模型成功学习,运用到不同手上也会出现差异性的效果。

如何解决这一问题?

不同大小的手怎么适应?

作者们想到用元学习的方式,基于少量数据快速让AI算法适应不同大小的手。

首先,基于已有的传感器信号数据进行无监督学习,让模型掌握基本识别能力。

bff2b79d307e49699fe0a20b8a594ffa~tplv-tt-shrink:640:0.image

随后收集任意用户击打9宫格数字的少镜头标注数据集,快速训练模型学会识别对应的动作,相当于给不同的人定制专属模型。

f1e96c49163a4f8aaeb804b78c7cf3e8~tplv-tt-shrink:640:0.image

这样的思路还能被用在适应更多其他任务上。

不止是输入9宫格数字,类似的预测还能被用在双手键盘输入上。

如果给两只手都印上智能皮肤,这样用户连续输入句子时,预测的字母就会出现在界面上。

据一作Kyun Kyu Kim介绍,如果能将这类智能皮肤进一步推广到脸上,还能更精准、高效低成本地识别用户表情。

论文作者来自斯坦福大学、韩国科学技术院(KAIST)、首尔大学和韩国建国大学。

730419800a3b42b8b710341388aa05a0~tplv-tt-shrink:640:0.image

一作Kyun Kyu Kim,目前在斯坦福大学任博士后研究员,本科毕业于高丽大学,并在首尔大学获得硕博学位。研究方向是人机交互,尤其是纳米材料和机器智能相结合的制造技术。

df8c877495aa4f59b0e645601c632c3c~tplv-tt-shrink:640:0.image

通讯作者Sungho Jo,KAIST助理教授,硕博毕业于MIT,研究方向为智能机器人、人机交互、计算智能、计算神经工程、仿生系统设计、仿生学习与控制等。

d4b3883c631b4710b57e4d50dba893d1~tplv-tt-shrink:640:0.image

通讯作者Seung Hwan Ko,首尔大学副教授,主要研究下一代非传统微/纳米制造方法的开发,包括新材料开发、高分辨率直接制图工艺开发和应用开发等。

cc4580824a3f48ba9db99bd9a95d8b73~tplv-tt-shrink:640:0.image

通讯作者鲍哲南,斯坦福大学化学工程、材料科学与工程教授,美国国家工程院院士,研究方向是利用化学、物理和材料科学开发人造电子皮肤。

你想好把这个智能皮肤用在哪里了吗?

论文地址:
https://www.nature.com/articles/s41928-022-00888-7

参考链接:
https://techxplore.com/news/2022-12-spray-on-smart-skin-ai-rapidly.html

版权所有,未经授权不得以任何形式转载及使用,违者必究。

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK