81

美图AI绘画机器人上线,小姐姐们,新一轮头像可以换起了

 6 years ago
source link: http://36kr.com/p/5105808.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

美图AI绘画机器人上线,小姐姐们,新一轮头像可以换起了

量子位·2017-12-01 05:13
感觉新一波刷屏要开始了~

编者按:本文来自微信公众号“量子位”(ID:QbitAI),作者:李根,36氪经授权发布。

你是不是也想要一张插画风格的头像?又要像你,又要插画风格、彩绘色系?

OK,美图AI绘画机器人Andy上线了。

之前美图专门给Angelababy打造的“插画风格”AI绘画师,现在已升级迭代到最新版本美图秀秀App中。

只要上传一张自拍照,“Andy”就能画出不同风格的插画像,风格达10多种。

v2_800c20bc12fb4d98b486db4d2a18f22a_img_000

其实更早之前,美图还推出过“手绘自拍”的功能,不过相比“Andy”还是弱爆了。

二者区别在于,手绘自拍不能算是完全的人工智能绘画作品,主要是应用了深度学习的技术,分割出头发、皮肤不同区域, 然后在皮肤区域做出不同的特效。

而Andy使用的AI绘画,核心是一套算法在根据用户的照片画画。背后是美图影像实验室(MTlab)最新的影像生成技术:MTgeneration。

v2_8e2e51c1860b4b50965716cc33e842a5_img_000

背后技术原理

影像生成技术(MTgeneration)核心是基于MTlab自主研发搭建的生成网络Draw Net,通过深度学习技术对大量图像数据进行精准分析与学习,不断增强机器人的绘画能力。

针对不同需求的图像处理的任务,构建出不同应用场景的图像生成模型,经过模型处理,当用户输入自己的图片,Andy便可直接画出相应的插画像。

在这个过程中,还结合使用了美图影像实验室的MTface(人脸技术)和MTsegmentation(图像分割技术)。

目前,AI绘画在全球有几大派别。

v2_37d1ccf8447a4b27818828f33f0c2a96_img_000

比如美图投资人李开复在达沃斯论坛上尝试过的机械臂为人作画或者用机械臂copy的作品;

又比如谷歌的AutoDraw,可以根据用户画的简笔画,匹配数据库的图片,生成一幅完整的画。

而美图Andy是基于插画数据进行分析和学习,建模,因此可以根据用户上传的自拍照,来画出用户专属的不同风格插画像,不是简单的复制粘贴或是风格迁移,是AI艺术化的产物。

在美图Andy之前,也还没有AI绘画产品直接用于移动端。

除了移动产品化打磨,美图Andy还有一些技术上的挑战:

相比于风景和静物绘画,人像是一个具有明显主流观念和复杂规则的特殊对象,细微的瑕疵和丝毫的违和都会打破人像艺术作品的完整性、协调性。

所以,用户对于人像画的容错率更低,利用AI绘制人像画的要求更高,难度也更大。

美图MTlab的解决方式是通过分析不同风格的插画作品,归纳出大到构图、小到笔触的不同层面的艺术风格和绘制规则;再通过不断尝试对各式各样的年龄、性别、人种的人物进行人像绘制来印证它掌握的“艺术理解”。

与此同时,MTlab还不断训练AI插画技术的归纳纠错能力,它会在反复的失败中——大约画了数十万张画作,相当于一个画师一辈子作品的上百倍,不断修正完善,使其最终理解并可以在超出“老师”所教授的情境下进行创作。

v2_ddbbd6dffb15438b99dec7f65c5e89cb_img_000

MTlab

值得注意的是,Andy也算是美图影像实验室MTlab出品的第一款移动端AI产品,之前,这个美图内部专注于机器视觉和机器学习的研发团队,由CTO Mitta担纲,神龙见首不见尾。

量子位获悉,MTlab作为美图AI算法研发主力,目前主要的涉足领域有:人脸技术、图像识别、图像/视频美化、3D视觉、人像美化,以及AR技术——之前还参与了AR项目亮风台的投资。

美图去年香港IPO时,MTlab也是公司路演展示的“潜力股”,由于美图在图像数据和用户方面的规模,在深度学习为核心的AI突破方面,并不缺乏基础。

目前MTlab主要有这么几方面技术应用:

MTface,人像处理基础,自主研发了包括人脸检测、人脸关键点、人脸属性分析(性别、年龄)等,能够在复杂条件下实时进行准确分析,人脸检测已经在权威数据集FDDB上试过水,排名还不错。

MT3Dtech,人脸3D模型重建,通过人脸正面照片就能完成,可以实现更加逼真的人像编辑。

MTrestoration,对低画质图像进行增强、去噪、去模糊和超分辨率处理等。

MTsegmentation,图像分区处理,通过分析轮廓、遮挡、颜色、文理、形状等把图像划分成若干互不交迭区域,美图在头发分割和皮肤分割方面准确率达到98.5%——相比传统平均准确率80%,可以说很高了。

MTstyle,利用卷积神经网络实现的风格迁移,即对普通图像进行艺术化处理,俗称“加滤镜”。

MTbeauty,这是美图最核心的美颜算法,通过人脸分析,进行不同年龄、性别的个性化美颜处理,同时通过大规模数据训练和机器学习,优化美颜效果。

MTphotos,通过人脸识别和图像识别进行的照片归类管理——目前在手机中已经很常见了。

MTmakeup,主打“化妆”,背后是人脸检测技术,使用人脸网格分析,实时图像和视频中的实时上妆,被用到了直播产品美拍和电商产品中。

毫无疑问,MTlab也是美图未来重点打造的技术实验室。美图IPO上市时,美图CEO吴欣鸿反复强调:AI趋势如此汹涌,唯有更大的品牌效应、更大的资本推动,才能在AI时代竞争中保持前进。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK