2

新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试

 2 years ago
source link: https://segmentfault.com/a/1190000040033298
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

新垣结衣夫妇的孩子长啥样,用 BabyGAN 预测试试

内容一览:昨日,日本男星星野源通过事务所发布声明,宣布结婚,新娘正是被不少男粉丝奉为「老婆」的新垣结衣。

原创:HyperAI超神经

关键词:生成对抗网络   StyleGAN


「老婆嫁人了」、「星野源夺妻之痛」、「爷青结」……星野源和新垣结衣官宣结婚后,不少网友发出了如上感叹。

![二人曾共同出演日剧《逃避可耻但有用》
剧中两位主角原本是“契约结婚”,后终成眷属](https://p3-juejin.byteimg.com...
二人曾共同出演日剧《逃避可耻但有用》,剧中两位主角原本是“契约结婚”,后终成眷属

还有一波网友在坦然接受「失恋」现状后,转而关心起新垣结衣和星野源的孩子来,生怕孩子长得不像妈妈。

微博网友对二人孩子长相,表现出了极大关心

借助开源模型 BabyGAN,我们预测了新垣结衣和星野源未来孩子的长相。

「大河」是《逃避虽然可耻但有用》剧中,二人孩子的名字。

根据 BabyGAN 的预测, 如果新垣结衣跟星野源的孩子是个女孩的话,那么不同年龄的大河可能长这样:

BabyGAN 生成的女儿成长动图

如果大河是个男孩的话,那么不同年龄的大河可能长这样:

BabyGAN 生成的儿子成长动图

BabyGAN 到底是何方神器

BabyGAN 是一个基于 StyleGAN 的儿童长相预测器, 可以基于编码器和生成器,输入父亲和母亲的图像,经过神经网络的处理后,生成或预测未来孩子的长相。

预测方法: 使用基于 GAN 架构的神经网络模型,从输入的父母图像中提取 latent representation,然后用算法将其按一定比例混合,生成孩子图像。

image.png
父亲(左)、预测长相(中)、母亲(右)

利用 latency direction,可以改变年龄、面部朝向、情绪及性别等参数。

项目地址请访问 Here 

编码器请访问 Here 

本教程主要演示了:

1、从本地加载训练好的 BabyGAN 模型

2、准备父母双方图像,并获取其 latent representation

3、用模型生成孩子的面容

4、调整孩子的性别、年龄等参数,生成符合需求的孩子图像

安装环境:Python:3.6;TensorFlow:1.15

image.png
调整孩子性别、年龄等属性的示意动画

注意事项:本教程推荐使用 GPU 运行

完整教程请访问 Here

模型训练过程详解

1、准备工作

image.png

2、准备父母图像

image.png

3、生成孩子图像

image.png

4、生成具有某些特征的孩子图像

image.png

完整教程请访问 Here

StyleGAN 相关的高赞开源项目

BabyGAN 模型基于 StyleGAN,除此之外,基于 StyleGAN 和 StyleGAN2,还派生出了诸多优质开源项目。

StyleALAE

StyleALAE 是一个基于 StyleGAN 生成器的对抗隐性自动编码器, 它不仅可以生成图像质量与 StyleGAN 相当的 1024 x 1024 人脸图像,而且在同样的分辨率下,还可以基于真实图像进行人脸重建和属性更改。

image.png
StyleALAE 架构示意图

StyleALAE 编码器使用 Instance Normalization (IN) 层来提取多尺度风格信息, 这些信息通过可学习的多重线性映射 (learnable multilinear map),组合成隐式代码 w。

相关论文:Here

项目地址:Here

StyleFlow

虽然使用 StyleGAN 可以轻松生成高质量、多样化、逼真的图像,但是使用(语义)属性控制生成过程、同时又保持高质量输出,实现起来却并不简单。此外由于 GAN 潜在空间的纠缠特性, 沿着一个属性编辑很容易引起其他属性的变化。

为了解决纠缠潜在空间的条件化探索中,属性条件化采样 (attribute-conditioned sampling) 和属性条件化编辑 (attribute- conditioned editing) 的问题, 科研人员提出了 StyleFlow。

image.png
利用 StyleFlow 可以针对某一属性进行修改,而不引起其他属性的变化,如只更改光照、姿势、表情、性别等

用 StyleFlow 对真实图像进行非顺序 (non-sequential) 编辑,针对老年人、非对称等极端图像时,效果优于并发方法 (concurrent method)。

相关论文:Here

项目地址:Here

Pixel2style2pixel (pSp)

pSp 是一个用于图像到图像转换的 StyleGAN 编码器,它基于一个新型编码网络,可以直接生成一系列风格向量,这些风格向量被输入到预训练 StyleGAN 生成器中,形成扩展的 w+ 潜在空间。

在 pSp 中,编码器无需额外优化就可以直接将真实图像嵌入 w+ ,且利用编码器可以直接解决图像到图像的转换任务,并将其定义为从输入域到潜在域的编码问题。

image.png

pSp 在 StyleGAN 反演、多模态条件图像合成人脸正面化、图像修复和超分辨率场景中的成果展示

pSp 可以在不改变结构的前提下,处理各种各样的图像转换任务, 如由分割图生成人脸图像、人脸正面化、超分辨率等。

相关论文:Here

项目地址:Here

GenForce

GenForce 是一个适用于 StyleGAN、StyleGAN2、PGGAN 等深度生成模型的高效 PyTorch 库, 它具有以下特点:

1、分布式训练框架

2、训练速度快

3、模块化设计,适用于新模型的原型制作

4、与官方 TF 版本相比,高度再现了 StyleGAN 的训练

5、包含众多带 Colab demo 的预训练 GAN 模型

image.png

相关论文:Here

项目地址:Here

关于 OpenBayes 

OpenBayes 是国内领先的机器智能研究机构,提供算力容器、自动建模、自动调参等多项 AI 开发相关的基础服务。

同时 OpenBayes 还上线了数据集、教程、模型等众多主流公开资源, 供开发者快速学习并创建理想的机器学习模型。

现在访问 openbayes.com 并注册

600 分钟/周的 vGPU

以及 300 分钟/周 的 CPU 免费计算时

快行动起来,用 BabyGAN 预测未来孩子长相吧!

完整教程传送门:Here

Colab 传送门:Here.ipynb)


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK