7

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合（4Kstar！）

 1 year ago
source link: https://blog.csdn.net/sunbaigui/article/details/132541704
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

86c7fd9553e54770a7491d395104fd84.png
353385883458437f89e6213ddf2c0d55.png

 

以上风格LoRA分别为：户外花园婚纱、冬季雪景汉服、火焰女神、仙侠风

在魔搭平台ModelScope 魔搭社区中选择PAI-DSW-GPU环境

95d00939ddc5961ee8566a69b442d2ec.png

进入后打开terminal环境，先检查显存需要20G左右（nvidia-smi），然后下载核心文件。

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git
a135de00c62ac16e07ef4ea37ab05248.png

以下进入正题

一、固定人物LoRA训练：

1、新建训练人物的文件夹 imgs，注意放在facechain文件夹下，将需要固定的人脸照片放入该文件夹

2、人物LoRA训练

然后在terminal中运行以下代码启动训练

PYTHONPATH=. CUDA_VISIBLE_DEVICES="0" sh train_lora.sh "ly261666/cv_portrait_model" "v2.0" "film/film" "./imgs" "./processed" "./output"
d5c65b8a432ef64e8d9568ab64fd5f00.png

二、风格LoRA替换：

1、上传风格LoRA文件并修改参数

d28af75aa99989bf15c82290a30692a8.png

风格来源：outdoor photo｜LiblibAI，主要迁移其户外花团锦簇风格，重新取名wedding

73744a650e2dd61cf757a14f1585768d.png

2、修改constants.py文件

主要修改文件名为新上传的风格文件，并在prompt增加wedding dress相关内容。

0d096e7771e38df1917c1d154617191e.png



newCodeMoreWhite.png
 

3、修改run_inference.py关键参数
 

修改风格文件夹路径，use_style改为true，顺序编号顺延为2
 

44ded4f6c9361e4b5c6b0f7d86972f26.png
 




newCodeMoreWhite.png
 

三、推理出图：
 

python run_inference.py
 

0691d0fe3c5ce85db8aa1dbc4a47d5ee.png
 

固定人脸+迁移的户外花团锦簇风格+prompt控制的婚纱=婚纱户外写真
 

1、项目地址：GitHub - modelscope/facechain: FaceChain is a deep-learning toolchain for generating your Digital-Twin.（目前GitHub已超过4Kstar！）
 

2、原理讲解图文及视频讲解
 

3张照片打造专属形象！酷蛙FaceChain解密个人写真开源项目，人人AIGC!
 

3张照片打造AI个人写真！一周3k star /FaceChain开源项目一键部署_哔哩哔哩_bilibili
 

3、上期周报
 

酷蛙FaceChain开源项目迭代周记2023-08-19
 

4、全球开发者招募
 

酷蛙FaceChain项目已开源，我们计划后续联合开源社区的力量不断打磨该开源项目，解锁更多高阶玩法（比如人物表情包、人物连环画故事、虚拟试衣间……），并进行更深层次的算法创新，发表相应顶会论文。如果你对该开源项目感兴趣，对该开源项目的未来有憧憬与信仰，欢迎报名加入。
 

cc32a54537013802c5c35c9b789db9a7.png
 

此处为语雀内容卡片，点击链接查看：登录 · 语雀

                

        

        

            

                report
            

        

    







        
Recommend

        



                

    
About Joyk

    
 





Aggregate valuable and interesting links.

Joyk means Joy of geeK