用 GPT-2 自动写诗，从五言绝句开始

AINLP年度阅读收藏清单

春节前用 GPT2 训练了一个自动对联系统： 鼠年春节，用 GPT-2 自动生成（写）春联和对对联 ，逻辑上来说这套NLG方法论可以应用于任何领域文本的自动生成，当然，格式越固定越好，这让我自然想到了自动写诗词，诗词的格式相对比较固定，我们之前已经有所涉及，譬如已经在AINLP公众号上上线了自动写藏头诗和首字诗的功能，不过是直接复用的： "自动作诗机"上线，代码和数据都是公开的 ，另外还有一个更大的诗词数据项目可以用作自动作诗的“原料”： 【Github】Chinese-poetry: 最全中华古诗词数据库 ，加上 GPT2-Chinese 这个项目： 【Github】GPT2-Chinese：中文的GPT2训练代码 ，可以说万事俱备，只欠试用。

所以本周我们从五言绝句开始继续自然语言生成的主题，关于五言绝句，百度百科是这样说的：

五言绝句是中国传统诗歌的一种体裁，简称五绝，是指五言四句而又合乎律诗规范的小诗，属于近体诗范畴。此体源于汉代乐府小诗，深受六朝民歌影响，成熟定型于唐代。五绝每首仅二十字，便能展现出一幅幅清新的图画，传达一种种真切的意境。因小见大，以少总多，在短章中包含着丰富的内容，是其最大特色。五绝有仄起、平起二格。代表作品有王维的《鸟鸣涧》、李白的《静夜思》、杜甫的《八阵图》、王之涣的《登鹳雀楼》、刘长卿的《送灵澈上人》等。

我主要用了 Chinese-poetry 里的《全唐诗》和《全宋诗》数据 ，首先向这个项目的作者致敬：

这里需要首先通过OpenCC做了繁简转换，其次提取里面的五言绝句，最后转换为 GPT2-Chinese 的训练格式，然后就是训练和测试了，感兴趣的同学可以自己尝试，很方便，训练经验可以复用上文关于自动对联的:

1）训练数据可以按 GPT2-Chinese 训练数据的格式要求写个脚本进行转换，可以加一些标记符，这样在生成的时候可以基于这些标记符做trick；

2）训练时请将参数 min-length 设置为一个较小的数字，默认为128，由于对联数据长度比较短，按默认的设置训练后只会得到乱码，我直接设置为1;

3）根据自己GPU显存的大小调整 batch_size 和配置参数, 这里 batch_size 默认为8，训练时在1080TI的机器上会出现OOM，将其设置为4就可以完全跑通了，其他参数不用动；

自动作诗GPT2模型训练完成后，可以直接基于 GPT2-Chinese 里面的 generate.py 脚本进行测试，很方便，我基于 generate.py 和 flask-restful 写了一个 server 版本，对接到AINLP公众号后台了，感兴趣的同学可以关注AINLP公众号，直接进行测试：

关键词“写诗/作诗”触发诗歌的自动生成，例如输入“写诗春”，自动作诗模型会基于“春”进行自动续写，会给出以“春”开头的诗，给出其他的字同理，目前不能多于五个字，因为只能自动生成五言绝句：

关键词“藏头诗”触发藏头诗生成，例如输入“藏头诗春夏秋冬"，基于GPT2模型叠加trick生成：

最后，欢迎关注AINLP公众号，测试自动写诗作诗和藏头诗生成器功能：

关于AINLP对话功能模块，感兴趣的同学可以参考：

如果对AINLP公众号感兴趣，也欢迎参考我们的年度阅读清单： AINLP年度阅读收藏清单