文言文白话文互转：文言文转白话文（现代文），白话文（现代文）转文言文 – 我爱自然语言处理

前几天，看到了东北大学小牛翻译团队开源的语料项目：文言文（古文）-现代文平行语料（https://github.com/NiuTrans/Classical-Modern） ，这个项目整理了非常全的文言文（古文）- 现代文（白话文）对齐数据，基本涵盖了大部分经典古籍著作，并且对原始爬取的篇章级对齐数据进行了断句及人工校对，形成了共计约96万句对的文言文-白话文对齐（平行）语料。

这份语料数据很珍贵，看到的第一眼想到就是用这份文言文现代文对齐语料训练一个文言文白话文转换器：文言文转白话文，文言文转现代文，白话文转文言文，现代文转文言文，古文转白话文，白话文转古文，古文转现代文，现代文转古文。

刚好春节假期有点闲，于是训练了两个神经网络机器翻译模型：文言文（古文）到白话文（现代文），白话文（现代文）到文言文（古文），现在可以在AINLP公众号后台直接对话测试了，至于效果，基于语料和模型的水平，仅供一乐，关注AINLP公众号，对话输入"文言文转白话文：待转换内容"或者"文转白：待转换内容"测试文言文转白话文，输入"白话文转文言文：待转换内容"或者"白转文：待转换内容"测试白话文转文言文：

以下是我的一些测试结果，感兴趣的朋友可以关注AINLP公众号自行评测：

甚至可以先用AINLP写一段文言文，然后再翻译成白话文：

以下是AINLP目前支持的自动生成模块，之后将加入更多的领域生成测试模块，欢迎关注测试：

鼠年春节，用 GPT-2 自动写对联和对对联
用 GPT-2 自动写诗，从五言绝句开始
自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了
仅供娱乐，藏尾诗生成器来了

中文歌词自动生成器：来试试自动写歌

文言文自动生成器：来试试自动写古文

现代文自动生成器：来试试用GPT2自动写中文

自动作文生成器：来试试用预训练模型自动写中文作文

以下是关于这个语料项目的具体介绍，感兴趣的朋友可以直接下载测试：

文言文（古文）-现代文平行语料

非常全的文言文（古文）-现代文平行语料，基本涵盖了大部分经典古籍著作。

原始爬取的数据是篇章级对齐，经过脚本分句（按照句号分号感叹号问号划分）以及人工校对，形成共计约96万句对。目录bitext下是文言文-现代文对齐的平行数据。此外，目录source下是文言文单语数据，target下是现代文单语数据，这两个目录下的文件内容按行对齐。

以下为数据统计信息。其中，短篇章中包括了《论语》、《孟子》、《左传》等篇幅较短的古籍，已和《资治通鉴》合并。

书名句数短篇章和资治通鉴348727元史21182北史25823北书10947南史13838南齐书13137史记17701后汉书17753周书14930太平广记59358宋书23794宋史77853徐霞客游记22750新五代史10147新唐书12359旧五代史11377旧唐书29185明史85179晋书21133梁书14318水经注全11630汉书37622辽史9278金史13758陈书7096隋书8204魏书28178总计967257

《短篇章和资治通鉴》中各书籍统计如下（此部分数据量不完全准确）：

书名句数资治通鉴7.95w左传1.09w大学章句集注86反经4211公孙龙子73管子6266鬼谷子385韩非子4325淮南子2669黄帝内经6162皇帝四经243将苑100金刚经193孔子家语138老子398了凡四训31礼记4917列子1735六韬693六祖坛经949论语988吕氏春秋2473孟子1654梦溪笔谈1280墨子2921千字文82清史稿1604三字经234山海经919伤寒论712商君书916尚书1048世说新语3044司马法132搜神记1963搜神后记540素书61孙膑兵法230孙子兵法338天工开物807尉缭子226文昌孝经194文心雕龙1388吴子136孝经102笑林广记1496荀子3131颜氏家训510仪礼2495易传711逸周书1505战国策3318贞观政要1291中庸206周礼2026周易460庄子1698百战奇略800论衡1.19w智囊2165罗织经188朱子家训31抱朴子217地藏经547国语3841容斋随笔2921幼学琼林1372三略268围炉夜话387冰鉴120

如果您使用该语料库，请注明出处：https://github.com/NiuTrans/Classical-Modern

感谢为该语料库做出贡献的成员：丁佳鹏、杨文权、刘晓晴、曹润柘、罗应峰。