THUOCL(THU Open Chinese Lexicon)是由清华大学自然语言处理与社会人文计算实验室整...
source link: http://thuocl.thunlp.org/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
THUOCL:清华大学开放中文词库
THUOCL:清华大学开放中文词库
THUOCL(THU Open Chinese Lexicon)是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点:
包含词频统计信息DF值(Document Frequency),方便用户个性化选择使用。
词库经过多轮人工筛选,保证词库收录的准确性。
开放更新,将不断更新现有词表,并推出更多类别词表。欢迎专业人士加入,协作建设开放词库,有意者请致信[email protected]。
该词库可以用于中文自动分词,提升中文分词效果。建议搭配本组研制开发的THULAC工具包使用,提升特定领域中文分词的效果。
词库格式及词频统计语料库
词库每一行由两部分组成,分别是词和DF值(存在此单词的文档个数),中间由Tab间隔。
词频统计语料库:
- CSDN博客 时间:2014.07-2016.07 文档数:3785976
- 新浪新闻 时间:2008.01-2016.11 文档数:8421097
- 搜狗语料 文档数:729008561
- THUOCL面向国内外大学、研究所、企业、机构以及个人免费开放,可用于研究与商业。
- 欢迎对该工具包提出任何宝贵意见和建议。请发邮件至[email protected]。
如果您在THUOCL基础上发表论文或取得科研成果,请您在发表论文和申报成果时声明“使用了清华大学开放中文词库”,并按如下格式引用:
中文: 韩世依, 张钰晖, 马云山, 涂存超, 郭志芃, 刘知远, 孙茂松. THUOCL:清华大学开放中文词库. 2016.
英文: Shiyi Han, Yuhui Zhang, Yunshan Ma, Cunchao Tu, Zhipeng Guo, Zhiyuan Liu, Maosong Sun. THUOCL: Tsinghua Open Chinese Lexicon. 2016.
贡献者: Shiyi Han (韩世依,北京航空航天大学本科生), Yuhui Zhang(张钰晖,清华大学本科生), Yunshan Ma(马云山), Cunchao Tu(涂存超,清华大学博士生), Zhipeng Guo(郭志芃,清华大学本科生).
指导老师: Zhiyuan Liu(刘知远,清华大学助理教授), Maosong Sun(孙茂松,清华大学教授).
版权所有:清华大学自然语言处理与社会人文计算实验室
Copyright:Natural Language Processing and Computational Social Science Lab, Tsinghua University
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK