https://github.com/wainshine/book-names-corpus
图书名语料库。含部分电影、游戏名称。
https://github.com/wainshine/book-names-corpus
book corpus dataset dict isbn
Last synced: 13 days ago
JSON representation
图书名语料库。含部分电影、游戏名称。
- Host: GitHub
- URL: https://github.com/wainshine/book-names-corpus
- Owner: wainshine
- License: apache-2.0
- Created: 2019-02-19T07:36:46.000Z (over 6 years ago)
- Default Branch: master
- Last Pushed: 2024-03-27T04:54:29.000Z (over 1 year ago)
- Last Synced: 2025-03-03T09:43:28.862Z (8 months ago)
- Topics: book, corpus, dataset, dict, isbn
- Size: 22.4 MB
- Stars: 71
- Watchers: 6
- Forks: 26
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# 图书名语料库（Book-Names-Corpus）
关于萌名（NameMoe）
萌名是一个基于大数据和自然语言处理技术的新取名产品。
通过分词工具对海量文本进行分词和词频统计。数据清洗后，得到千万级的人名词典。再对其进行性别、年龄、拼音、情感、人名指数等标记，最终形成5600万+的中文人名图谱。
为剔除人名、机构名中的badcase，个人收集并建立了大量行业词典，图书名语料库（Book-Names-Corpus）即是其中之一。
本子项目可用于中文分词、作品名识别等场景。
---
PS1：维护此项目，除个人兴趣外，主要是在此过程中，可通过任务驱动来不断学习和实践NLP、KG以及AI等相关前沿技术。
PS2：正在找工作，求内部推荐～ 移动医疗/SaaS后台/人工智能方向的 高级产品经理一枚。
PS3：请勿提交涉政issue，谢谢。
PS4：如将本项目转存到国内的某平台，请设置成0积分下载，并保留GitHub链接。
---
图书名语料库（Book-Names-Corpus）
数据大小：100万。
语料来源：多个词典汇总。
数据清洗：已清洗，但仍存有大量badcase，主要是电影名、电视名、游戏名等。
---
ISBN语料库（ISBN-Corpus）
数据大小：100万。
语料来源：多个词典汇总。
数据清洗：未清洗。
---
更新时间：
删除部分badcase。 -2019.07.27
新增100万ISBN号。 -2019.09.10
删除部分badcase。 -2019.09.28
删除部分badcase。 -2020.12.13
---
@萌名NameMoe 整理
2024.03.27