• 词库
• 工具こうぐ包つつみ
• 学がく习资料りょう

在ざい入いれ门到熟じゅく悉NLP的てき过程中ちゅう，用もちい到いた了りょう很多github上じょう的てき包つつみ，遂とげ整理せいり了りょう一いち下か，分ふん享とおる在ざい这里。

很多包つつみ非常ひじょう有ゆう趣おもむき，值得收藏しゅうぞう，满足大家たいか的てき收集しゅうしゅう癖へき！ 如果觉得有用ゆうよう，请分享とおる并star，谢谢！

长期不定ふてい时更新こうしん，欢迎watch和わfork！

涉わたる及内容ないよう包括ほうかつ但ただし不ふ限きり于：中ちゅう英文えいぶん敏感びんかん词、语言检测、中外ちゅうがい手しゅ机つくえ/电话归属地ち/运营商しょう查询、名字みょうじ推断すいだん性せい别、手て机つくえ号ごう抽取、身み份证抽取、邮箱抽取、中日ちゅうにち文人ぶんじん名めい库、中ちゅう文ぶん缩写库、拆字词典、词汇情感じょうかん值、停とま用よう词、反はん动词表ひょう、暴恐词表、繁しげる简体转换、英文えいぶん模も拟中文ぶん发音、汪ひろし峰ほう歌か词生成せいせい器き、职业名称めいしょう词库、同どう义词库、反はん义词库、否定ひてい词库、汽车品ひん牌ぱい词库、汽车零れい件けん词库、连续英文えいぶん切きり割わり、各かく种中文ぶん词向量りょう、公司こうし名字みょうじ大全たいぜん、古こ诗词库、IT词库、财经词库、成なり语词库、地名ちめい词库、历史名人めいじん词库、诗词词库、医学いがく词库、饮食词库、法律ほうりつ词库、汽车词库、动物词库、中ちゅう文ぶん聊天语料、中ちゅう文ぶん谣言数すう据すえ、百度中文问答数据集、句く子こ相似そうじ度ど匹ひき配はい算法さんぽう集合しゅうごう、bert资源、文ぶん本ほん生成せいせい&摘要てきよう相しょう关工具ぐ、cocoNLP信しん息いき抽取工具こうぐ、国内こくない电话号ごう码正则匹配はい、清きよし华大学がくXLORE:中ちゅう英文えいぶん跨またが语言百科知识图谱、清きよし华大学がく人工じんこう智能ちのう技わざ术系列けいれつ报告、自然しぜん语言生成せいせい、NLU太ふとし难了系列けいれつ、自じ动对联数据すえ及机器き人じん、用よう户名黑くろ名めい单列表ひょう、罪名ざいめい法ほう务名词及分ぶん类模型がた、微ほろ信しん公こう众号语料、cs224n深度しんど学がく习自然しぜん语言处理课程、中ちゅう文ぶん手写しゅしゃ汉字识别、中ちゅう文ぶん自然しぜん语言处理 语料/数かず据すえ集しゅう、变量命名めいめい神器じんぎ、分ぶん词语料りょう库+代だい码、任にん务型对话英文えいぶん数すう据すえ集しゅう、ASR 语音数すう据すえ集しゅう + 基もと于深度しんど学がく习的中ちゅう文ぶん语音识别系けい统、笑声しょうせい检测器き、Microsoft多た语言数字すうじ/单位/如日期き时间识别包つつめ、中ちゅう华新华字典じてん数すう据すえ库及api(包括ほうかつ常用じょうよう歇后语、成なり语、词语和わ汉字)、文ぶん档图谱自动生成せいせい、SpaCy 中ちゅう文ぶん模型もけい、Common Voice语音识别数すう据すえ集しゅう新版しんぱん、神かみ经网络关系けい抽取、基もと于bert的てき命名めいめい实体识别、关键词(Keyphrase)抽取包つつみpke、基もと于医疗领域いき知ち识图谱的问答系けい统、基もと于依存いぞん句法くほう与あずか语义角かく色しょく标注的てき事件じけん三さん元げん组抽取、依存いぞん句法くほう分析ぶんせき4万句高质量标注数据、cnocr：用もちい来らい做中文ぶんOCR的てきPython3包つつみ、中ちゅう文人ぶんじん物ぶつ关系知ち识图谱项目め、中ちゅう文ぶんnlp竞赛项目及代码汇总、中ちゅう文字もじ符ふ数すう据すえ、speech-aligner: 从“人声ひとごえ语音”及其“语言文げんぶん本ほん”产生音素おんそ级别时间对齐标注的てき工具こうぐ、AmpliGraph: 知ち识图谱表示ひょうじ学がく习(Python)库：知ち识图谱概念がいねん链接预测、Scattertext 文ぶん本ほん可か视化(python)、语言/知ち识表示ひょうじ工具こうぐ：BERT & ERNIE、中ちゅう文ぶん对比英文えいぶん自然しぜん语言处理NLP的てき区く别综述じゅつ、Synonyms中ちゅう文ぶん近きん义词工具こうぐ包つつめ、HarvestText领域自じ适应文ぶん本ほん挖掘工具こうぐ（新しん词发现-情感じょうかん分析ぶんせき-实体链接等とう）、word2word：(Python)方便ほうべん易えき用よう的てき多た语言词-词对集しゅう：62种语言ごと/3,564个多语言对、语音识别语料生成せいせい工具こうぐ：从具有ぐゆう音おん频/字幕じまく的てき在ざい线视频创建けん自じ动语音おん识别(ASR)语料库、构建医い疗实体たい识别的てき模型もけい（包含ほうがん词典和わ语料标注）、单文档非监督的てき关键词抽取、Kashgari中ちゅう使用しようgpt-2语言模型もけい、开源的てき金融きんゆう投とう资数据すえ提ひっさげ取ど工具こうぐ、文ぶん本ほん自じ动摘要てきよう库TextTeaser: 仅支持しじ英文えいぶん、人民じんみん日び报语料りょう处理工具こうぐ集しゅう、一些关于自然语言的基本模型、基もと于14W歌曲かきょく知ち识库的てき问答尝试--功こう能のう包括ほうかつ歌か词接龙and已やめ知ち歌か词找歌曲かきょく以及歌曲かきょく歌手かしゅ歌か词三さん角かく关系的てき问答、基もと于Siamese bilstm模型もけい的てき相似そうじ句く子こ判定はんてい模型もけい并提供ていきょう训练数すう据すえ集しゅう和わ测试数すう据すえ集しゅう、用ようTransformer编解码模型がた实现的てき根ね据すえHacker News文章ぶんしょう标题自じ动生成せいせい评论、用ようBERT进行序列じょれつ标记和文わぶん本分ほんぶん类的模も板いた代だい码、LitBank：NLP数すう据すえ集しゅう——支持しじ自然しぜん语言处理和わ计算人文じんぶん学科がっか任にん务的100部ぶ带标记英文えいぶん小しょう说语料りょう、百度开源的基准信息抽取系统、虚假こけ新しん闻数据すえ集しゅう、Facebook: LAMA语言模型もけい分析ぶんせき，提供ていきょうTransformer-XL/BERT/ELMo/GPT预训练语言げん模型もけい的てき统一访问接せっ口こう、CommonsenseQA：面めん向こう常つね识的英文えいぶんQA挑战、中ちゅう文ぶん知ち识图谱资料りょう、数かず据すえ及工具ぐ、各かく大だい公司こうし内部ないぶ里さと大牛おおうし分ぶん享とおる的てき技わざ术文档 PDF 或ある者もの PPT、自然しぜん语言生成せいせいSQL语句（英文えいぶん）、中ちゅう文ぶんNLP数すう据すえ增强ぞうきょう（EDA）工具こうぐ、英文えいぶんNLP数すう据すえ增强ぞうきょう工具こうぐ 、基もと于医药知识图谱的智能ちのう问答系けい统、京きょう东商品しょうひん知ち识图谱、基もと于mongodb存そん储的军事领域知ち识图谱问答こたえ项目、基もと于远监督的中てきちゅう文ぶん关系抽取、语音情感じょうかん分析ぶんせき、中ちゅう文ぶんULMFiT-情感じょうかん分析ぶんせき-文ぶん本分ほんぶん类-语料及模型がた、一个拍照做题程序、世界せかい各国かっこく大だい规模人名じんめい库、一个利用有趣中文语料库 qingyun 训练出来でき的中てきちゅう文ぶん聊天机つくえ器き人じん、中ちゅう文ぶん聊天机つくえ器き人じんseqGAN、省しょう市区しく镇行政ぎょうせい区く划数据すえ带拼音おん标注、教育きょういく行ぎょう业新闻语料りょう库包含自动文摘功能のう、开放了りょう对话机つくえ器き人じん-知ち识图谱-语义理解りかい-自然しぜん语言处理工具こうぐ及数据すえ、中ちゅう文ぶん知ち识图谱：基もと于百ひゃく度ど百科ひゃっか中ちゅう文ぶん页面-抽取三さん元げん组信息いき-构建中ちゅう文ぶん知ち识图谱、masr: 中ちゅう文ぶん语音识别-提供ていきょう预训练模型がた-高こう识别率りつ、Python音おん频数据すえ增ぞう广库、中ちゅう文ぶん全ぜん词覆盖BERT及两份阅读理解りかい数すう据すえ、ConvLab：开源多た域いき端はし到いた端はし对话系けい统平台だい、中ちゅう文ぶん自然しぜん语言处理数すう据すえ集しゅう、基もと于最新しん版本はんぽんrasa搭建的てき对话系けい统、基もと于TensorFlow和わBERT的てき管かん道どう式しき实体及关系けい抽取、一个小型的证券知识图谱/知ち识库、复盘所有しょゆうNLP比ひ赛的TOP方案ほうあん、OpenCLaP：多た领域开源中ちゅう文ぶん预训练语言げん模型もけい仓库、UER：基もと于不同どう语料+编码器き+目め标任务的中ちゅう文ぶん预训练模型がた仓库、中ちゅう文ぶん自然しぜん语言处理向むこう量りょう合ごう集しゅう、基もと于金融きんゆう-司法しほう领域(兼有けんゆう闲聊性せい质)的てき聊天机つくえ器き人じん、g2pC：基もと于上下じょうげ文ぶん的てき汉语读音自じ动标记模块、Zincbase 知ち识图谱构建けん工具こうぐ包つつめ、诗歌质量评价/细粒度ど情感じょうかん诗歌语料库、快速かいそく转化「中ちゅう文ぶん数字すうじ」和かず「阿おもね拉ひしげ伯はく数字すうじ」、百度知道问答语料库、基もと于知识图谱的问答系けい统、jieba_fast 加速かそく版ばん的てきjieba、正せい则表达式教程きょうてい、中ちゅう文ぶん阅读理解りかい数すう据すえ集しゅう、基もと于BERT等とう最新さいしん语言模型もけい的てき抽取式しき摘要てきよう提ひっさげ取ど、Python利用りよう深度しんど学がく习进行文こうぶん本ほん摘要てきよう的てき综合指南しなん、知ち识图谱深度しんど学がく习相关资料りょう整理せいり、维基大だい规模平行へいこう文ぶん本ほん语料、StanfordNLP 0.2.0：纯Python版ばん自然しぜん语言处理包つつめ、NeuralNLP-NeuralClassifier：腾讯开源深度しんど学がく习文本分ほんぶん类工具ぐ、端はし到いた端はし的てき封ふう闭域对话系けい统、中ちゅう文ぶん命名めいめい实体识别：NeuroNER vs. BertNER、新しん闻事件じけん线索抽取、2019年ねん百度的三元组抽取比赛：“科学かがく空そら间队”源みなもと码、基もと于依存いぞん句法くほう的てき开放域いき文ぶん本ほん知ち识三元组抽取和知识库构建、中ちゅう文ぶん的てきGPT2训练代だい码、ML-NLP - 机つくえ器き学がく习(Machine Learning)NLP面めん试中常つね考かんがえ到いた的てき知ち识点和代かずよ码实现、nlp4han:中ちゅう文ぶん自然しぜん语言处理工具こうぐ集しゅう(断だん句く/分ぶん词/词性标注/组块/句法くほう分析ぶんせき/语义分析ぶんせき/NER/N元もと语法/HMM/代だい词消解かい/情感じょうかん分析ぶんせき/拼写检查、XLM：Facebook的てき跨またが语言预训练语言げん模型もけい、用よう基もと于BERT的てき微ほろ调和特とく征せい提ひっさげ取ど方法ほうほう来らい进行知ち识图谱百度百科人物词条属性抽取、中ちゅう文ぶん自然しぜん语言处理相しょう关的开放任ほうにん务-数かず据すえ集しゅう-当とう前ぜん最さい佳けい结果、CoupletAI - 基もと于CNN+Bi-LSTM+Attention 的てき自じ动对对联系けい统、抽象ちゅうしょう知ち识图谱、MiningZhiDaoQACorpus - 580万まん百度知道问答数据挖掘项目、brat rapid annotation tool: 序列じょれつ标注工具こうぐ、大だい规模中ちゅう文ぶん知ち识图谱数据すえ：1.4亿实体たい、数かず据すえ增强ぞうきょう在ざい机つくえ器き翻こぼし译及其他nlp任にん务中的てき应用及效果こうか、allennlp阅读理解りかい:支持しじ多た种数据すえ和わ模型もけい、PDF表ひょう格かく数すう据すえ提ひっさげ取ど工具こうぐ 、 Graphbrain：AI开源软件库和科か研けん工具こうぐ，目的もくてき是ぜ促进自じ动意义提取と和文わぶん本ほん理解りかい以及知ち识的探索たんさく和わ推断すいだん、简历自じ动筛选系统、基もと于命名めいめい实体识别的てき简历自じ动摘要てきよう、中ちゅう文ぶん语言理解りかい测评基もと准なぞらえ，包括ほうかつ代表だいひょう性的せいてき数すう据すえ集しゅう&基もと准じゅん模型もけい&语料库&排はい行ぎょう榜、树洞 OCR 文字もじ识别 、从包含ほうがん表ひょう格かく的てき扫描图片中ちゅう识别表ひょう格和かくわ文字もじ、语声迁移、Python口こう语自然しぜん语言处理工具こうぐ集しゅう(英文えいぶん)、 similarity：相似そうじ度ど计算工具こうぐ包つつめ，java编写、海うみ量りょう中ちゅう文ぶん预训练ALBERT模型もけい 、Transformers 2.0 、基もと于大规模音おん频数据すえ集しゅうAudioset的てき音おと频增强ぞうきょう 、Poplar：网页版ばん自然しぜん语言标注工具こうぐ、图片文字もじ去さ除じょ，可用かよう于漫画が翻こぼし译 、186种语言げん的てき数字すうじ叫さけべ法ほう库、Amazon发布基もと于知识的人じん-人ひと开放领域对话数すう据すえ集しゅう 、中ちゅう文ぶん文ぶん本ほん纠错模も块代码、繁しげる简体转换 、 Python实现的てき多た种文本ほん可か读性评价指ゆび标、类似于人名めい/地名ちめい/组织机つくえ构名的てき命名めいめい体たい识别数すう据すえ集しゅう 、东南大学だいがく《知ち识图谱》研究けんきゅう生せい课程(资料)、. 英文えいぶん拼写检查库 、 wwsearch是ぜ企くわだて业微信しん后きさき台だい自じ研とぎ的てき全文ぜんぶん检索引擎、CHAMELEON：深度しんど学がく习新闻推荐系统元架か构 、 8篇へん论文梳くしけず理りBERT相しょう关模型がた进展与あずか反はん思おもえ、DocSearch：免めん费文档搜索そうさく引擎、 LIDA：轻量交互こうご式しき对话标注工具こうぐ 、aili - the fastest in-memory index in the East 东半球はんきゅう最さい快かい并发索引さくいん 、知ち识图谱车音おん工作こうさく项目、自然しぜん语言生成せいせい资源大全たいぜん 、中日ちゅうにち韩分词库mecab的てきPython接せっ口こう库、中ちゅう文ぶん文ぶん本ほん摘要てきよう/关键词提取と、汉字字じ符ふ特とく征せい提ひっさげ取ど器うつわ (featurizer)，提ひっさげ取ど汉字的てき特とく征せい（发音特とく征せい、字形じけい特とく征せい）用よう做深度しんど学がく习的特とく征せい、中ちゅう文ぶん生成せいせい任にん务基准じゅん测评 、中ちゅう文ぶん缩写数すう据すえ集しゅう、中ちゅう文ぶん任にん务基准じゅん测评 - 代表だいひょう性的せいてき数すう据すえ集しゅう-基もと准じゅん(预训练)模型もけい-语料库-baseline-工具こうぐ包つつみ-排はい行ぎょう榜、PySS3：面めん向こう可か解かい释AI的てきSS3文ぶん本分ほんぶん类器机つくえ器き可か视化工具こうぐ 、中ちゅう文ぶんNLP数すう据すえ集しゅう列れつ表ひょう、COPE - 格かく律りつ诗编辑程序じょ、doccano：基もと于网页的开源协同多た语言文げんぶん本ほん标注工具こうぐ 、PreNLP：自然しぜん语言预处理り库、简单的てき简历解析かいせき器き，用よう来らい从简历中提ひっさげ取ど关键信しん息いき、用よう于中文ぶん闲聊的てきGPT2模型もけい：GPT2-chitchat、基もと于检索さく聊天机つくえ器き人じん多た轮响应选择相关资源げん列れつ表ひょう(Leaderboards、Datasets、Papers)、(Colab)抽象ちゅうしょう文ぶん本ほん摘要てきよう实现集しゅう锦(教程きょうてい 、词语拼音数すう据すえ、高こう效こう模糊もこ搜索そうさく工具こうぐ、NLP数すう据すえ增ぞう广资源げん集しゅう、微ほろ软对话机器き人じん框かまち架か 、 GitHub Typo Corpus：大だい规模GitHub多た语言拼写错误/语法错误数すう据すえ集しゅう、TextCluster：短文たんぶん本ほん聚类预处理り模も块 Short text cluster、面めん向こう语音识别的中てきちゅう文ぶん文ぶん本ほん规范化か、BLINK：最さい先さき进的实体链接库、BertPunc：基もと于BERT的てき最さい先さき进标点てん修おさむ复模型がた、Tokenizer：快速かいそく、可か定じょう制せい的てき文ぶん本ほん词条化か库、中ちゅう文ぶん语言理解りかい测评基もと准なぞらえ，包括ほうかつ代表だいひょう性的せいてき数すう据すえ集しゅう、基もと准じゅん(预训练)模型もけい、语料库、排はい行ぎょう榜、spaCy 医学いがく文ぶん本ほん挖掘与信よしん息いき提ひっさげ取ど 、 NLP任にん务示例れい项目代だい码集、 python拼写检查库、chatbot-list - 行あるき业内关于智能ちのう客きゃく服ふく、聊天机つくえ器き人的じんてき应用和わ架か构、算法さんぽう分ぶん享とおる和わ介かい绍、语音质量评价指ゆび标(MOSNet, BSSEval, STOI, PESQ, SRMR)、 用もちい138GB语料训练的てき法文ほうぶんRoBERTa预训练语言げん模型もけい 、BERT-NER-Pytorch：三种不同模式的BERT中ちゅう文ぶんNER实验、无道词典 - 有道ありみち词典的てき命令めいれい行ぎょう版本はんぽん，支持しじ英えい汉互查和在ざい线查询、2019年ねんNLP亮あきら点てん回かい顾、 Chinese medical dialogue data 中ちゅう文ぶん医い疗对话数据すえ集しゅう 、最さい好このみ的てき汉字数字すうじ(中ちゅう文ぶん数字すうじ)-阿おもね拉ひしげ伯はく数字すうじ转换工具こうぐ、 基もと于百科知识库的中文词语多词义/义项获取与あずか特定とくてい句く子こ词语语义消しょう歧、awesome-nlp-sentiment-analysis - 情感じょうかん分析ぶんせき、情じょう绪原因げんいん识别、评价对象和わ评价词抽取、LineFlow：面めん向こう所有しょゆう深度しんど学がく习框架か的てきNLP数すう据すえ高だか效こう加か载器、中ちゅう文ぶん医学いがくNLP公こう开资源げん整理せいり 、MedQuAD：(英文えいぶん)医学いがく问答数すう据すえ集しゅう、将はた自然しぜん语言数字すうじ串くし解析かいせき转换为整数すう和わ浮点数すう、Transfer Learning in Natural Language Processing (NLP) 、面めん向こう语音识别的中てきちゅう文ぶん/英文えいぶん发音辞典じてん、Tokenizers：注ちゅう重じゅう性能せいのう与あずか多功たこう能のう性的せいてき最さい先さき进分词器、CLUENER 细粒度ど命名めいめい实体识别 Fine Grained Named Entity Recognition、 基もと于BERT的中てきちゅう文ぶん命名めいめい实体识别、中ちゅう文ぶん谣言数すう据すえ库、NLP数すう据すえ集しゅう/基もと准じゅん任にん务大列れつ表ひょう、nlp相しょう关的一些论文及代码, 包括ほうかつ主ぬし题模型がた、词向量りょう(Word Embedding)、命名めいめい实体识别(NER)、文ぶん本分ほんぶん类(Text Classificatin)、文ぶん本ほん生成せいせい(Text Generation)、文ぶん本ほん相似そうじ性せい(Text Similarity)计算等とう，涉わたる及到各かく种与nlp相しょう关的算法さんぽう，基き于keras和わtensorflow 、Python文ぶん本ほん挖掘/NLP实战示しめせ例れい、 Blackstone：面めん向こう非ひ结构化か法律ほうりつ文ぶん本ほん的てきspaCy pipeline和わNLP模型もけい通どおり过同义词替がえ换实现文本ほん“变脸” 、中ちゅう文ぶん 预训练 ELECTREA 模型もけい: 基もと于对抗こう学がく习 pretrain Chinese Model 、albert-chinese-ner - 用よう预训练语言げん模型もけいALBERT做中文ぶんNER 、基もと于GPT2的てき特定とくてい主ぬし题文本ほん生成せいせい/文ぶん本ほん增ぞう广、开源预训练语言げん模型もけい合ごう集しゅう、多た语言句く向むこう量りょう包つつめ、编码、标记和わ实现：一种可控高效的文本生成方法、 英文えいぶん脏话大だい列れつ表ひょう 、attnvis：GPT2、BERT等とうtransformer语言模型もけい注意ちゅうい力りょく交互こうご可か视化、CoVoST：Facebook发布的てき多た语种语音-文ぶん本ほん翻こぼし译语料りょう库，包括ほうかつ11种语言ごと(法ほう语、德とく语、荷に兰语、俄にわか语、西にし班はん牙きば语、意い大利おおとし语、土ど耳みみ其语、波なみ斯语、瑞みず典てん语、蒙こうむ古こ语和中ちゅう文ぶん)的てき语音、文字もじ转录及英文えいぶん译文、Jiagu自然しぜん语言处理工具こうぐ - 以BiLSTM等とう模型もけい为基础，提供ていきょう知ち识图谱关系けい抽取 中ちゅう文ぶん分ぶん词 词性标注 命名めいめい实体识别 情感じょうかん分析ぶんせき 新しん词发现 关键词 文ぶん本ほん摘要てきよう 文ぶん本ほん聚类等とう功こう能のう、用ようunet实现对文档表格かく的てき自じ动检测，表ひょう格かく重じゅう建けん、NLP事件じけん提ひっさげ取ど文献ぶんけん资源列れつ表ひょう 、 金融きんゆう领域自然しぜん语言处理研究けんきゅう资源大だい列れつ表ひょう、CLUEDatasetSearch - 中ちゅう英文えいぶんNLP数すう据すえ集しゅう：搜索そうさく所有しょゆう中ちゅう文ぶんNLP数すう据すえ集しゅう，附ふ常用じょうよう英文えいぶんNLP数すう据すえ集しゅう 、medical_NER - 中ちゅう文ぶん医学いがく知ち识图谱命名めいめい实体识别 、(哈佛)讲因果いんが推理すいり的てき免めん费书、知ち识图谱相关学习资料りょう/数かず据すえ集しゅう/工具こうぐ资源大だい列れつ表ひょう、Forte：灵活强大きょうだい的てき自然しぜん语言处理pipeline工具こうぐ集しゅう 、Python字じ符ふ串くし相似そうじ性せい算法さんぽう库、PyLaia：面めん向こう手写しゅしゃ文ぶん档分析ぶんせき的てき深度しんど学がく习工具ぐ包つつめ、TextFooler：针对文ぶん本分ほんぶん类/推理すいり的てき对抗文ぶん本ほん生成せいせい模も块、Haystack：灵活、强大きょうだい的てき可か扩展问答(QA)框かまち架か、中ちゅう文ぶん关键短たん语抽取工具こうぐ。

1. textfilter: 中ちゅう英文えいぶん敏感びんかん词过滤 observerss/textfilter

 >>> f = DFAFilter()
 >>> f.add("sexy")
 >>> f.filter("hello sexy baby")
 hello **** baby

敏感びんかん词包括ほうかつ政治せいじ、脏话等とう话题词汇。其原そのはら理り主要しゅよう是ぜ基もと于词典てん的てき查找（项目中ちゅう的てきkeyword文ぶん件けん），内容ないよう很劲爆ばく。。。

2. langid：97种语言げん检测 https://github.com/saffsd/langid.py

pip install langid

>>> import langid
>>> langid.classify("This is a test")
('en', -54.41310358047485)

3. langdetect：另一个语言检测https://code.google.com/archive/p/language-detection/

pip install langdetect

from langdetect import detect
from langdetect import detect_langs

s1 = "本ほん篇へん博はく客きゃく主要しゅよう介かい绍两款语言げん探さがせ测工具ぐ，用よう于区分くぶん文ぶん本ほん到底とうてい是ぜ什么语言，"
s2 = 'We are pleased to introduce today a new technology'
print(detect(s1))
print(detect(s2))
print(detect_langs(s3))    # detect_langs()输出探さがせ测出的てき所有しょゆう语言类型及其所しょ占うらない的てき比例ひれい

输出结果如下： 注ちゅう：语言类型主要しゅよう参考さんこう的てき是ぜISO 639-1语言编码标准，详见ISO 639-1百ひゃく度ど百科ひゃっか

跟上一个语言检测比较，准じゅん确率低てい，效率こうりつ高だか。

4. phone 中国ちゅうごく手しゅ机つくえ归属地ち查询： ls0f/phone

已やめ集成しゅうせい到いた python package cocoNLP中なか，欢迎试用

from phone import Phone
p  = Phone()
p.find(18100065143)
#return {'phone': '18100065143', 'province': '上海しゃんはい', 'city': '上海しゃんはい', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}

支持しじ号ごう段だん: 13*,15*,18*,14[5,7],17[0,6,7,8]

记录条じょう数すう: 360569 (updated:2017年ねん4月がつ)

作者さくしゃ提供ていきょう了りょう数すう据すえphone.dat 方便ほうべん非ひpython用よう户Load数すう据すえ。

5. phone国こく际手机つくえ、电话归属地ち查询：AfterShip/phone

npm install phone

import phone from 'phone';
phone('+852 6569-8900'); // return ['+85265698900', 'HKG']
phone('(817) 569-8900'); // return ['+18175698900, 'USA']

6. ngender 根ね据すえ名字みょうじ判断はんだん性せい别：observerss/ngender 基もと于朴素もと贝叶斯计算さん的てき概がい率りつ

pip install ngender

>>> import ngender
>>> ngender.guess('赵本山ほんざん')
('male', 0.9836229687547046)
>>> ngender.guess('宋そう丹たん丹まこと')
('female', 0.9759486128949907)

7. 抽取email的てき正せい则表达式

已やめ集成しゅうせい到いた python package cocoNLP中なか，欢迎试用

email_pattern = '^[*#\u4e00-\u9fa5 a-zA-Z0-9_.-]+@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)*\.[a-zA-Z0-9]{2,6}$'
emails = re.findall(email_pattern, text, flags=0)

8. 抽取phone_number的てき正せい则表达式

已やめ集成しゅうせい到いた python package cocoNLP中なか，欢迎试用

cellphone_pattern = '^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$'
phoneNumbers = re.findall(cellphone_pattern, text, flags=0)

9. 抽取身み份证号ごう的てき正せい则表达式

IDCards_pattern = r'^([1-9]\d{5}[12]\d{3}(0[1-9]|1[012])(0[1-9]|[12][0-9]|3[01])\d{3}[0-9xX])$'
IDs = re.findall(IDCards_pattern, text, flags=0)

10. 人名じんめい语料库： wainshine/Chinese-Names-Corpus

人名じんめい抽取功こう能のう python package cocoNLP，欢迎试用

中ちゅう文ぶん（现代、古代こだい）名字みょうじ、日にち文名ぶんめい字じ、中ちゅう文ぶん的てき姓せい和名わみょう、称呼しょうこ（大だい姨妈、小しょう姨妈等とう）、英文えいぶん->中ちゅう文名ぶんめい字じ（李り约翰）、成なり语词典てん

（可用かよう于中文ぶん分ぶん词、姓名せいめい识别）

11. 中ちゅう文ぶん缩写库：github

全国ぜんこく人じん大だい: 全国ぜんこく/n 人民じんみん/n 代表だいひょう大会たいかい/n
中国ちゅうごく: 中ちゅう华人民じんみん共和きょうわ国こく/ns
女おんな网赛: 女子じょし/n 网球/n 比ひ赛/vn

12. 汉语拆字词典：kfcd/chaizi

漢字かんじ	拆法 (一いち)	拆法 (二に)	拆法 (三さん)
拆	手しゅ 斥	扌 斥	才ざい 斥

13. 词汇情感じょうかん值：rainarch/SentiBridge

山やま泉水せんすい	充たかし沛	0.400704566541	0.370067395878
视野	        宽广	0.305762728932	0.325320747491
大だい峡谷きょうこく	惊险	0.312137906517	0.378594957281

14. 中ちゅう文ぶん词库、停とま用よう词、敏感びんかん词 dongxiexidian/Chinese

此package的てき敏感びんかん词库分ぶん类更细：

反はん动词库， 敏感びんかん词库表ひょう统计， 暴恐词库， 民生みんせい词库， 色情しきじょう词库

15. 汉字转拼音おん：mozillazg/python-pinyin

文ぶん本ほん纠错会かい用よう到いた

16. 中ちゅう文ぶん繁しげる简体互转：skydark/nstools

17. 英文えいぶん模も拟中文ぶん发音引擎 funny chinese text to speech enginee：tinyfool/ChineseWithEnglish

say wo i ni
#说：我わが爱你

相当そうとう于用英文えいぶん音おん标，模かたぎ拟中文ぶん发音。

18. 汪ひろし峰ほう歌か词生成せいせい器き：phunterlau/wangfeng-rnn

我わが在ざい这里中ちゅう的てき夜よる里さと
就像一场是一种生命的意旪
就像我が的てき生活せいかつ变得在ざい我が一いち样
可か我わが们这是ぜ一いち个知道どう
我わが只ただ是ぜ一天いってん你会怎吗

19. 同どう义词库、反はん义词库、否定ひてい词库：guotong1988/chinese_dictionary

20. 无空格かく英文えいぶん串くし分割ぶんかつ、抽取单词：wordninja

>>> import wordninja
>>> wordninja.split('derekanderson')
['derek', 'anderson']
>>> wordninja.split('imateapot')
['im', 'a', 'teapot']

21. IP地ち址し正せい则表达式：

(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)

22. 腾讯QQ号ごう正せい则表达式：

[1-9]([0-9]{5,11})

23. 国内こくない固かた话号码正则表达式：

[0-9-()（）]{7,18}

24. 用よう户名正せい则表达式：

[A-Za-z0-9_\-\u4e00-\u9fa5]+

25. 汽车品ひん牌ぱい、汽车零れい件けん相しょう关词汇：

见本repo的てきdata文ぶん件けん [data](https://github.com/fighting41love/funNLP/tree/master/data)

26. 时间抽取：

已やめ集成しゅうせい到いた python package cocoNLP中なか，欢迎试用

在ざい2016年ねん6月がつ7日にち9:44执行測はか試こころみ，结果如下

Hi，all。下した周一しゅういち下か午うま三さん点てん开会

>> 2016-06-13 15:00:00-false

周しゅう一いち开会

>> 2016-06-13 00:00:00-true

下下しもじも周しゅう一いち开会

>> 2016-06-20 00:00:00-true

java version

python version

27. 各かく种中文ぶん词向量りょう： github repo

中ちゅう文ぶん词向量りょう大全たいぜん

28. 公司こうし名字みょうじ大全たいぜん： github repo

29. 古こ诗词库： github repo 更さら全的ぜんてき古こ诗词库

30. THU整理せいり的てき词库： link

已やめ整理せいり到いた本ほんrepo的てきdata文ぶん件けん夹中.

IT词库、财经词库、成なり语词库、地名ちめい词库、历史名人めいじん词库、诗词词库、医学いがく词库、饮食词库、法律ほうりつ词库、汽车词库、动物词库

31. 中ちゅう文ぶん聊天语料 link

该库搜さがせ集しゅう了りょう包含ほうがん:豆まめ瓣べん多た轮, PTT八卦はっけ语料, 青あお云うん语料, 电视剧对白しろ语料, 贴吧论坛回かい帖じょう语料,微ほろ博はく语料,小しょう黄き鸡语料りょう

32. 中ちゅう文ぶん谣言数すう据すえ: github

该数据すえ文ぶん件けん中ちゅう，每まい一いち行ぎょう为一いち条じょうjson格式かくしき的てき谣言数すう据すえ，字じ段だん释义如下：

rumorCode: 该条谣言的てき唯ただ一いち编码，可か以通过该编码直接ちょくせつ访问该谣言げん举报页面。
title: 该条谣言被ひ举报的てき标题内容ないよう
informerName: 举报者しゃ微ほろ博はく名称めいしょう
informerUrl: 举报者しゃ微ほろ博はく链接
rumormongerName: 发布谣言者しゃ的てき微ほろ博はく名称めいしょう
rumormongerUr: 发布谣言者しゃ的てき微ほろ博はく链接
rumorText: 谣言内容ないよう
visitTimes: 该谣言げん被ひ访问次数じすう
result: 该谣言げん审查结果
publishTime: 该谣言げん被ひ举报时间

33. 情感じょうかん波は动分析ぶんせき：github

词库已やめ整理せいり到いた本ほんrepo的てきdata文ぶん件けん夹中.

本ほんrepo项目是ぜ一个通过与人对话获得其情感值波动图谱, 内用ないよう词库在ざいdata文ぶん件けん夹中.

34. 中ちゅう文ぶん问答数すう据すえ集しゅう：链接 提ひっさげ取ど码: 2dva

35. 句く子こ、QA相似そうじ度ど匹ひき配はい:MatchZoo github

文ぶん本ほん相似そうじ度ど匹ひき配はい算法さんぽう的てき集合しゅうごう，包含ほうがん多た个深度しんど学がく习的方法ほうほう，值得尝试。

36. bert资源：

• bert论文中ちゅう文ぶん翻こぼし译: link

• bert原作げんさく者しゃ的てきslides: link 提ひっさげ取ど码: iarj

• 文ぶん本分ほんぶん类实践: github

• bert tutorial文ぶん本分ほんぶん类教程ほど: github

• bert pytorch实现: github

• bert用よう于中文ぶん命名めいめい实体识别 tensorflow版本はんぽん: github

• BERT生成せいせい句く向むこう量りょう，BERT做文本分ほんぶん类、文ぶん本ほん相似そうじ度ど计算github

• bert 基もと于 keras 的てき封ふう装そう分ぶん类标注ちゅう框かまち架か Kashgari，几分钟即可か搭建一个分类或者序列标注模型: github

• bert、ELMO的てき图解： github

• BERT: Pre-trained models and downstream applications: github

37. Texar - Toolkit for Text Generation and Beyond: github

• 基もと于Tensorflow的てき开源工具こうぐ包つつめ，旨むね在ざい支持しじ广泛的てき机つくえ器き学がく习，特とく别是文ぶん本ほん生成せいせい任にん务，如机器き翻こぼし译、对话、摘要てきよう、内容ないよう处置、语言建けん模も等とう

38. 中ちゅう文ぶん事件じけん抽取： github

• 中ちゅう文ぶん复合事件じけん抽取，包括ほうかつ条件じょうけん事件じけん、因果いんが事件じけん、顺承事件じけん、反はん转事件じけん等とう事件じけん抽取，并形成けいせい事理じり图谱。

39. cocoNLP: github

人名じんめい、地ち址し、邮箱、手て机つくえ号ごう、手て机つくえ归属地ち 等とう信しん息いき的てき抽取，rake短たん语抽取算法さんぽう。

pip install cocoNLP

>>> from cocoNLP.extractor import extractor

>>> ex = extractor()

>>> text = '急きゅう寻特朗ろう普ひろし，男おとこ孩，于2018年ねん11月27号ごう11时在陕西省しょう安康あんこう市し汉滨区く走はし失しつ。丢失发型短たん发，...如有线索，请迅速そく与あずか警方联系：18100065143，132-6156-2938，baizhantang@sina.com.cn 和わyangyangfuture at gmail dot com'

# 抽取邮箱
>>> emails = ex.extract_email(text)
>>> print(emails)

['baizhantang@sina.com.cn', 'yangyangfuture@gmail.com.cn']
# 抽取手しゅ机つくえ号ごう
>>> cellphones = ex.extract_cellphone(text,nation='CHN')
>>> print(cellphones)

['18100065143', '13261562938']
# 抽取手しゅ机つくえ归属地ち、运营商しょう
>>> cell_locs = [ex.extract_cellphone_location(cell,'CHN') for cell in cellphones]
>>> print(cell_locs)

cellphone_location [{'phone': '18100065143', 'province': '上海しゃんはい', 'city': '上海しゃんはい', 'zip_code': '200000', 'area_code': '021', 'phone_type': '电信'}]
# 抽取地ち址し信しん息いき
>>> locations = ex.extract_locations(text)
>>> print(locations)
['陕西省しょう安康あんこう市し汉滨区く', '安康あんこう市し汉滨区く', '汉滨区く']
# 抽取时间点てん
>>> times = ex.extract_time(text)
>>> print(times)
time {"type": "timestamp", "timestamp": "2018-11-27 11:00:00"}
# 抽取人名じんめい
>>> name = ex.extract_name(text)
>>> print(name)
特とく朗ろう普ひろし

40. 国内こくない电话号ごう码正则匹配はい（三さん大だい运营商しょう+虚きょ拟等）: github

41. 清きよし华大学がくXLORE:中ちゅう英文えいぶん跨またが语言百科知识图谱: link
上述じょうじゅつ链接中ちゅう包含ほうがん了りょう所有しょゆう实体及关系けい的てきTTL文ぶん件けん，更さら多数たすう据すえ将はた在ざい近こん期き发布。 概念がいねん，实例，属性ぞくせい和上わじょう下位かい关系数すう目もく

跨またが语言连接（概念がいねん/实例）

42. 清きよし华大学がく人工じんこう智能ちのう技わざ术系列けいれつ报告： link
每年まいとし会かい出でAI领域相しょう关的报告，内容ないよう包含ほうがん

• 自然しぜん语言处理 link
• 知ち识图谱 link
• 数かず据すえ挖掘 link
• 自じ动驾驶 link
• 机つくえ器き翻こぼし译 link
• 区く块链 link
• 机つくえ器き人じん link
• 计算机つくえ图形学がく link
• 3D打だ印しるし link
• 人ひと脸识别 link
• 人工じんこう智能ちのう芯しん片へん link
• 等ひとし等ひとし

43.自然しぜん语言生成せいせい方面ほうめん:

• Ehud Reiter教授きょうじゅ的てき博はく客きゃく 北大ほくだい万小军教授强力推荐，该博客きゃく对NLG技わざ术、评价与应用进行了りょう深入ふかいり的てき探さがせ讨与反はん思おもえ。
• 文ぶん本ほん生成せいせい相しょう关资源げん大だい列れつ表ひょう
• 自然しぜん语言生成せいせい：让机器き掌握しょうあく自じ动创作さく的てき本ほん领 - 开放域いき对话生成せいせい及在微ほろ软小冰中的てき实践
• 文ぶん本ほん生成せいせい控ひかえ制せい
• 自然しぜん语言生成せいせい相しょう关资源げん大だい列れつ表ひょう
• 用ようBLEURT评价自然しぜん语言生成せいせい

44.: jieba和わhanlp就不必介绍了吧。

45.NLP太ふとし难了系列けいれつ: github

• 来き到いた杨过曾经生活せいかつ过的地方ちほう，小しょう龙女动情地ち说：“我わが也想过过过儿过过的てき生活せいかつ。” ​​​
• 来き到いた儿子等とう校こう车的地方ちほう，邓超对孙俪说：“我わが也想等とう等とう等とう等とう等とう过的那な辆车。”
• 赵敏说：我わが也想控ひかえ忌き忌き己おのれ不ふ想そう无忌。
• 你也想そう犯はん范范范玮琪犯过的错吗
• 对叙打だ击是一いち次じ性行せいこう为？

46.自じ动对联数据すえ及机器き人じん:
70万まん对联数すう据すえ link
代だい码 link

47.用よう户名黑くろ名めい单列表ひょう： github 包含ほうがん了りょう用よう户名禁きん用よう列れつ表ひょう，比ひ如: link

administrator
administration
autoconfig
autodiscover
broadcasthost
domain
editor
guest
host
hostmaster
info
keybase.txt
localdomain
localhost
master
mail
mail0
mail1

48.罪名ざいめい法ほう务名词及分ぶん类模型がた: github

包含ほうがん856项罪名めい知ち识图谱, 基もと于280万罪名训练库的罪名预测,基もと于20W法ほう务问答こたえ对的13类问题分类与法律ほうりつ资讯问答功こう能のう

49.微ほろ信しん公こう众号语料: github

3G语料，包含ほうがん部分ぶぶん网络抓取的とりてき微ほろ信しん公こう众号的てき文章ぶんしょう，已やめ经去除じょHTML，只ただ包含ほうがん了りょう纯文本ほん。每まい行くだり一いち篇へん，是ぜJSON格式かくしき，name是ぜ微ほろ信しん公こう众号名字みょうじ，account是ぜ微ほろ信しん公こう众号ID，title是ぜ题目，content是正ぜせい文ぶん

50.cs224n深度しんど学がく习自然しぜん语言处理课程：link

• 课程中ちゅう模型もけい的てきpytorch实现 link
• 面めん向こう深度しんど学がく习研究けんきゅう人じん员的自然しぜん语言处理实例教程きょうてい link

51.中ちゅう文ぶん手写しゅしゃ汉字识别：github

52.中ちゅう文ぶん自然しぜん语言处理 语料/数かず据すえ集しゅう：github 竞品：THUOCL（THU Open Chinese Lexicon）中ちゅう文ぶん词库

53.变量命名めいめい神器じんぎ：github link

54.分ぶん词语料りょう库+代だい码：百ひゃく度ど网盘链接

• 提ひっさげ取ど码: pea6
• keras实现的てき基もと于Bi-LSTM + CRF的中てきちゅう文ぶん分ぶん词+词性标注
• 基もと于Universal Transformer + CRF 的中てきちゅう文ぶん分ぶん词和词性标注
• 快速かいそく神しん经网络分词包 java version