NLP——常用工具汇总

1. 中文分词工具LAC：https://github.com/baidu/lac

2. 新闻网页正文通用抽取器GNE：https://github.com/kingname/GeneralNewsExtractor

3. 自然语言处理工具包Macadam：https://github.com/yongzhuo/Macadam

4、程序员客栈：https://www.proginn.com

为方便自己查找资料，整理些可能会用到的工具：

1. 中文分词工具LAC：https://github.com/baidu/lac

LAC全称Lexical Analysis of Chinese，是百度自然语言处理部研发的一款联合的词法分析工具，实现中文分词、词性标注、专名识别等功能。该工具具有以下特点与优势：

（1）效果好：通过深度学习模型联合学习分词、词性标注、专名识别任务，整体效果F1值超过0.91，词性标注F1值超过0.94，专名识别F1值超过0.85，效果业内领先。

（2）效率高：精简模型参数，结合Paddle预测库的性能优化，CPU单线程性能达800QPS，效率业内领先。

（3）可定制：实现简单可控的干预机制，精准匹配用户词典对模型进行干预。词典支持长片段形式，使得干预更为精准。

（4）调用便捷：支持一键安装，同时提供了Python、Java和C++调用接口与调用示例，实现快速调用和集成。

（5）支持移动端: 定制超轻量级模型，体积仅为2M，主流千元手机单线程性能达200QPS，满足大多数移动端应用的需求，同等体积量级效果业内领先。

2. 新闻网页正文通用抽取器GNE：https://github.com/kingname/GeneralNewsExtractor

分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试，发现提取效果非常出色，几乎能够达到100%的准确率。在线测试系统：http://gne.kingname.info。

3. 自然语言处理工具包Macadam：https://github.com/yongzhuo/Macadam

Macadam是一个以Tensorflow(Keras)和bert4keras为基础，专注于文本分类、序列标注和关系抽取的自然语言处理工具包。支持RANDOM、WORD2VEC、FASTTEXT、BERT、ALBERT、ROBERTA、NEZHA、XLNET、ELECTRA、GPT-2等EMBEDDING嵌入; 支持FineTune、FastText、TextCNN、CharCNN、BiRNN、RCNN、DCNN、CRNN、DeepMoji、SelfAttention、HAN、Capsule等文本分类算法; 支持CRF、Bi-LSTM-CRF、CNN-LSTM、DGCNN、Bi-LSTM-LAN、Lattice-LSTM-Batch、MRC等序列标注算法。

4、程序员客栈：https://www.proginn.com

强烈推荐一篇NLP概述文章：【NLP】打破BERT天花板：11种花式炼丹术刷爆NLP分类SOTA！
吴恩达机器学习和深度学习笔记：下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
《统计学系方法》代码实现
AI基础
机器学习初学者