博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python自然语言处理(NLP)工具小结
阅读量:3714 次
发布时间:2019-05-21

本文共 1664 字,大约阅读时间需要 5 分钟。

Python 的几个自然语言处理工具

自然语言处理(Natural Language Processing,简称NLP)是人工智能的一个子域。自然语言处理的应用包括机器翻译、情感分析、智能问答、信息提取、语言输入、舆论分析、知识图谱等方面。也是深度学习的一个分支。首先介绍一下Python的自然语言处理工具包:

1.NLTK工具包

NLTK 在用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的接口,还有分类、分词、除茎、标注、语法分析、语义推理等类库。

2.Jieba工具包

3.Pattern工具包
Pattern 工具包包括词性标注工具(Part-Of-Speech Tagger),N元搜索(n-gram search),情感分析(sentiment analysis),WordNet。同时也支持机器学习的向量空间模型,聚类和支持向量机。

4.TextBlob

TextBlob 是一个处理文本数据的 Python 库。提供了一些简单的api解决一些自然语言处理的任务,例如词性标注、名词短语抽取、情感分析、分类、翻译等等。

5.Gensim

Gensim 提供了对大型语料库的主题建模、文件索引、相似度检索的功能。它可以处理大于RAM内存的数据,作者说它是“实现无干预从纯文本语义建模的最强大、最高效、最无障碍的软件”。

6.PyNLPI

Python自然语言处理库(Python Natural Language Processing Library,音发作: pineapple) 这是一个各种自然语言处理任务的集合,PyNLPI可以用来处理N元搜索,计算频率表和分布,建立语言模型。他还可以处理向优先队列这种更加复杂的数据结构,或者像 Beam 搜索这种更加复杂的算法。

7.spaCy

spaCy是一个商业的开源软件,结合Python和Cython,自然语言处理能力达到了工业强度。是领域内速度最快、最先进的自然语言处理工具。

8.Polyglot

Polyglot 支持对海量文本和多语言的处理。它支持对165种语言的分词,对196种语言的辨识,40种语言的专有名词识别,16种语言的词性标注,136种语言的情感分析,137种语言的嵌入,135种语言的形态分析,以及69中语言的翻译。

9.MontyLingua(英文)

MontyLingua 是一个自由的、训练有素的、端到端的英文处理工具。输入原始英文文本到 MontyLingua ,就会得到这段文本的语义解释。适合用来进行信息检索和提取,问题处理,回答问题等任务。从英文文本中,它能提取出主动宾元组,形容词、名词和动词短语,人名、地名、事件,日期和时间等语义信息。

10.BLLIP Parser

BLLIP Parser(也叫做Charniak-Johnson parser)是一个集成了产生成分分析和最大熵排序的统计自然语言工具。包括 命令行 和 python接口 。

11.Quepy

Quepy是一个Python框架,提供将自然语言转换成为数据库查询语言,可以轻松地实现不同类型的自然语言和数据库查询语言的转化。所以,通过Quepy,仅仅修改几行代码,就可以实现你自己的自然语言查询数据库系统。 
GitHub:https://github.com/machinalis/quepy

12.HanNLP

HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包,支持中文分词(N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注),命名实体识别(中国人名、音译人名、日本人名、地名、实体机构名识别),关键词提取,自动摘要,短语提取,拼音转换,简繁转换,文本推荐,依存句法分析(MaxEnt依存句法分析、神经网络依存句法分析)。 
文档使用操作说明:Python调用自然语言处理包HanLP 和 菜鸟如何调用HanNLP

【参考文献】: 

1.Python自然语言处理工具小结

转载地址:http://vfojn.baihongyu.com/

你可能感兴趣的文章
16.js常用异步编程解决方案***
查看>>
js16:从输入url开始,前端如何优化
查看>>
2021-06-15滴滴面试补充
查看>>
2021-06-17网易面试补充
查看>>
2021-06-21网易面试补充
查看>>
2021-06-22滴滴面试补充
查看>>
2021-06-22vivo面试补充
查看>>
用学校邮箱使用微软OneDrive云存储空间5120G
查看>>
【软件质量保证与测试】实验二、缺陷管理软件Mantis安装与使用
查看>>
简单理解引用&
查看>>
【软件质量保证与测试】4.2逻辑覆盖测试
查看>>
Netty学习 (七、源码剖析Netty启动过程源码)
查看>>
2021“中兴捧月“图灵赛道总结
查看>>
【最新】python爬取全国主要城市经纬度
查看>>
python颜值分析
查看>>
python表白代码,照片隐藏表白话语!
查看>>
python报错cannot import name ‘BeautifulSoup‘ from ‘bs4‘
查看>>
记录博客第一次上热门
查看>>
python爬虫实战(2)——爬取知乎热榜内容
查看>>
python爬虫实战(1)——爬取知乎热门回答图片
查看>>