第一句子大全,网罗天下好句子,好文章尽在本站!

自然语言处理库spaCy号称最快句法分析器

时间:2023-01-28

spaCy带有预先训练的统计模型和单词向量,目前支持20多种语言的标记

友情提示:本文共有 2240 个字,阅读大概需要 5 分钟。

【IT168 评论】spaCy是Python和Cython中的高级自然语言处理库,它建立在最新的研究基础之上,从一开始就设计用于实际产品。spaCy带有预先训练的统计模型和单词向量,目前支持20多种语言的标记。它具有世界上速度最快的句法分析器,用于标签的卷积神经网络模型,解析和命名实体识别以及与深度学习整合。它是在MIT许可下发布的商业开源软件。

spaCy项目由@honnibal和@ines维护,虽然无法通过电子邮件提供个人支持。但开源者相信,如果公开分享,会让帮助更有价值,可以让更多人从中受益。(Github官方地址:https://github.com/explosion/spaCy#spacy-industrial-strength-nlp)

spaCy的特征:

·世界上最快的句法分析器

·实体命名识别

非破坏性标记

支持20多种语言

预先训练的统计模型和单词向量

易于深度学习模型的整合

一部分语音标记

标签依赖分析

语法驱动的句子分割

可视化构建语法和NER

字符串到哈希映射更便捷

导出numpy数据数组

有效的二进制序列化

易于模型打包和部署

最快的速度

强烈严格的评估准确性

安装spaCy

pip

使用pip,spaCy版本目前仅作为源包提供。

pip install spacy

在使用pip时,通常建议在虚拟环境中安装软件包以避免修改系统状态:

venv .envsource .env/bin/activate

conda

通过社区开发者的努力,终于重新添加了conda支持。现在可以通过conda-forge安装spaCy:

conda config --add channels conda-forge

conda install spacy

更新spaCy

spaCy的一些更新可能需要下载新的统计模型,如果正在运行spaCy v2.0或更高版本,则可以使用validate命令来检查安装的模型是否兼容,如果不兼容,请打印有关如何更新的详细信息:

pip install -U spacy

spacy validate

如果已经训练了自己的模型,请记住,训练和运行时的输入必须匹配。在更新spaCy之后,建议用新版本重新训练模型。

下载模型

从v1.7.0开始,spaCy的模型可以作为Python包安装。这意味着它们是应用程序的组件,就像任何其他模块一样。 可以使用spaCy的下载命令来安装模型,也可以通过将pip指向路径或URL来手动安装模型。

加载和使用模型

要加载模型,请在模型的快捷链接中使用spacy.load():

如果已经通过pip安装了一个模型,也可以直接导入它,然后调用它的load()方法:

支持旧版本

如果使用的是旧版本(v1.6.0或更低版本),则仍然可以使用python -m spacy.en.download all或python -m spacy.de.download all从spaCy下载并安装旧模型。.tar.gz存档也附加到v1.6.0版本,要手动下载并安装模型,请解压存档,将包含的目录放入spacy / data,并通过spacy.load("en")或spacy.load("de")加载模型。

从源代码编译

另一种安装spaCy的方法是克隆它的GitHub仓库,并从源代码构建它。 如果要更改代码库,常见方法是需要确保你有一个由包含头文件,编译器,pip,virtualenv和git的Python发行版组成的开发环境。编译器部分是最棘手的。,如何做到这一点取决于你的系统。有关详细信息,请参阅Ubuntu,OS X和Windows上的说明。

与通过pip进行常规安装相比,requirements.txt会额外安装Cython等开发人员依赖项。 有关更多详细信息和说明,请参阅有关从源代码编译spaCy和快速启动小部件的文档,以获取适用于您平台和Python版本的正确命令,而不是上面的详细命令,你也可以使用下面的结构命令,所有命令都假定虚拟环境位于一个目录.env中。如果使用的是其他目录,则可以通过环境变量VENV_DIR进行更改,例如VENV_DIR =“。custom-env”fab clean make。

Ubuntu

通过apt-get安装系统级依赖关系:

sudo apt-get install build-essential python-dev git

macOS / OS X

安装最新版本的XCode,包括所谓的“命令行工具”。 macOS和OS X预装了Python和git。

Windows

安装与用于编译Python解释器的版本相匹配的Visual Studio Express或更高版本。官方发行版是VS 2008(Python 2.7),VS 2010(Python 3.4)和VS 2015(Python 3.5)。

运行测试

spaCy带有一个广泛的测试套件。 首先,找出spaCy的安装位置:

python -c "import os; import spacy; print(os.path.dirname(spacy.__file__))"

然后在该目录下运行。The flags--vectors,--slow 和--model是可选的,并启用额外的测试:

#make sure you are using recent pytest version

python -m pip install -U pytest

python -m pytest <

本文如果对你有帮助,请点赞收藏《自然语言处理库spaCy号称最快句法分析器》,同时在此感谢原作者。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
相关阅读
效仿婴儿学习语言 MIT打造了一个具有观察力的AI模型

效仿婴儿学习语言 MIT打造了一个具有观察力的AI模型

...和动词的位置。而在计算机领域,语言学习是语法和语义分析器需要执行的任务。训练它们需要使用使用人工标注的句子,这些标注提供了句子结构和词语含义的信息。语法分析器对于网页搜索、自然语言数据库查询、Alexa和Siri...

2023-01-28 #经典句子

SCI仿写和降重神器 直接英语写SCI!

SCI仿写和降重神器 直接英语写SCI!

...。而科研必备神器“句解霸”可以解决这些困惑。1句子分析器功能分析页面网址:http://www.en998.com/sentence/?sid=d94(文末点击“阅读原文”可直达,同时在该页面也可以切换到降重功能)在句子分析器功能这块,我输入一个有错误...

2020-10-31 #经典句子

良心推荐——这三款冷门英语学习app不容错过

良心推荐——这三款冷门英语学习app不容错过

...这款app还内置考研真题库,大大方便考研同学!NO.2 句子分析器 Pro这款软件主打英语文本语法分析。只要输入英语句子,这款app就会自动分析出句子结构,并且提供相关语法知识的讲解。热爱读外刊却又对长句十分头疼的同学绝...

2022-11-19 #经典句子

父母如何帮助孩子发展语言?

父母如何帮助孩子发展语言?

...的声音以及婴儿的“咿呀学语”都是在不断刺激言语听觉分析器和言语运动分析器的发展。婴儿只要能和父母正常的互动以及其他类型的声音,在这两方面的发展就不会存在不足。单词字期(1-1.5岁)是指一个单词常常表示一个...

2007-06-09 #经典句子

什么是自然语言处理(NLP)?

什么是自然语言处理(NLP)?

...词性提取和标记化来分析单词背后的意图。IBM Watson音频分析器。这个基于云计算的解决方案旨在用于社交监听、聊天机器人集成和客户服务监控。它可以分析客户帖子中的情绪和语气,并监控客户服务电话和聊天对话。谷歌云...

2023-06-11 #经典句子

各刷五大数据集新高 创新工场两篇论文入选 ACL 2020

各刷五大数据集新高 创新工场两篇论文入选 ACL 2020

...和业界广泛知名的斯坦福大学的CoreNLP工具和伯克利句法分析器在这些数据集上的性能虽然还不错,但是如果把他们的这些深层句法信息进一步加到我们的模型里面,进行去粗取精,就能把里面比较好的信息通过加权的方式甄选...

2023-11-28 #经典句子

扩展命名实体识别API及其在语言教育中的应用

扩展命名实体识别API及其在语言教育中的应用

...st.i.kyoto-u.ac.jp/EN/?JUMAN)自动生成的,JUMAN是一个日语词法分析器。词向量是通过一个采用日语维基百科文本训练的word2vec模型获得的。我们希望LSTM模型可以记忆训练数据模式,并在很多情况下应用于CRF-SVM方法。对于上下文无关...

2023-11-25 #经典句子

创新工场两篇论文入选ACL 2020 将中文分词数据刷至新高

创新工场两篇论文入选ACL 2020 将中文分词数据刷至新高

...度超过了斯坦福大学的 CoreNLP 工具,和伯克利大学的句法分析器。即使是在与CTB词性标注规范不同的UD数据集中,该模型依然能吸收不同标注带来的知识,并使用这种知识,得到更好的效果。该模型在所有数据集上均超过了之前...

2023-11-28 #经典句子