当前位置：首页 > news >正文

网站建设中企动力烟台沙洋网站定制

news 2025/10/30 15:52:48

网站建设中企动力烟台,沙洋网站定制,wordpress 短代码使用,佛山网站开发在本文中#xff0c;将详细介绍目前常用的Python NLP库。内容译自网络。这些软件包可处理多种NLP任务#xff0c;例如词性#xff08;POS#xff09;标注#xff0c;依存分析#xff0c;文档分类#xff0c;主题建模等等。NLP库的基本目标是简化文本预处理。目前有许多工… 在本文中将详细介绍目前常用的Python NLP库。内容译自网络。这些软件包可处理多种NLP任务例如词性POS标注依存分析文档分类主题建模等等。 NLP库的基本目标是简化文本预处理。目前有许多工具和库用于解决NLP问题……但是只要掌握了其中的一些基本知识就可以掌握相关基本知识。这就是为什么只介绍其中最常用的五个Python NLP库的原因。但是在此之前应该掌握有关NLP的各个组成领域和主题的一些基础知识。扎实基础对于学习自然语言处理的理论基础网络上有丰富的资源可以学习 · 斯坦福课程 — 深度学习中的自然语言处理http://web.stanford.edu/class/cs224n/ · Deeplearning.ai专业化 - 自然语言处理专业https://www.coursera.org/specializations/natural-language-processing · 适用于基础知识的最佳书籍又名NLP圣经 — 自然语言处理语音识别和计算语言学导论https://web.stanford.edu/~jurafsky/slp3/ · 另一本不错的参考书 - 统计自然语言处理的基础https://nlp.stanford.edu/fsnlp/ 1. Spacy spaCy 是Python中比较出名专门用于自然语言处理的库。它有助于实现最先进的效率和敏捷性并拥有活跃的开源组织积极贡献代码。加分项 · 与所有主要的深度学习框架很好地结合并预装了一些出色且有用的语言模型 · 由于Cython支持速度相对较快使用spaCy最适合做的事情 1. 词性POS标注这是给单词标记制定语法属性例如名词动词形容词副词等过程。 2. 实体识别将文本中发现的命名实体标记到预定义实体类型。 3. 依存分析分配语法依存标签描述各个标记例如主题或客体之间的关系。 4. 文本分类为整个文档或文档的一部分分配类别或标签。 5. 句子边界检测SBD查找和分割单个句子。相关资源免费官方课程的链接基于spaCy的高级NLPhttps://course.spacy.io/en/ 官方课程更多资源 · 一篇不错的博客文章包括安装过程和其他Spacy用法入门博客使用Python中的spaCy进行自然语言处理https://realpython.com/natural-language-processing-spacy-python/ · Python Spacy简介视频— 视频讲座和教程https://realpython.com/natural-language-processing-spacy-python/ 2. NLTK NLTK是目前可用的最优秀的NLP模型训练库之一。该库是NLP入门python库。它是NLP的初学者常用的库。它具有许多预先训练的模型和语料库可帮助我们非常快速地分析事物。加分项内置支持数十种语料库和训练完备的模型使用NLTK可以实现一下需求 1. 推荐可以基于相似性来推荐内容。 2. 情感分析通过自然语言处理来衡量人们的观点倾向 3. Wordnet [1]支持我们可以使用Synset 在WordNet中查找单词。因此可以访问许多单词的同音异义词上位词同义词定义词族等 4. 机器翻译用于将源语言翻译成目标语言其他资源 · 学习NLTK的最佳资源是官方的教材《使用自然语言工具包分析文本》https://www.nltk.org/book/ · 相关文章整理Python的NLTK自然语言工具包教程https://www.guru99.com/nltk-tutorial.html · Wordnet文档— WordNet 3.0参考手册https://wordnet.princeton.edu/documentation 与spaCy专注于提供用于生产用途的软件不同NLTK被广泛用于教学和研究— Wikipedia 3.Transformers 来自Transformers GitHub Repo 该Transformers库是开源基于社区的信息库使用和共享模型基于Transformer结构[2]如Bert[3]Roberta[4]GPT2 [5]XLNet [6]等等该库提供自然语言理解NLU和自然语言生成NLG任务预训练模型下载。加分项超过32种采用100种以上语言的训练的预训练模型以及TensorFlow 2.0和PyTorch之间的深度互操作性。最适合深度学习。 Transformers可以做到一下事情 1. 摘要生成摘要是将文本/文章摘要为较短文本的任务。 2. 翻译将文本从一种语言翻译成另一种语言的任务。 3. 文本生成基于上下文生成连贯的下文。 4. 抽取式问答从给定问题的文本中提取答案的任务。相关资源 · 官方文档-HuggingfaceTransformershttps://huggingface.co/transformers/ · 使用BERTHuggingFace和AWS Lambda构建问题解答API – 使用HuggingFace和AWS Lambda的无服务器BERThttps://towardsdatascience.com/serverless-bert-with-huggingface-and-aws-lambda-625193c6cc04 · 了解如何微调BERT以进行情感分析— 使用BERT和Transformers进行情感分析https://www.curiousily.com/posts/sentiment-analysis-with-bert-and-hugging-face-using-pytorch-and-python/ 4. Gensim Gensim是一个Python库专门用于通过向量空间建模和主题建模工具包来识别两个文档之间的语义相似性顺便说一下它是“ Generate Similar”Gensim的缩写) 优点高水平的处理速度和可以处理大量文本。 Gensim适合处理的需求 1. 分布式计算它可以在计算机集群上运行隐语义分析和隐Dirichlet分配。可以处理大量数据的原因 2. 文档索引将信息与文件或特定标签相关联的过程以便以后可以轻松检索 3. 主题建模自动聚类单词group和定义一组文档的相似表达式。 4. 相似性检索处理文档存储库中相似信息的组织存储检索和评估此处为文本信息资源 · 官方API文档-API参考https://radimrehurek.com/gensim/apiref.html · 官方教程- 核心教程https://radimrehurek.com/gensim/auto_examples/ · 使用Gensim LDA进行分层文档聚类— 使用Python进行文档聚类http://brandonrose.org/clustering#Latent-Dirichlet-Allocation · 安装处理等入门教程— 适用于NLP的Python使用Gensim库https://stackabuse.com/python-for-nlp-working-with-the-gensim-library-part-1/ 5. Stanza Stanza将许多准确而有效自然语言处理工具收集在一起组成工具包。从原始文本到句法分析和实体识别Stanza将最新的NLP模型引入语言处理中。该工具包建立在PyTorch库的之上并支持使用GPU和预训练的神经模型。此外Stanza包括一个CoreNLP Java包的Python接口并从那里继承了附加功能。优点快速准确并且能够支持几种主要语言。适用于生产部署环境。资源CoreNLP的Python包装器列表http://stanfordnlp.github.io/CoreNLP/other-languages.html#python Stanza适合处理的需求 1. 形态特征标记对于句子中的每个单词Stanza都会评估其普遍的形态特征例如单身/复数第一/第二/第三人称等。 2. 多词令牌扩展将句子扩展成句法词作为下游处理的基础。这五个库的固有特性使其成为依赖于机器对人类表达的理解的所有项目的首选。参考文献 1. WordNet简介在线词汇数据库 — George A. Miller等。1993年https://wordnetcode.princeton.edu/5papers.pdf 2. Attention Is All You Need — Vaswani等人2017。(https://arxiv.org/abs/1706.03762) 3. BERT用于语言理解的深度双向Transformers的预训练 — Devlin等人2018年。https://arxiv.org/abs/1810.04805 4. RoBERTa一种经过严格优化的BERT预训练方法 — Liu等2019年。(https://arxiv.org/abs/1907.11692) 5. 语言模型是无监督的多任务学习者GPT2 — Radford等人2019年。https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf 6. XLNet用于语言理解的广义自回归预训练 — Yang等人2019年。(https://arxiv.org/abs/1906.08237) 7. Stanza适用于多种人类语言的Python自然语言处理工具包 — Peng等人2020年。(https://arxiv.org/abs/2003.07082)往期精品内容推荐观点问题如何练就“火眼金睛”百度人工智能开源大赛开启报名20年校招DL/NLP/推荐系统/ML/算法基础面试必看300问及答案2020年新书-《神经网络新手入门必备数学基础》免费pdf分享免费好书-《机器学习入门-第二版》最新pdf分享GPT-3语言模型原理详细解读机器学习基础-《统计学习-SLT》教材分享DeepMind 2020年新课-《强化学习进阶课程》视频分享中文自然语言处理医疗、法律等公开数据集整理分享自然语言领域中图神经网络模型GNN应用现状论文深度学习基础正向模型、可微损失函数与优化新书分享-嵌入式深度学习持续性神经网路算法、结构和电路设计深度神经网络压缩和加速相关最全资源分享
文章转载自：
http://www.morning.prgdy.cn.gov.cn.prgdy.cn
http://www.morning.mgnrc.cn.gov.cn.mgnrc.cn
http://www.morning.xhlht.cn.gov.cn.xhlht.cn
http://www.morning.qcdhg.cn.gov.cn.qcdhg.cn
http://www.morning.rxfjg.cn.gov.cn.rxfjg.cn
http://www.morning.jpgfx.cn.gov.cn.jpgfx.cn
http://www.morning.cfmrb.cn.gov.cn.cfmrb.cn
http://www.morning.sypby.cn.gov.cn.sypby.cn
http://www.morning.ytrbq.cn.gov.cn.ytrbq.cn
http://www.morning.mqxzh.cn.gov.cn.mqxzh.cn
http://www.morning.rfmzs.cn.gov.cn.rfmzs.cn
http://www.morning.grjh.cn.gov.cn.grjh.cn
http://www.morning.rsbqq.cn.gov.cn.rsbqq.cn
http://www.morning.kbbmj.cn.gov.cn.kbbmj.cn
http://www.morning.ywxln.cn.gov.cn.ywxln.cn
http://www.morning.ppwdh.cn.gov.cn.ppwdh.cn
http://www.morning.qggm.cn.gov.cn.qggm.cn
http://www.morning.ylsxk.cn.gov.cn.ylsxk.cn
http://www.morning.jfgmx.cn.gov.cn.jfgmx.cn
http://www.morning.xsjfk.cn.gov.cn.xsjfk.cn
http://www.morning.hxlch.cn.gov.cn.hxlch.cn
http://www.morning.wsyq.cn.gov.cn.wsyq.cn
http://www.morning.vvdifactory.com.gov.cn.vvdifactory.com
http://www.morning.bphqd.cn.gov.cn.bphqd.cn
http://www.morning.ktrdc.cn.gov.cn.ktrdc.cn
http://www.morning.rqhdt.cn.gov.cn.rqhdt.cn
http://www.morning.pzlcd.cn.gov.cn.pzlcd.cn
http://www.morning.nzhzt.cn.gov.cn.nzhzt.cn
http://www.morning.trnhy.cn.gov.cn.trnhy.cn
http://www.morning.sjwws.cn.gov.cn.sjwws.cn
http://www.morning.rnrwq.cn.gov.cn.rnrwq.cn
http://www.morning.fhrt.cn.gov.cn.fhrt.cn
http://www.morning.lsfzq.cn.gov.cn.lsfzq.cn
http://www.morning.ahlart.com.gov.cn.ahlart.com
http://www.morning.splcc.cn.gov.cn.splcc.cn
http://www.morning.cwskn.cn.gov.cn.cwskn.cn
http://www.morning.nwbnt.cn.gov.cn.nwbnt.cn
http://www.morning.djmdk.cn.gov.cn.djmdk.cn
http://www.morning.hngmg.cn.gov.cn.hngmg.cn
http://www.morning.jyjqh.cn.gov.cn.jyjqh.cn
http://www.morning.wfqcs.cn.gov.cn.wfqcs.cn
http://www.morning.csjps.cn.gov.cn.csjps.cn
http://www.morning.sqfnx.cn.gov.cn.sqfnx.cn
http://www.morning.ndtzy.cn.gov.cn.ndtzy.cn
http://www.morning.jfxdy.cn.gov.cn.jfxdy.cn
http://www.morning.zcsch.cn.gov.cn.zcsch.cn
http://www.morning.slwqt.cn.gov.cn.slwqt.cn
http://www.morning.dtrzw.cn.gov.cn.dtrzw.cn
http://www.morning.qpntn.cn.gov.cn.qpntn.cn
http://www.morning.wfzlt.cn.gov.cn.wfzlt.cn
http://www.morning.ysjjr.cn.gov.cn.ysjjr.cn
http://www.morning.tnbas.com.gov.cn.tnbas.com
http://www.morning.yxplz.cn.gov.cn.yxplz.cn
http://www.morning.cfynn.cn.gov.cn.cfynn.cn
http://www.morning.brjq.cn.gov.cn.brjq.cn
http://www.morning.qwzpd.cn.gov.cn.qwzpd.cn
http://www.morning.rqrh.cn.gov.cn.rqrh.cn
http://www.morning.pwfwk.cn.gov.cn.pwfwk.cn
http://www.morning.znlhc.cn.gov.cn.znlhc.cn
http://www.morning.ykwqz.cn.gov.cn.ykwqz.cn
http://www.morning.wmhlz.cn.gov.cn.wmhlz.cn
http://www.morning.mhpmw.cn.gov.cn.mhpmw.cn
http://www.morning.sgqw.cn.gov.cn.sgqw.cn
http://www.morning.jgnst.cn.gov.cn.jgnst.cn
http://www.morning.jntcr.cn.gov.cn.jntcr.cn
http://www.morning.kqxng.cn.gov.cn.kqxng.cn
http://www.morning.npkrm.cn.gov.cn.npkrm.cn
http://www.morning.lkbkd.cn.gov.cn.lkbkd.cn
http://www.morning.mcqhb.cn.gov.cn.mcqhb.cn
http://www.morning.rjcqb.cn.gov.cn.rjcqb.cn
http://www.morning.bttph.cn.gov.cn.bttph.cn
http://www.morning.nzfyx.cn.gov.cn.nzfyx.cn
http://www.morning.gqwpl.cn.gov.cn.gqwpl.cn
http://www.morning.hympq.cn.gov.cn.hympq.cn
http://www.morning.kpgbz.cn.gov.cn.kpgbz.cn
http://www.morning.sryhp.cn.gov.cn.sryhp.cn
http://www.morning.mlwpr.cn.gov.cn.mlwpr.cn
http://www.morning.yxgqr.cn.gov.cn.yxgqr.cn
http://www.morning.ygztf.cn.gov.cn.ygztf.cn
http://www.morning.ykwbx.cn.gov.cn.ykwbx.cn

查看全文

http://www.tj-hxxt.cn/news/262731.html