山东能源集团 网站建设,免费软件库,网站布局是什么样的,网站建设和seo的工作好不好HuggingFace transformers 是一个整合了跨语言、视觉、音频和多模式模态与最先进的预训练模型并且提供用户友好的 API 的AI开发库。 它由 170 多个预训练模型组成#xff0c;支持 PyTorch、TensorFlow 和 JAX 等框架#xff0c;能够在代码之间进行互操作。 这个库还易于部署支持 PyTorch、TensorFlow 和 JAX 等框架能够在代码之间进行互操作。 这个库还易于部署因为它允许将模型转换为 ONNX 和 TorchScript 格式。
在这篇文章中我们将特别探讨可轻松用于推理的transformer的管道pipeline功能。 管道提供复杂代码的抽象并为文本摘要、问答、命名实体识别、文本生成和文本分类等多项任务提供简单的 API。 这些 API 最好的一点是从预处理到模型评估的所有任务都可以只用几行代码来执行而不需要大量的计算资源。 推荐将 NSDT场景编辑器 加入你的3D开发工具链。 现在让我们开始吧
第一步是使用以下命令安装 transformers 包
pip install transformers接下来我们将使用流水线管道结构来实现不同的任务
from transformers import pipeline管道允许指定多个参数例如任务、模型、设备、批量大小和其他任务特定参数。
让我们从第一个任务开始。
1、文本摘要
这个任务的输入是一个文本语料库模型将根据参数中提到的预期长度输出它的摘要。 在这里我们将最小长度保持为 5将最大长度保持为 30。
summarizer pipeline(summarization, modelt5-base, tokenizert5-base, frameworktf
)input Parents need to know that Top Gun is a blockbuster 1980s action thriller starring Tom Cruise thats chock full of narrow escapes, chases, and battles. But there are also violent and upsetting scenes, particularly the death of a main character, which make it too intense for younger kids. Theres also one graphic-for-its-time sex scene (though no explicit nudity) and quite a few shirtless men in locker rooms and, in one iconic sequence, on a beach volleyball court. Winning is the most important thing to all the pilots, who try to intimidate one another with plenty of posturing and banter -- though when push comes to shove, loyalty and friendship have important roles to play, too. While sexism is noticeable and almost all characters are men, two strong women help keep some of the objectification in check.summarizer(input, min_length5, max_length30)输出如下
[{summary_text: 1980s action thriller starring Tom Cruise is chock-full of escapes, chases, battles }
]还可以从针对摘要任务进行微调的模型的其他选项中进行选择 - bart-large-cnn、t5-small、t5-large、t5-3b、t5-11b。 可以在此处查看可用模型的完整列表。
2、问答任务
在这个任务中我们提供了一个问题和一个上下文。 该模型将根据最高概率得分从上下文中选择答案。 它还提供文本的开始和结束位置。
qa_pipeline pipeline(modeldeepset/roberta-base-squad2)qa_pipeline(questionWhere do I work?,contextI work as a Data Scientist at a lab in University of Montreal. I like to develop my own algorithms.,
)输出如下
{score: 0.6422629356384277,start: 39,end: 61,answer: University of Montreal,
}请参阅此处查看问答任务可用模型的完整列表。
3、命名实体识别
命名实体识别处理基于人名、组织名、位置名等的词的识别和分类。 输入基本上是一个句子模型将确定命名实体及其类别及其在文本中的相应位置。
ner_classifier pipeline(modeldslim/bert-base-NER-uncased, aggregation_strategysimple
)
sentence I like to travel in Montreal.
entity ner_classifier(sentence)
print(entity)输出如下
[{entity_group: LOC,score: 0.9976745,word: montreal,start: 20,end: 28,}
]在此处查看可用模型的其他选项。
4、词性标注
PoS 标记可用于对文本进行分类并提供其相关词性例如一个词是否是名词、代词、动词等。 该模型返回 PoS 标记的单词及其概率分数和各自的位置。
pos_tagger pipeline(modelvblagoje/bert-english-uncased-finetuned-pos,aggregation_strategysimple,
)
pos_tagger(I am an artist and I live in Dublin)输出如下
[{entity_group: PRON,score: 0.9994804,word: i,start: 0,end: 1,},{entity_group: VERB,score: 0.9970591,word: live,start: 2,end: 6,},{entity_group: ADP,score: 0.9993111,word: in,start: 7,end: 9,},{entity_group: PROPN,score: 0.99831414,word: dublin,start: 10,end: 16,},
]5、文本分类
我们将执行情感分析并根据语气对文本进行分类。
text_classifier pipeline(modeldistilbert-base-uncased-finetuned-sst-2-english
)
text_classifier(This movie is horrible!)输出如下
[{label: NEGATIVE, score: 0.9997865557670593}]让我们再举几个例子。
text_classifier(I loved the narration of the movie!)输出如下
[{label: POSITIVE, score: 0.9998612403869629}] 可以在此处找到完整的文本分类模型列表。
6、文本生成
text_generator pipeline(modelgpt2)
text_generator(If it is sunny today then , do_sampleFalse)输出如下
[{generated_text: If it is sunny today then \xa0it will be cloudy tomorrow.}
]在此处访问文本生成模型的完整列表。
7、文本翻译
在这里我们会将文本的语言从一种语言翻译成另一种语言。 例如我们选择了从英语到法语的翻译。 我们使用了基本的 t5-small 模型但你可以在此处访问其他高级模型。
en_fr_translator pipeline(translation_en_to_fr, modelt5-small)
en_fr_translator(Hi, How are you?)输出如下
[{translation_text: Bonjour, Comment êtes-vous ?}]原文链接Transformer NLP管线 — BimAnt
