毕业设计做旅游网站,网站建设预期周期,那些钓鱼网站是怎么做的,中小企业建设网站编者按#xff1a;近年来#xff0c;人工智能技术飞速发展#xff0c;尤其是大型语言模型的问世#xff0c;让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI#xff0c;成为许多开发者和用户关心的问题。 今天#xff0c;我们推出的这篇文章有助… 编者按近年来人工智能技术飞速发展尤其是大型语言模型的问世让 AI 写作、聊天等能力有了质的飞跃。如何更好地理解和利用这些生成式 AI成为许多开发者和用户关心的问题。 今天我们推出的这篇文章有助于读者深入了解大语言模型的工作原理。作者指出大语言模型的核心在于将文本转化为数字表征这就需要介绍 tokenizer 的概念。通过 tokenizer 文本被分词并映射为 token id这为模型理解文本提供了坚实的基础。作者还比较了基于统计学的文本自动补全和大语言模型的不同之处说明了上下文窗口大小的重要性。最后作者建议读者在使用 OpenAI 等平台时观察定价规则与 token 数量的关系并思考为什么是这种定价规则。 本文通俗易懂地介绍了 tokenizer 在语言模型中的关键作用让我们更好理解这类模型的工作方式对使用生成式AI有很好的启发作用。人工智能技术的发展日新月异理解其基础原理尤为重要。我们将持续关注该领域新进展为读者呈现有价值的技术分析。 以下是译文enjoy 欢迎小伙伴们加入AI技术软件及技术交流群追踪前沿热点共探技术难题~
作者 | SCORPIL
编译 | 岳扬 最近生成式人工智能Generative AI领域的最新进展深刻改变了AI辅助应用AI-assisted applications中所采用的开发模式。就在五年前将人工智能集成到应用程序中除了需要基础技术外很可能还需要一支计算机科学家团队来设计神经网络架构、训练和精心微调模型。总的来说要做很多外行人难以理解的工作。但自从不到一年前 ChatGPT 发布以来语言模型已经变得足够智能以至于人们只需通过礼貌地询问就能修改它们的行为也不一定需要礼貌地询问。 局限性。其中大部分都或多或少地依赖于应用 LLM 来控制 LLM 的想法在本系列的后续部分中我们将更深入地探讨这种情况。这类工作感觉与传统的软件工程非常不同有部分原因是它的 empirical nature 译者注empirical nature应当意思为此类工作方式或方法是基于实际经验和实证数据的而不是完全基于理论或假设。部分原因是因为这个领域还十分年轻。
如今使用人工智能并不一定要求对神经网络、机器学习和自然语言处理等领域有深入的了解就像从事Web开发并不需要掌握编译器和汇编语言一样。不过在这两种情况下对于技术底层运作的了解对我们大有裨益并且往往是优秀工程师与卓越工程师之间的区别。
目录
01 人工智能模型的本质是一种应用程序
02 文本自动补全系统设计
03 关于单词的定义和处理方式
01 人工智能模型的本质是一种应用程序
很多软件工程师第一次接触生成式人工智能时可能会感到困惑。多年的专业经验使他们对机器的能力有着一定的预期并且可能会让他们怀疑其中是否存在一些虚假的表象。不管这种情况是好是坏事实并非如此每个人工智能模型只不过是一个应用程序或者如果你更愿意严格定义的话是一个应用程序的核心部分。模型的训练方式与大多数应用程序从零开始设计的方式不同但它们仍然只是具有输入和输出的一种应用程序。 该应用程序的设计目标是在输入一段文本后以一种类似于人类编写的方式扩展输入的文本。这就是目前所有的 LLM 所做的。大模型是否能够“理解”输入的内容这是一个备受争议的哲学话题。然而大多数专家都同意目前的 LLM 在创建文本时并没有像人类那样真正理解输入文本。当然没有人真正知道“像人类那样理解事物”是什么意思。谁知道呢也许我们也只是一种非常先进的数据理解机器呢
不过我们还是不要被哲学问题所束缚。那么我们要如何设计哪怕只是在理论上这种文本补全应用程序呢
02 文本自动补全系统设计
文本自动补全系统Autocomplete systems已经存在几十年了但直到手机流行起来后才出现了对其最有用的应用。在手机上打字确实并不是很方便因此能够猜测用户意图并给出输入建议这种能力就成了备受追捧的功能。
如果输入“New York”文本自动补全系统很可能会预测下一个词是“City”。创建这种系统的一种相对直接的方法是使用简单的统计方法在一个大型文本数据集中记录下“New York”出现的所有文本样例以及其他所有词对的样例并记录在这些词对如“New York”后面出现的是什么单词以此来学习文本的模式。
在设计这样的系统时一个明显的需要权衡的因素是上下文的大小即文本自动补全系统可以在输入中一起评估的单词数量
接受更长的输入可能助于提升预测的准确度。然而输入量越大统计数据存储所需的内存就会呈指数级增长。由于任何特定语言中可能出现的单词组合数量都是天文数字因此即使使用最强大的硬件收集和使用连续几个以上单词的精确频率数据也极其困难。
一个只有很小上下文窗口的文本自动补全系统很快就会忘了他们刚刚在说什么。尽管有明显的局限性但这样的系统与成熟的 LLM 相比还是有优势的运行起来更轻便而且可以说更适合文本信息辅助text message assistance。现代智能手机上的“预测文本”和“自动更正”功能更接近文本自动补全autocomplete而不是LLM至少在撰写本文时是如此。它们可能很快就会被成熟的生成式人工智能所取代。你可以亲自体验一下——在移动设备上进入本文的评论区输入几个词如果你想不出来可以用“In future AI will未来人工智能将会”然后不断选择设备给出的第一个输入建议。我以“The movie was这部电影是”开始最后得到了下面这句话 这部电影是一部好电影但我认为它不足以成为一部好电影因为它是一部好电影 The movie was a good one, but I don’t think it was good enough for the movie to be a good one because it was a good one 这个句子中的每一个词都是由前一个词自然衔接起来的。如果仅从这段文字中抓取一小段单独读起来还可以“这部电影是一部好电影”、“但我认为它不足以成为一部好电影”、“因为它是一部好电影”。然而整段文本却是毫无意义的。 没有任何意义的线索将它们联系在一起。
为了便于比较以下是由 GPT-3 根据 “The movie was” 补全的文本。 这部电影于2015年11月18日在美国上映。由布拉德·伯德执导乔治·克鲁尼、休·劳瑞和布里特·罗伯逊主演。该片由迪士尼出品票房大获成功全球总票房超过 2.09 亿美元。 The movie was released in the United States on November 18, 2015. It was directed by Brad Bird, and stars George Clooney, Hugh Laurie, and Britt Robertson. It was produced by Disney and was a box office success, grossing over $209 million worldwide. 从这个简单的线索开始GPT-3似乎就离题了开始谈论了一部名为《明日世界Tomorrowland》的电影。令人印象深刻但坦率地说这可能不是我们希望从手机的文本自动补全功能中希望得到的结果。
这个例子表明LLM可以根据更多的信息和语境来进行预测和生成文本而不仅仅是依靠少数词语。 毕竟要在第二句中正确说出“Disney”必须考虑前面的整句文本。
但回到文本自动补全功能。为了让这种简单的统计方法发挥作用我们必须首先获取统计数据。为此我们可以编写一个程序计算用户输入中提供的词组频率并将统计数据存储在某个数据库中以便以后在文本自动补全应用程序中使用。最终输入的文本数据越多文本自动补全程序的输出就应该变得更准确。
这种两阶段的方法反映了人工智能以及机器学习一般的工作方式。译者注此处的两阶段指的应当是首先需要收集并处理数据训练模型然后才能应用这些数据来进行预测或生成结果运行模型在这个类比中这些统计数据是模型计算这些数据是训练文本自动补全是运行模型。开发者没有直接编写代码来定义应用程序的行为而是创建了一个类似大型语言模型的中间过程通过这个过程来指定应用程序的行为方式。 03 关于单词的定义和处理方式
我们理论上的文本自动补全程序autocomplete program隐含地将单词作为语言的原子部分进行操作。这是一个显而易见的选择但并非最佳选择原因有以下几点
单词并非如其表面看起来那样被清晰地定义“I’m”算一个词还是两个词像“um”这样的插入语算不算一个词像GPT这样的首字母缩略词算不算单词这是一个单词吗“”“bbbbbbbb”呢“Apple”和“apples”是同一个单词的两种形式还是两个不同的单词如果只关注单词我们就会忽略标点符号提供的有价值的线索。例如“Cats like eating…”可能会有“fish”作为有效的补全内容而“Cats like eating, …”注意逗号更可能会补全“sleeping, and playing”之类的内容。
为了解决这些挑战LLM的输入被分割成“token”而不是单词。 在LLM中token本质上是“在文本中的常见字符序列”不受严格规则或语言语义的约束。相反统计分析过程会根据输入文本确定什么是token什么不是token。因此这种方法允许对任何语言不受其语法的限制自动分词automatic tokenization。此外token可以包括任何符号而不仅仅是字母。分词器会将文本中的每个字符都分配给一个token包括标点符号、数字、空白字符甚至是表情符号。
需要注意的是上述方法是对 LLM 的输入进行分词的最常见方式但并非唯一的方式。“分词tokenization”这个术语可能在其他语境下指代自然语言处理中使用的其他更高级程序。
LLM 分词器需要保持一种微妙的平衡
过于激进地将文本分割成 token 会使平均 token 长度变短增加给定文本的上下文大小并使 LLM 的运行成本更高。另一方面如果分词过程过于保守token过长可能会限制模型捕捉长程依赖关系long-range dependencies的能力导致文本中细微信号的丢失并可能导致计算复杂性增加。
找到合适的一个平衡点对于确保分词器有效地表示文本并保持计算效率至关重要。 GPT使用的是一种自定义分词器你可以尝试理解它的工作方式[1]。请注意该分词器将前导空格作为下一个单词token的一部分”GPT“由两个token组成与单词“tokenizer”相同。 由于分词器定义了一个庞大但也有限的 token 集合因此可以对其进行枚举并使用它们的索引作为数字类型的文本表征digital text representation。这种格式就是目前 LLM大语言模型所使用的。token 文本即使是以二进制形式长度也是可变的这使得处理起来很困难但token ID 只是数字。从 LLM 的角度来看不存在所谓“文本字符text character”这样的东西。有趣的是一些研究表明人类感知文本的方式与此类似[2]更多地是根据单词块而不是单个符号。
至此我相信您已经对创建 LLM 中训练步骤的重要性上下文窗口大小的重要性以及分词如何在将文本转换为与神经网络兼容的格式时发挥关键作用有了扎实的了解。是时候将我们新学习的知识应用到现实世界中了。我鼓励大家在浏览 OpenAI 的 LLM 定价页面[3]时牢记这些关键要点
模型使用成本包括与训练、输入和输出相关的费用 是按每 1000 个token 计算的 。 通过 LLM 的 token 数量直接影响了运行它所产生的成本。上下文窗口大小对于 LLM 来说是一个关键参数。较大的窗口可以提高性能但也会增加成本。
通过理解使用基于 token 的定价规则的目的我们可以在实际场景中更明智地使用 LLM。
END
参考资料
[1]https://platform.openai.com/tokenizer
[2]https://library.ucsd.edu/dc/collection/bb95920960
[3]https://openai.com/pricing#language-models
本文经原作者授权由Baihai IDP编译。如需转载译文请联系获取授权。
原文链接
https://scorpil.com/post/understanding-generative-ai-part-one-tokenizer/
