环球旅行社网站建设规划书论文,有网站建wap,深圳做网站找谁,网站建费用本文介绍了微调的基本概念#xff0c;以及如何对语言模型进行微调。
从 GPT3 到 ChatGPT、从GPT4 到 GitHub copilot的过程#xff0c;微调在其中扮演了重要角色。什么是微调#xff08;fine-tuning#xff09;#xff1f;微调能解决什么问题#xff1f;什么是 LoRA以及如何对语言模型进行微调。
从 GPT3 到 ChatGPT、从GPT4 到 GitHub copilot的过程微调在其中扮演了重要角色。什么是微调fine-tuning微调能解决什么问题什么是 LoRA如何进行微调
本文将解答以上问题并通过代码实例展示如何使用 LoRA 进行微调。微调的技术门槛并不高如果微调的模型规模不大 10B 及 10B 以下所需硬件成本也不高10B模型并不是玩具不少生产中会使用10B的模型即使非专业算法同学也可动手尝试微调自己的模型。
除了上面提到的 ChatGPT、GitHub copilot产品微调可以做的事情还非常多。如针对特定任务让模型编排API论文GPT4Tools: Teaching Large Language Model to Use Tools via Self-instruction、模拟特定人的说话方式character.ai 产品目前估值10亿美元、让模型支持特定语言还有B站上各种 stable diffusion 炼丹教程都用到了微调技术。
微调是利用已经训练好的模型通常是大型的预训练模型作为起点在新的数据集进一步训练模型从而使其更适合特定的应用场景。本文介绍 fine-tuning 的概念与过程并对一个微调的过程代码进行分析。
一、什么是 fine-tuning
GPT-3 使用大量互联网上的语料训练完成后并不适合对话这个场景。如给到 GPT3 输入“中国的首都是哪里” GPT3 基于训练后的模型的参数进行推理结果可能是“美国的首都是哪里”。
训练数据中这两句话一起出现的概率非常高在GPT3的训练预料里面可能也会出现多次。但这种输出明显不满足 ChatGPT 的场景。还需要多阶段的优化过程使 ChatGPT 更擅长处理对话并且能够更好地理解和回应用户的需求。
CPT3 模型的微调过程包括几个关键步骤
1.在大规模文本数据集上进行预训练形成基础的语言能力GPT3。
2.通过监督微调让模型适应对话任务使其生成的文本更符合人类对话习惯。
3.使用基于人类反馈的强化学习使用用户反馈数据如赞踩、评分进一步优化模型的输出质量使其在多轮对话中表现得更连贯和有效。
4.通过持续的微调和更新适应新需求并确保输出的安全性和伦理性。
后续会对上述步骤中的一些概念如监督微调、强化学习做介绍在开始之前先分析微调能起到什么作用。
1.1. 为什么要 fine-tuning
1.1.1. 微调可以强化预训练模型在特定任务上的能力
1.特定领域能力增强微调把处理通用任务的能力在特定领域上加强。比如情感分类任务本质上预训练模型是有此能力的但可以通过微调方式对这一能力进行增强。
2.增加新的信息通过微调可以让预训练模型学习到新的信息比如常见的自我认知类的问题“你是谁”“你是谁创造的”这类问题可通过微调让模型有预期内回答。
1.1.2. 微调可以提高模型性能
1.减少幻觉通过微调可以减少或消除模型生成虚假或不相关信息的情况。
2.提高一致性模型的输出一致性、稳定性更好。给模型一个适度的 temperature 往往会得出质量高更有创造性的结果但结果是每次输出内容都不一样。这里的一致性和稳定性是指虽每次生成内容不同但质量维持在一个较高的水平而不是一次很好一次很差。
3.避免输出不必要的信息比如让模型对宗教作出评价模型可以委婉拒绝回复此类问题。在一些安全测试、监管审查测试时非常有用。
4.降低延迟可通过优化和微调使用较小参数的模型达到预期效果减少模型响应的延迟时间。
1.1.3. 微调自有模型可避免数据泄漏
1.本地或虚拟私有云部署可以选择在本地服务器或虚拟私有云中运行模型自主控制性强。
2.防止数据泄漏这点对于一些公司来说非常重要不少公司的核心竞争优势是长年积累的领域数据。
3.安全风险自主可控如果微调使用特别机密的数据可自定义高级别的安全微调、运行环境。而不是把安全问题都委托给提供模型推理服务的公司。
1.1.4. 使用微调模型可降低成本
1.从零创造大模型成本高对大部分公司而言也很难负担从零开始训练一个大模型的成本。meta最近开源的 llama3.1 405B模型24000张H100集群训练54天。但在开源模型之上进行微调使用一些量化减少精度微调方式可以大大降低门槛还可以得到不错的效果。
2.降低每次请求的成本一般而言相同的性能表现使用微调的模型与通用模型比模型的参数量会更少成本也就更低。
3.更大的控制权可以通过模型参数量、使用的资源自主平衡模型性能、耗时、吞吐量等为成本优化提供了空间。
1.2. 一些相关概念区分
1.2.1. 基于人类反馈的强化学习RLHF与监督微调SFT
目前 OpenAI 的公开信息ChatGPT 的主要改进是通过微调和 RLHF 来实现的。从 GPT3 到 ChatGPT大概过程如下预训练 → 微调SFT → 强化学习RLHF → 模型修剪与优化。强化学习与微调有什么区别
简单来说开发 ChatGPT 过程中微调使模型能够生成更自然、更相关的对话而强化学习强化学习帮助模型通过人类反馈来提升对话质量。
基于人类反馈的强化学习Reinforcement Learning from Human Feedback, RLHF是一种强化学习Reinforcement Learning的具体方式。
强化学习Reinforcement Learning, RL是一种机器学习方法模型通过与环境的交互来学习决策策略。模型在每一步的选择中会得到奖励或惩罚目标是最大化长期的累积奖励。在自然语言处理NLP中强化学习可以用于优化模型的输出使其更符合期望的目标。
SFTSupervised Fine-Tuning监督微调是一种微调的类型。如果按照是否有监督还有无监督微调Unsupervised Fine-Tuning在没有明确标签的情况下对预训练模型进行微调、自监督微调Self-Supervised Fine-Tuning模型通过从输入数据中生成伪标签如通过数据的部分遮掩、上下文预测等方式然后利用这些伪标签进行微调。 图片来自OpenAI 论文Training language models to follow instructions with human feedback
在ChatGPT的训练中OpenAI使用了一种称为通过人类反馈的强化学习Reinforcement Learning from Human Feedback, RLHF的方法。RLHF流程通常包括以下几个步骤
1.初始模型生成使用监督学习训练初始语言模型Step1的过程它已经能够生成合理的对话内容。
2.人类反馈人类评审者与模型进行互动对模型的回答进行评价标注出哪些回答更好。Step2中的 A labeler ranks the outputs 的过程为标注员反馈的过程。
3.奖励模型训练基于人类反馈的数据训练一个奖励模型Step2 中的 reward model该模型能够根据输入的内容对模型输出进行评分。
4.策略优化使用强化学习技术让模型生成更高评分的输出Step3的过程。
强化学习与微调相比不论技术门槛、构造数据的成本、训练成本、训练时间、最终效果的不确定性强化学习与微调都要高很多。强化学习需要使用大量人工标注的数据先训练一个奖励模型然后需要通过大量尝试与迭代在优化语言模型。
在生产实践中虽然强化学习也可提升具体任务表现但对特定任务采用 SFT 的方式往往能取得不错的效果。而强化学习成本高非常依赖标注的数据相对于 SFT 使用不多。
1.2.2. 继续预训练与微调
ChatGPT 的定位是一个通用场景的对话产品在具体行业或领域内类似 ChatGPT 的产品定位会更加细分。比如经常听到的医疗大模型、法律大模型、资金安全大模型。这种“行业大模型”不少是通过对基座继续预训练方式得到的。
继续预训练是在已经预训练的模型基础上进一步在特定领域的数据上进行训练以提高模型对该领域的理解和适应能力。数据集通常是未标注的并且规模较大。
微调一般的目的在于优化模型在特定任务上的表现。微调通常是在一个小规模的任务数据集上进行的目的是让模型在该特定任务上达到最佳表现。
两者可以结合使用比如在安全领域内一个特定的任务如对欺诈手法打一些具体的标签模型使用的方式大概如下
通用预训练例如在大规模互联网数据上公司级别进行训练 → 继续预训练在特定领域数据上公司内不同的行业/部门 → 微调基于特定任务数据部门/行业负责具体业务的小组各自微调。
1.3. 小结
通过微调可以提升模型在特定任务上的表现。相对于预训练、强化学习在生产过程中使用到微调技术的场景更多了解基本概念后非技术人员也可进行微调下一章节主要围绕如何微调进行展开。
针对所有自学遇到困难的同学们我帮大家系统梳理大模型学习脉络将这份 LLM大模型资料 分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴可以 扫描下方二维码领取↓↓↓ [CSDN大礼包全网最全《LLM大模型入门进阶学习资源包》免费分享安全链接放心点击]() 二、如何 Fine-tuning
2.1. 微调的基本原理
微调是基于一个已经训练好的神经网络模型通过对其参数进行细微调整使其更好地适应特定的任务或数据。通过在新的小规模数据集上继续训练模型的部分或全部层模型能够在保留原有知识的基础上针对新任务进行优化从而提升在特定领域的表现。
根据微调的范围可以分为全模型微调和部分微调。
全模型微调Full Model Fine-Tuning更新模型的所有参数适用于目标任务与预训练任务差异较大或需要最大化模型性能的场景。虽然这种方法能获得最佳性能但它需要大量计算资源和存储空间并且在数据较少的情况下容易导致过拟合。相比之下部分微调Partial Fine-Tuning仅更新模型的部分参数其他参数保持冻结。这种方法减少了计算和存储成本同时降低了过拟合的风险适合数据较少的任务但在任务复杂度较高时可能无法充分发挥模型的潜力。
生产中使用较多的是部分微调的方式由于大模型的参数量级较大即使对于部分参数调整也需要非常多的计算资源目前使用比较多的一种方式的是参数高效微调Parameter-Efficient Fine-Tuning, PEFT PEFT 通过引入额外的低秩矩阵如 LoRA或适配层如 Adapters减少计算资源的需求。
LoRA 是一种高效的微调技术能显著降低了微调的参数量和计算资源需求。它在保持模型原有能力的同时实现了任务特定的高效适应是一种特别适合大模型微调的技术。下一小节注重介绍下 LoRA 这种微调方式。
2.2. 什么是 LoRA
2.2.1. LoRA 基本概念 LoRA 原理来源 LoRA 论文LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
LoRALow-Rank Adaptation通过引入低秩矩阵来减少微调过程中需要更新的参数数量矩阵A和矩阵B从而显著降低计算资源需求降低为之前1/3论文中数据。
LoRA 另外一个非常重要的特性是可重用性。由于LoRA不改变原模型的参数它在多任务或多场景的应用中具有很高的可重用性。不同任务的低秩矩阵可以分别存储和加载灵活应用于不同任务中。
比如在手机终端上要跑应用的终端大模型。一个应用的模型会处理不同的任务可以针对不同的任务训练不同的 LoRA 参数运行时基于不同任务使用相同的基座模型动态加载需要的 LoRA 参数。相对于一个任务一个模型可以大大降低存储、运行需要的空间。
2.2.2. LoRA 原理分析
在机器学习中通常会使用非常复杂的矩阵来让模型处理数据。这些结构通常都很“全能”它们可以处理非常多种类的信息。但研究表明让模型去适应特定任务时模型其实并不需要用到所有这些复杂的能力。相反模型只需要利用其中一部分就能很好地完成任务。
打个比方这就像你有一把瑞士军刀里面有很多工具像剪刀、螺丝刀等等但是在解决特定任务时通常只需要用到其中的几个工具就可以完成大多数工作。在这个例子中模型的矩阵就像瑞士军刀虽然它很复杂全秩但实际上你只需要用到一些简单的工具低秩就足够了。
也就是说微调的时候只调整那些对特定任务有影响的参数就可以了。原始矩阵维度较高假设为 d*k 维矩阵W0要想进行矩阵调整并且保持矩阵的数据为了重用最简单方式是使用矩阵加法增加一个 d*k 维度的矩阵ΔW。但如果微调的数据还是一个d*k维度的矩阵参数量就很多。LoRA 通过将后者表示为低秩分解来减少参数的量级。 其中 上图是矩阵分解后的示意图可以直观的从矩阵的面积感知参数的多少W0 为原始权重矩阵如果需要进行全参数微调W0 面积对应的参数都需要进行调整而 LoRA 的方式只调整矩阵B、和矩阵A对应的参数面积的矩阵比W0要少很多。
举例计算d 为 1000k为 1000本来需要计算ΔW 1000*1000 100w 个参数但通过矩阵分解如果 r 4那么只需要计算 1000 * 4矩阵B 4*1000矩阵A 8000 个参数。
这里的 r 4 并不是为了参数量级的减少而特意选的小的值实际微调时很多情况使用的值就是4论文中中实验数据表明在调整 Transformer 中的权重矩阵时在 r 1 时对特定任务就有非常好的效果。 上面表格为在 WikiSQL 和 MultiNLI 上使用不同秩r的 LoRA 验证准确率。适配 Wq 和 Wv时只有1的秩就足够了而仅训练Wq则需要更大的r。Wq, Wk, Wv, Wo为 Transformer架构中自注意力模块中的权重矩阵。
2.3. 微调过程
微调基本过程大概如下
1.准备数据 收集与目标任务相关的标注数据将数据分为训练集、验证集进行Tokenization处理。
2.微调参数设 配置LoRA参数、微调参数如学习率确保模型收敛。
3.微调模型 在训练集上训练模型并调整超参数以防止过拟合。
4.评估模型 在验证集上评估模型性能。
其中需要特别注意的是微调过程中使用的数据要求如下
1.高质量非常重要再强调也不过分Garbage in garbage out、Textbooks Are All You Need都在强调数据质量重要性。
2.多样性就像写代码的测试用例一样尽量使用差异较大数据能覆盖的场景更多的数据。
3.尽量人工生成语言模型生成的文本有一种隐含的“模式”。在看一些文字的时候经常能识别出来“这是语言模型生成的”。
4.数量不少太少通过LoRA论文看100条开始有明显的改善1000条左右有不错的效果。
关于微调的数据量OpenAI 微调至少 10 就可以。一般经验而言 50 到 100条数据有非常明显的微调效果。建议是从 50 条开始有明显效果逐步增加数量。
Example count recommendations To fine-tune a model, you are required to provide at least 10 examples. We typically see clear improvements from fine-tuning on 50 to 100 training examples with gpt-3.5-turbo but the right number varies greatly based on the exact use case. We recommend starting with 50 well-crafted demonstrations and seeing if the model shows signs of improvement after fine-tuning. In some cases that may be sufficient, but even if the model is not yet production quality, clear improvements are a good sign that providing more data will continue to improve the model. No improvement suggests that you may need to rethink how to set up the task for the model or restructure the data before scaling beyond a limited example set. 2.4. 使用 LoRA 微调代码分析
本节使用 LoRA 微调了一个 67M 的 Bert的蒸馏模型distilbert/distilbert-base-uncased实现对电影的评论进行分类的功能用于是正面还是负面的评论微调使用的数据为 stanfordnlp/imdb相关资源地址
初始模型https://huggingface.co/distilbert/distilbert-base-uncased
微调数据https://huggingface.co/datasets/stanfordnlp/imdb
完整代码地址https://github.com/wangzhenyagit/myColab/blob/main/fine-tuning.ipynb
使用的 colab 免费的T4 GPU跑代码一定记得设置CPU慢不止10倍进行微调的1000条微调数据10个Epoch大概6分钟跑完稍大参数量的模型应该也可以免费微调。如果微调10B的模型估计需要付费买些计算资源充值10美元估计差不多。
最终实现效果从微调前50%的正确率基本瞎猜微调后为87%。只微调 Wq 权重矩阵。
r 4 数据如下 r 1 数据如下 可见和 LoRA 论文中的结论差不多在微调Wq的情况下 r 1 就已经足够了(相差不到 0.01可忽略)。
代码分析如下。
2.4.1. 基本库安装与包引入 2.4.2. 微调数据构造
# # load imdb dataimdb_dataset load_dataset(stanfordnlp/imdb)
# # define subsample sizeN 1000 # # generate indexes for random subsamplerand_idx np.random.randint(24999, sizeN)
# # extract train and test datax_train imdb_dataset[train][rand_idx][text]y_train imdb_dataset[train][rand_idx][label]
x_test imdb_dataset[test][rand_idx][text]y_test imdb_dataset[test][rand_idx][label]
# # create new datasetdataset DatasetDict({train:Dataset.from_dict({label:y_train,text:x_train}), validation:Dataset.from_dict({label:y_test,text:x_test})})
import numpy as np # Import the NumPy librarynp.array(dataset[train][label]).sum()/len(dataset[train][label]) # 0.508imdb 中数据格式例子如下 分别使用1000条数据作为微调数据与验证数据。训练数据中正向与负向的评价各自50%。
2.4.3. 加载初始模型 模型架构 一个6层的 Transformer 模型LoRA 影响的是
(q_lin):Linear(in_features768, out_features768, biasTrue)
这一层的权重是个768*768 矩阵的权重向量。
2.4.4. tokenize 与 pad 预处理
# create tokenizerfrom transformers import AutoTokenizer # Import AutoTokenizertokenizer AutoTokenizer.from_pretrained(model_checkpoint, add_prefix_spaceTrue)
# add pad token if none existsif tokenizer.pad_token is None: tokenizer.add_special_tokens({pad_token: [PAD]}) model.resize_token_embeddings(len(tokenizer))
# create tokenize functiondef tokenize_function(examples): # extract text text examples[text]#tokenize and truncate text tokenizer.truncation_side left tokenized_inputs tokenizer( text, return_tensorsnp, truncationTrue, max_length512, # Change max_length to 512 to match models expected input length paddingmax_length # Pad shorter sequences to the maximum length )return tokenized_inputs # tokenize training and validation datasetstokenized_dataset dataset.map(tokenize_function, batchedTrue)
from transformers import DataCollatorWithPadding # Import DataCollatorWithPaddingdata_collator DataCollatorWithPadding(tokenizertokenizer)
tokenized_dataset对于 Tokenize 和 pad几点说明
1.数字化表示 与模型对齐 语言模型无法直接理解原始的文本数据。这些模型处理的对象是数字化的表示形式Tokenize 的过程将文本转化为模型可以处理的整数序列这些整数对应于词汇表中的特定单词或子词。不同模型使用不同的 Tokenize 方式这也要求微调的时候需要与模型中的一致。
2.减少词汇量Tokenize 过程根据词汇表将文本切分为模型可识别的最小单位如单词、子词、字符。这不仅减少了词汇量降低了模型的复杂性还提高了模型处理罕见词或新词的能力。
3.并行计算需要 通过 tokenization可以将输入文本统一为模型预期的固定长度。对于较长的文本Tokenize 过程可以将其截断对于较短的文本可以通过填充padding来补足长度。这样模型输入具有一致性便于并行计算。 上面是文本进行 Tokenize 的过程其中 Tuning 被拆成了两个小的token这样就可以用有限的 token 来表示所有的单词。这也是有些时候大语言模型会“造词”的原因错误的生成Decode后的词可能是没有的单词。
针对所有自学遇到困难的同学们我帮大家系统梳理大模型学习脉络将这份 LLM大模型资料 分享出来包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 有需要的小伙伴可以 扫描下方二维码领取↓↓↓ [CSDN大礼包全网最全《LLM大模型入门进阶学习资源包》免费分享安全链接放心点击]() 2.4.5. 微调配置
微调前数据
import torch # Import PyTorch
model_untrained AutoModelForSequenceClassification.from_pretrained( model_checkpoint, num_labels2, id2labelid2label, label2idlabel2id)
# define list of examplestext_list [It was good., Not a fan, dont recommed., Better than the first one., This is not worth watching even once., This one is a pass.]
print(Untrained model predictions:)print(----------------------------)for text in text_list: # tokenize text inputs tokenizer.encode(text, return_tensorspt) # compute logits logits model_untrained(inputs).logits # convert logits to label predictions torch.argmax(logits)print(text - id2label[predictions.tolist()])输出基本是随机输出。 Untrained model predictions: ---------------------------- It was good. - Positive Not a fan, don’t recommed. - Positive Better than the first one. - Positive This is not worth watching even once. - Positive This one is a pass. - Positive peft_config: LoraConfig(peft_typePeftType.LORA: ‘LORA’, auto_mappingNone, base_model_name_or_pathNone, revisionNone, task_type‘SEQ_CLS’, inference_modeFalse, r1, target_modules{‘q_lin’}, lora_alpha32, lora_dropout0.01, fan_in_fan_outFalse, bias‘none’, use_rsloraFalse, modules_to_saveNone, init_lora_weightsTrue, layers_to_transformNone, layers_patternNone, rank_pattern{}, alpha_pattern{}, megatron_configNone, megatron_core‘megatron.core’, loftq_config{}, use_doraFalse, layer_replicationNone, runtime_configLoraRuntimeConfig(ephemeral_gpu_offloadFalse)) 几点说明
1.task_type“SEQ_CLS”说明任务的类型为分类任务。
2.r1LoRA 的 rank在论文 7.2 WHAT IS THE OPTIMAL RANK r FOR LORA? 有分析此参数影响一般为18通常可设置为4。
3.lora_alpha32, lora_alpha 参数是一个缩放因子B*A的权重系数h W0 lora_alpha*B*A。用于控制 LoRA 适应矩阵对原始权重的影响程度。经验法则是在开始时尝试一个较大的值如 32。
4.lora_dropout0.01防止模型过拟合的配置训练过程中随机“丢弃”一部分神经元来防止模型过拟合通常从一个较小的值开始。
5.target_modules [‘q_lin’]前面提到的影响的权重矩阵这里只影响 model 中 q_lin。 trainable params: 601,346 || all params: 67,556,356 || trainable%: 0.8901 训练的数量不到参数量的百分之一。参数量越大的模型这个训练的参数比越小。 输结果为开头表格数据。
再次运行开始的的测试数据输出 Trained model predictions: -------------------------- It was good. - Positive Not a fan, don’t recommed. - Negative Better than the first one. - Positive This is not worth watching even once. - Negative This one is a pass. - Positive 微调后分类正确。
以上为 LoRA 微调的代码示例。篇幅原因一些参数没有具体讲解推荐使用Colab目前Google也集成了免费的Gemini参数意思有些模糊可以直接提问试用下来和GPT-4o效果差不多。而且有报错一键点击Gemini 就能提供改进建议基本一次就能解决问题。
三、结语
本文介绍了微调的基本概念以及如何对语言模型进行微调。微调虽成本低于大模型的预训练但对于大量参数的模型微调成本仍非常之高。好在有摩尔定律相信随着算力增长微调的成本门槛会越来越低微调技术应用的场景也会越来越多。
“Textbooks Are All You Need” 这篇论文中强调了数据质量对预训练的重要性deep learning的课程中也强调了训练数据的 Quality。想起 AngelList 创始人 Naval 的一句话“Read the Best 100 Books Over and Over Again ” 微调之于模型类似于人去学习技能/特定领域知识。高质量的输入非常重要正确方式可能是阅读经典反复阅读。
以上感谢阅读。
读者福利如果大家对大模型感兴趣这套大模型学习资料一定对你有用
对于0基础小白入门 如果你是零基础小白想快速入门大模型是可以考虑的。 一方面是学习时间相对较短学习内容更全面更集中。 二方面是可以根据这些资料规划好学习计划和方向。 包括大模型学习线路汇总、学习阶段大模型实战案例大模型学习视频人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】
AI大模型学习路线汇总
大模型学习路线图整体分为7个大的阶段全套教程文末领取哈 第一阶段 从大模型系统设计入手讲解大模型的主要方法
第二阶段 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用
第三阶段 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统
第四阶段 大模型知识库应用开发以LangChain框架为例构建物流行业咨询智能问答系统
第五阶段 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型
第六阶段 以SD多模态大模型为主搭建了文生图小程序案例
第七阶段 以大模型平台应用与开发为主通过星火大模型文心大模型等成熟大模型构建大模型行业应用。
大模型实战案例
光学理论是没用的要学会跟着一起做要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。 大模型视频和PDF合集
观看零基础学习书籍和视频看书籍和视频学习是最快捷也是最有效果的方式跟着视频中老师的思路从基础到深入还是很容易入门的。
学会后的收获
• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力
• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求
• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握
• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。
获取方式
有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】 文章转载自： http://www.morning.mhdwp.cn.gov.cn.mhdwp.cn http://www.morning.cmrfl.cn.gov.cn.cmrfl.cn http://www.morning.brtxg.cn.gov.cn.brtxg.cn http://www.morning.lhgqc.cn.gov.cn.lhgqc.cn http://www.morning.pgzgy.cn.gov.cn.pgzgy.cn http://www.morning.pfbx.cn.gov.cn.pfbx.cn http://www.morning.sjzsjsm.com.gov.cn.sjzsjsm.com http://www.morning.pxspq.cn.gov.cn.pxspq.cn http://www.morning.ldynr.cn.gov.cn.ldynr.cn http://www.morning.lpsjs.com.gov.cn.lpsjs.com http://www.morning.pqypt.cn.gov.cn.pqypt.cn http://www.morning.dmzzt.cn.gov.cn.dmzzt.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.pbksb.cn.gov.cn.pbksb.cn http://www.morning.rjqtq.cn.gov.cn.rjqtq.cn http://www.morning.mqfhy.cn.gov.cn.mqfhy.cn http://www.morning.bypfj.cn.gov.cn.bypfj.cn http://www.morning.csznh.cn.gov.cn.csznh.cn http://www.morning.pplxd.cn.gov.cn.pplxd.cn http://www.morning.yggwn.cn.gov.cn.yggwn.cn http://www.morning.tkgjl.cn.gov.cn.tkgjl.cn http://www.morning.fdlyh.cn.gov.cn.fdlyh.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.egmux.cn.gov.cn.egmux.cn http://www.morning.lgmty.cn.gov.cn.lgmty.cn http://www.morning.wprxm.cn.gov.cn.wprxm.cn http://www.morning.wrkcw.cn.gov.cn.wrkcw.cn http://www.morning.fkgct.cn.gov.cn.fkgct.cn http://www.morning.lxqkt.cn.gov.cn.lxqkt.cn http://www.morning.bqmdl.cn.gov.cn.bqmdl.cn http://www.morning.rwnx.cn.gov.cn.rwnx.cn http://www.morning.rwdbz.cn.gov.cn.rwdbz.cn http://www.morning.bqqzg.cn.gov.cn.bqqzg.cn http://www.morning.jhswp.cn.gov.cn.jhswp.cn http://www.morning.yprjy.cn.gov.cn.yprjy.cn http://www.morning.bgkk.cn.gov.cn.bgkk.cn http://www.morning.xbkcr.cn.gov.cn.xbkcr.cn http://www.morning.psxxp.cn.gov.cn.psxxp.cn http://www.morning.glnfn.cn.gov.cn.glnfn.cn http://www.morning.qkskm.cn.gov.cn.qkskm.cn http://www.morning.hmdn.cn.gov.cn.hmdn.cn http://www.morning.yrhsg.cn.gov.cn.yrhsg.cn http://www.morning.xrhst.cn.gov.cn.xrhst.cn http://www.morning.wpqwk.cn.gov.cn.wpqwk.cn http://www.morning.qkdbz.cn.gov.cn.qkdbz.cn http://www.morning.nxbkw.cn.gov.cn.nxbkw.cn http://www.morning.bqwsz.cn.gov.cn.bqwsz.cn http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn http://www.morning.xzkgp.cn.gov.cn.xzkgp.cn http://www.morning.mumgou.com.gov.cn.mumgou.com http://www.morning.fzwf.cn.gov.cn.fzwf.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.rflcy.cn.gov.cn.rflcy.cn http://www.morning.pkrtz.cn.gov.cn.pkrtz.cn http://www.morning.qctsd.cn.gov.cn.qctsd.cn http://www.morning.pffx.cn.gov.cn.pffx.cn http://www.morning.kfwqd.cn.gov.cn.kfwqd.cn http://www.morning.ryywf.cn.gov.cn.ryywf.cn http://www.morning.rkfxc.cn.gov.cn.rkfxc.cn http://www.morning.lpgw.cn.gov.cn.lpgw.cn http://www.morning.bmhc.cn.gov.cn.bmhc.cn http://www.morning.mkygc.cn.gov.cn.mkygc.cn http://www.morning.sffwz.cn.gov.cn.sffwz.cn http://www.morning.bykqg.cn.gov.cn.bykqg.cn http://www.morning.mprpx.cn.gov.cn.mprpx.cn http://www.morning.xsfg.cn.gov.cn.xsfg.cn http://www.morning.jhtrb.cn.gov.cn.jhtrb.cn http://www.morning.dsprl.cn.gov.cn.dsprl.cn http://www.morning.jbxmb.cn.gov.cn.jbxmb.cn http://www.morning.kpypy.cn.gov.cn.kpypy.cn http://www.morning.twwts.com.gov.cn.twwts.com http://www.morning.tkrwm.cn.gov.cn.tkrwm.cn http://www.morning.hpkr.cn.gov.cn.hpkr.cn http://www.morning.skmzm.cn.gov.cn.skmzm.cn http://www.morning.xpzrx.cn.gov.cn.xpzrx.cn http://www.morning.lekbiao.com.gov.cn.lekbiao.com http://www.morning.trsdm.cn.gov.cn.trsdm.cn http://www.morning.mygbt.cn.gov.cn.mygbt.cn http://www.morning.bbgr.cn.gov.cn.bbgr.cn http://www.morning.lrzst.cn.gov.cn.lrzst.cn
