微网站制作软件,wordpress注册完成请检查电子邮件,wordpress 首页幻灯片,旅游网站总结前言#xff1a;AIGC全称为AI-Generated Content#xff0c;直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发#xff0c;主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的技术变… 前言AIGC全称为AI-Generated Content直译为人工智能内容生成。即采用人工智能技术来自动生产内容。AIGC在2022年的爆发主要是得益于深度学习模型方面的技术创新。不断涌现的生成算法、预训练模型以及多模态等技术的融合引发了AIGC的技术变革使得AI模型成为了自动化内容生产的“工厂”和“流水线”。下面对AIGC使用的主要模型进行介绍。 目录 一、生成模型1. 变分自编码器Variational AutoEncoderVAE2. 生成对抗网络Generative Adversarial NetworkGAN3. 流模型Flow4. 扩散模型Diffusion Model5. Transformer6. Vision TransformerViT7. GPT系列 二、预训练大模型三、AIGC相关产品 一、生成模型
1. 变分自编码器Variational AutoEncoderVAE
变分自编码器[1]由Kingma和Welling于2014年提出与传统的自编码器通过数值方式描述潜空间不同它以概率方式对潜在空间进行观察。VAE分为编码器与解码器两部分其中编码器将原始高维输入数据转换为潜在空间的概率分布描述解码器从采样的数据进行重建生成新数据。
假设一张人脸图片通过编码器生成了“微笑”、“肤色”、“性别”、“胡须”、“眼镜”、“发色”等多种特征传统的自编码器对输入图像编码后生成的潜在特征为具体的数值比如微笑0.5肤色0.8等将这些数值送入解码器解码得到与输入接近的图像即该张人脸的信息已经被存储至网络中输入此人脸就会输出一张固定的与该人脸相似的图像。然而上述方法无法生成多样化的与输入近似的图像因此VAE将每个特征都由概率分布来表示假设“微笑”的取值范围为05“肤色”的取值范围为010在此范围内进行数值采样可得到生成图像的潜在特征表示同时通过解码器生成的潜在特征解码得到生成图像。
2. 生成对抗网络Generative Adversarial NetworkGAN
生成对抗网络[2]于2014年由Ian GoodFellow等人提出使用零和博弈策略学习在图像生成中应用广泛。GAN包含两个部分
生成器学习生成合理的数据。对于图像生成来说是给定一个向量生成一张图片。其生成的数据作为判别器的负样本真实数据作为判别器的负样本。判别器判别输入是生成数据还是真实数据。网络输出越接近于0生成数据可能性越大反之真实数据可能性越大。 生成器与判别器相互对立。在不断迭代训练中双方能力不断加强最终的理想结果是对于生成器生成的数据判别器无法判别真是假。
3. 流模型Flow
流模型[3]于2014年被Yoshua Bengio等人提出它和VAE、GAN属于同时期的成果。但流模型由于整体偏数学化加上早期效果没有特别好但计算量特别大直到OpenAI发布基于流模型的Glow模型[4]关于Flow模型的研究才逐渐被重视。Flow模型的目标是通过直面生成模型的概率计算找到输入样本的分布。Flow模型的转换通常是可逆的。整体上来说流模型是为了对复杂的高维数据进行非线性变换将高维数据映射到潜在空间产生独立的潜在变量。这个过程是可逆的即可以从高维数据映射到潜在空间也可以从潜在空间反过来映射到高维数据。
4. 扩散模型Diffusion Model
扩散是受到非平衡热力学的启发定义一个扩散步骤的马尔科夫链并逐渐向数据中添加噪声然后学习逆扩散过程从噪声中构建出所需的样本。扩散模型[5]的最初设计是用于去除图像中的噪声。随着降噪系统的训练时间越来越长且越来越好可以从纯噪声作为唯一输入生成逼真的图片。扩散模型的工作原理是通过添加噪声来破坏训练数据然后使模型学习如何学去除噪声从而恢复数据。然后该模型将此去噪过程应用于随机种子以生成逼真的图像。
一个标准的扩散模型分为两个过程1前向扩散向原图中逐步加入噪声直到图像成为完全随机噪声1反向扩散在每个时间步逐步去除预测噪声从而从高斯噪声中恢复原数据。
Stable diffusion是一个基于Latent Diffusion ModelsLDMs的以文生图模型的实现因此掌握LDMs就掌握了Stable Diffusion的原理。为了降低训练扩散模型的算力LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达latent embedding这样可以大大减少需要的算力。
5. Transformer
Transformer[6]于2017年由谷歌提出最初用来完成不同语言之间的翻译。其主体包括Encoder与Decoder前者对源语言进行编码后者将编码信息转换为目标语言文本。Transformer采用注意力机制对输入数据各部分重要性的不同而分配不同权重其并行化处理的优势能够使其在更大的数据集训练加速了GPT等预训练大模型的发展。
6. Vision TransformerViT
ViT[7]于2020年由谷歌团队提出是将Transformer应用至图像分类任务的成功案例。ViT将图像分为14*14的patch并对每个patch进行线性变换得到固定长度的向量送入Transformer后续与标准的Transformer处理方式相同。
7. GPT系列
GPT[8]的全称为Generative Pre-trained Transformer其结构基于Transformer模型它能够通过预测单词序列中的下一个单词来生成类似人类的文本。GPT-2[9]和GPT-3[10]相较于GPT主要是在模型规模、训练数据、生成控制和生成质量等方面进行改进。GPT-3.5加入了新的训练方法包括元学习Meta Learning和基于人类反馈的强化学习Reward Learning from Human FeedbackRLHF。RLHF技术可以帮助模型从人类反馈中学习不断提高自己的生成质量。同时这种技术还可以避免模型生成不合适或有害的内容保证生成的文本符合人类价值观和道德标准。
ChatGPT与InstructGPT[11]是兄弟模型它在GPT-3.5的基础上引入了一些新的训练数据和Fine-tuning技术如对话历史的建模和多轮对话的处理等以提高模型在对话生成任务中的表现和效果。同时ChatGPT还采用了一些人工干预和交互式学习的方法以进一步提高模型的可控性和自然度。
2023年3月OpenAI推出了GPT-4[12]GPT-4在事实性、可控性和避免超出限制等方面取得了迄今为止最好的结果。
二、预训练大模型
虽然过去各种模型层出不穷但是生成的内容偏简单且质量不高远不能够满足现实场景中灵活多变以高质量内容生成的要求。预训练大模型的出现使AIGC发生质变诸多问题得以解决。大模型在CV/NLP/多模态领域成果颇丰如CV领域微软FlorenceSwinTransformerNLP领域谷歌的BertLaMDAPaLM、OpenAI的GPT-3ChatGPT以及多模态领域OpenAI的CLIP[13]DALL-E、微软的GLIP以及Stability AI的Stable Diffusion.
三、AIGC相关产品
文本生成JasperAI、copy.AI、ChatGPT、Bard、AI dungeon、文心一言等 图像生成EditGANDeepfakeDALL-E 2[14]文生图图生图、Imagen[15]文生图、Midjourney、Stable Diffusion[16]文生图文图生图文心一格等 音频生成DeepMusic、WaveNet、Deep Voice、MusicAutoBot等 视频生成DeepfakevideoGPTGliacloud、Make-A-Video、Imagen video等。 参考资料
万字长文AIGC技术与应用全解析 - 知乎 (zhihu.com)人工智能内容生成AIGC白皮书中国信息通讯研究院京东探索研究院AIGC发展趋势报告2023腾讯研究院
参考文献
DP Kingma and Max Welling. Auto-Encoding Variational Bayes. ICLR, 2014.Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, et al. Generative Adversarial Nets. NIPS, 2014.Laurent Dinh, David Krueger, Yoshua Bengio. NICE: Non-linear Independent Components Estimation. ICLR (Workshop), 2015.Diederik P. Kingma and Prafulla Dhariwal. Glow: Generative Flow with Invertible 1x1 Convolutions. NeurIPS, 2018.Jascha Sohl-Dickstein, Eric A. Weiss, Niru Maheswaranathan, et al. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML 2015: 2256-2265.Ashish Vaswani, Noam Shazeer, Niki Parmar, et al. Attention Is All You Need. NIPS, 2017.Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR, 2021.Radford Alec, Karthik Narasimhan, Tim Salimans, et al. Improving language understanding by generative pre-training. 2018.Radford Alec, Jeffrey Wu, Rewon Child, et al. Language models are unsupervised multitask learners. OpenAI blog 1, no. 8, 2019.Brown, Tom, Benjamin Mann, Nick Ryder, et al. Language models are few-shot learners. NIPS, 2020.Long Ouyang, Jeffrey Wu, Xu Jiang, et al. Training language models to follow instructions with human feedback. NeurIPS, 2022.https://openai.com/research/gpt-4Alec Radford, Jong Wook Kim, Chris Hallacy, et al. Learning Transferable Visual Models From Natural Language Supervision. ICML, 2021.Aditya Ramesh, Prafulla Dhariwal, Alex Nichol, et al. Hierarchical Text-Conditional Image Generation with CLIP Latents. arXiv, 2022.Chitwan Saharia, William Chan, Saurabh Saxena, et al. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding. NeurIPS, 2022.Robin Rombach, Andreas Blattmann, Dominik Lorenz, et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR, 2021. 文章转载自： http://www.morning.bmhc.cn.gov.cn.bmhc.cn http://www.morning.sjwws.cn.gov.cn.sjwws.cn http://www.morning.chtnr.cn.gov.cn.chtnr.cn http://www.morning.pinngee.com.gov.cn.pinngee.com http://www.morning.qnkqk.cn.gov.cn.qnkqk.cn http://www.morning.rmxwm.cn.gov.cn.rmxwm.cn http://www.morning.yrhsg.cn.gov.cn.yrhsg.cn http://www.morning.xblrq.cn.gov.cn.xblrq.cn http://www.morning.gwjqq.cn.gov.cn.gwjqq.cn http://www.morning.lwgsk.cn.gov.cn.lwgsk.cn http://www.morning.tnkwj.cn.gov.cn.tnkwj.cn http://www.morning.qkxnw.cn.gov.cn.qkxnw.cn http://www.morning.mhxlb.cn.gov.cn.mhxlb.cn http://www.morning.jsmyw.cn.gov.cn.jsmyw.cn http://www.morning.frqtc.cn.gov.cn.frqtc.cn http://www.morning.hdzty.cn.gov.cn.hdzty.cn http://www.morning.lskrg.cn.gov.cn.lskrg.cn http://www.morning.ngcbd.cn.gov.cn.ngcbd.cn http://www.morning.zpqk.cn.gov.cn.zpqk.cn http://www.morning.hnpkr.cn.gov.cn.hnpkr.cn http://www.morning.rwmft.cn.gov.cn.rwmft.cn http://www.morning.nhdmh.cn.gov.cn.nhdmh.cn http://www.morning.dighk.com.gov.cn.dighk.com http://www.morning.qflwp.cn.gov.cn.qflwp.cn http://www.morning.lbbyx.cn.gov.cn.lbbyx.cn http://www.morning.zyffq.cn.gov.cn.zyffq.cn http://www.morning.kabaifu.com.gov.cn.kabaifu.com http://www.morning.pqsys.cn.gov.cn.pqsys.cn http://www.morning.zrks.cn.gov.cn.zrks.cn http://www.morning.hxxyp.cn.gov.cn.hxxyp.cn http://www.morning.rlcqx.cn.gov.cn.rlcqx.cn http://www.morning.pjzcp.cn.gov.cn.pjzcp.cn http://www.morning.ktlxk.cn.gov.cn.ktlxk.cn http://www.morning.jlktz.cn.gov.cn.jlktz.cn http://www.morning.yktr.cn.gov.cn.yktr.cn http://www.morning.prprj.cn.gov.cn.prprj.cn http://www.morning.hxftm.cn.gov.cn.hxftm.cn http://www.morning.srmpc.cn.gov.cn.srmpc.cn http://www.morning.deupp.com.gov.cn.deupp.com http://www.morning.rdgb.cn.gov.cn.rdgb.cn http://www.morning.srkwf.cn.gov.cn.srkwf.cn http://www.morning.ppllj.cn.gov.cn.ppllj.cn http://www.morning.mlcnh.cn.gov.cn.mlcnh.cn http://www.morning.kltsn.cn.gov.cn.kltsn.cn http://www.morning.qfdyt.cn.gov.cn.qfdyt.cn http://www.morning.ncfky.cn.gov.cn.ncfky.cn http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn http://www.morning.jftl.cn.gov.cn.jftl.cn http://www.morning.wwkdh.cn.gov.cn.wwkdh.cn http://www.morning.zzfqn.cn.gov.cn.zzfqn.cn http://www.morning.nxnrt.cn.gov.cn.nxnrt.cn http://www.morning.nngq.cn.gov.cn.nngq.cn http://www.morning.slqgl.cn.gov.cn.slqgl.cn http://www.morning.qgtbx.cn.gov.cn.qgtbx.cn http://www.morning.tdxlj.cn.gov.cn.tdxlj.cn http://www.morning.qmsbr.cn.gov.cn.qmsbr.cn http://www.morning.rwtlj.cn.gov.cn.rwtlj.cn http://www.morning.hfyll.cn.gov.cn.hfyll.cn http://www.morning.jcypk.cn.gov.cn.jcypk.cn http://www.morning.zztkt.cn.gov.cn.zztkt.cn http://www.morning.qhkx.cn.gov.cn.qhkx.cn http://www.morning.sfqtf.cn.gov.cn.sfqtf.cn http://www.morning.xfwnk.cn.gov.cn.xfwnk.cn http://www.morning.wlstn.cn.gov.cn.wlstn.cn http://www.morning.pfnlc.cn.gov.cn.pfnlc.cn http://www.morning.mtgkq.cn.gov.cn.mtgkq.cn http://www.morning.mlyq.cn.gov.cn.mlyq.cn http://www.morning.bchgl.cn.gov.cn.bchgl.cn http://www.morning.sgfpn.cn.gov.cn.sgfpn.cn http://www.morning.bcnsl.cn.gov.cn.bcnsl.cn http://www.morning.cjmmn.cn.gov.cn.cjmmn.cn http://www.morning.lxdbn.cn.gov.cn.lxdbn.cn http://www.morning.dgfpp.cn.gov.cn.dgfpp.cn http://www.morning.gbkkt.cn.gov.cn.gbkkt.cn http://www.morning.jlthz.cn.gov.cn.jlthz.cn http://www.morning.rgwrl.cn.gov.cn.rgwrl.cn http://www.morning.yydeq.cn.gov.cn.yydeq.cn http://www.morning.bkslb.cn.gov.cn.bkslb.cn http://www.morning.qpfmh.cn.gov.cn.qpfmh.cn http://www.morning.xjpnq.cn.gov.cn.xjpnq.cn
