当前位置：首页 > news >正文

杭州网站的优化直播推广引流的方式

news 2025/10/23 15:20:00

杭州网站的优化,直播推广引流的方式,网站代码502,建设网站需要营业执照吗文章链接#xff1a;https://arxiv.org/pdf/2412.20800 代码地址#xff1a;https://github.com/fenfenfenfan/VMix 项目地址#xff1a;https://vmix-diffusion.github.io/VMix/ 亮点直击分析并探索现有模型在光影、色彩等细粒度美学维度上生成图像的差异#xff0c;提出… 文章链接https://arxiv.org/pdf/2412.20800 代码地址https://github.com/fenfenfenfan/VMix 项目地址https://vmix-diffusion.github.io/VMix/ 亮点直击分析并探索现有模型在光影、色彩等细粒度美学维度上生成图像的差异提出在文本提示中解耦这些属性并构建一个细粒度的美学标签体系提供清晰的模型优化方向提出VMix条件注入方法它将输入文本提示解耦为内容描述和美学描述通过值混合交叉注意力的条件控制方法从不同维度提升模型生成的美感提出的方法对于现有的扩散模型具有普适效果作者基于此训练了一个即插即用的美学适配器与社区模块高度兼容。实验表明提出的方法能显著提升现有模型生成美感优于FreeU、DPO、Textual Inversion等方法总结速览解决的问题扩散模型在文本到图像生成方面表现出色现有方法在提升图像质量以满足人类偏好方面做出了努力但未能充分满足人类对视觉生成内容的细粒度审美偏好如自然光线、丰富色彩和合理构图等现有方法在提升图像质量以满足人类偏好方面做出了努力如FreeU、DPO等尽管整体生成结果可能在文本对齐方面表现更好但可能在视觉构图等方面表现较差现有方法未能准确对齐生成图像与人类偏好。提出的方案通过对齐人类设计师偏好构建包括光影、色彩、构图等不同美学标签将文本条件解耦成内容描述和美学描述提出新的条件注入方法VMix通过审美嵌入初始化模块和跨注意力混合控制模块在保持原有模型图文匹配能力同时提升美学表现 VMix设计灵活能够与社区模块如LoRA、ControlNet和IPAdapter兼容为图像生成提供更大的创造能力。应用的技术扩散模型架构Stable Diffusion、SDXL被作为基础图像生成模型进行实验通过冻结基模仅训练额外小参数网络提升模型美感美学向量初始化通过初始化美学向量将输入文本提示分离为内容描述和多维度美学描述并通过映射网络将审美标签作为额外条件整合到去噪模型中值混合交叉注意力引入交叉注意力混合控制网络在不直接改变注意力图的同时最小化对图像-文本对齐的不利影响从而更好的注入美学条件。达到的效果 VMix能够在不损害模型原有图文匹配能力的同时提升模型在光影、色彩、构图等不同美学维度的表现在与其他方法如FreeU、DPO、Textual Inversion的比较中表现更出色证明了其在提升图像美感方面的有效性。在MJHQ-30K和LAION-HQ10K基准测试中VMix在Aes分数上取得了最高分表明其在提升美感的重要性。用户研究也表明应用VMix后预训练和开源模型更受用户青睐。方法 VMix框架的pipeline和实现细节如下图所示分为三个阶段 1美学向量初始化阶段2训练阶段3推理阶段对于大多数微调方法由于控制条件仅来源于文本模型的文本嵌入即便输入文本中含有一些美学词汇相关信息一方面很容易在与其它词汇的自注意力过程中被淹没另一方面过度包含美学词汇使输入提示过长可能导致无法在提示中生成某些主体从而导致图文匹配度的下降。为了解决这个问题论文将文本到图像合成的输入文本解耦为内容描述和美学描述其中美学描述是引入的细粒度美学标签内容输入是关于图像中主要主体和相关属性的描述。美学向量初始化为了让美学知识更高效注入到扩散模型中设计了美学向量AesEmb初始化阶段这一阶段产生的AesEmb将在训练和推理阶段使用并且只需要推理一次即可离线缓存。如上图(a)所示首先构建N组美学标签其中表示一个特定的美学维度例如丰富色彩、自然光线、合理构图等而代表不包含此标签即负面美学标签值得注意的是使用罕见词来表示从而防止文本模型的语义先验泄漏到负面美学标签中。然后美学标签将被CLIP冻结的文本模型处理从而产生一对[CLS]标记记为, 最终可以得到N组这样预定义好的美学向量即为AesEmb 其中d是维度N表示美学标签对的数量。交叉注意力混合控制美学向量映射网络在训练过程中由于单张图片样本包含的正面美学标签的数量是不同的这时预先定义好的AesEmb就派上用场了每个样本会去AesEmb中索引对应向量对于每个美学标签如果该样本具备该属性则索引否则索引从而重组得到最终的美学特征。然后通过一些线性层做维度变换映射网络的最后一层用的是零线性层。整个映射网络的计算如下: 是从美学向量映射网络出的最终文本特征。在训练开始时作为连接层的零初始化线性层的权重和偏置被设置为零。这种初始化确保了微调模型不会引入有害噪声从而保留了原始预训练模型的能力。值混合交叉注意力交叉注意力层中的注意力图决定了文本标记在每个图像块的概率分布为了尽可能保留预训练模型中固有的图文匹配能力通过内容分支和美学分支双分支的方式在扩散模型中引入值混合交叉注意力网络这两个分支共享注意力图对于美学分支仅让网络学习一个新的value从而减少注入过程中对原始注意力图的影响这个过程可以表示为: 训练及推理细节模型全参数训练虽然会有更高的上限但会产生高昂的成本并且高度定制化训练过程中基模参数被冻结只训练新增的映射网络和值混合交叉注意力网络基模通过挂载一个小参数的LoRA从而使模型训练过程更加稳定并增强了其适用性。训练完成后形成一个即插即用的模块。在推理阶段默认使用所有正面的审美标签如上图(c)所示从而提升模型在所有审美维度上的生成质量。尽管在训练阶段使用了LoRA在推理阶段这不是必需的后面有相关的消融实验实验结果实验设置训练数据从LAION等大型公开英文数据集中提取了20万张图片采用自动和人工过滤组合方式进行清洗。这批图除了内容描述文本外还会标注不同美学维度如色彩、光影、构图、重心等的分类标签用来作为训练过程中的额外条件。训练设置 SD1.5和SDXL的学习率分别设置为1e−4和1e−5。Batch size设置为256实验中的总训练步数为50,000。在推理阶段使用DDIM采样器进行采样25步CFG为7.5不使用反向提示词。评估细节除了使用MJHQ-30K数据集进行评估外额外构建一个只包含高美学和高分辨率图片的LAION-HQ10K数据集使用FID、CLIP Score和Aes Score衡量生成图像的整体质量。结果定性比较在视觉效果上VMix显著优于其它方法并且与使用同样训练集的SFT方法比VMix的效果更好从而验证了条件注入的有效性同时对高质量数据进行消融。此外VMix作为插件可以直接应用于开源模型提升它们的美学表现。 SD1.5上不同方法的比较 SDXL上不同方法的比较应用于开源模型的效果定量指标VMix模型有着最高的Aes Score并且可以看到基模的图文匹配能力并没有受到影响甚至条件解耦后模型相较普通SFT方式更容易在高质量数据集上收敛。推理阶段随着增大图片美感也会随之提升。消融实验文中进一步分析了AesEmb不同维度对生成结果的影响可以看到不同美学维度都能明显改善图片质量当一起使用时效果最好文中还对对LoRA的使用进行了消融从而验证模型性能的提升主要来自VMix本身。结论这项研究提出了VMix它通过引入美学标签光影、色彩、构图等作为额外的条件并采用交叉注意力混合控制方法来增强模型在各种美学维度上的表现。论文发现让模型对齐人类期望的最关键因素之一是使用适当的条件控制方法在解耦的细粒度美学标签下进行训练。受此启发论文提出了一种有效的条件控制方法显著提高了模型的生成质量。广泛的实验验证了VMix在文本忠实度和视觉美学方面超越了其他最先进的方法。作为一个即插即用的插件VMix可以与开源模型无缝集成提升审美表现从而进一步推动社区的发展。参考文献 [1] VMix: Improving Text-to-Image Diffusion Model with Cross-Attention Mixing Control
文章转载自：
http://www.morning.wfkbk.cn.gov.cn.wfkbk.cn
http://www.morning.jtsdk.cn.gov.cn.jtsdk.cn
http://www.morning.rgxn.cn.gov.cn.rgxn.cn
http://www.morning.jltmb.cn.gov.cn.jltmb.cn
http://www.morning.qblcm.cn.gov.cn.qblcm.cn
http://www.morning.ywpcs.cn.gov.cn.ywpcs.cn
http://www.morning.xbmwh.cn.gov.cn.xbmwh.cn
http://www.morning.zbnts.cn.gov.cn.zbnts.cn
http://www.morning.qkqgj.cn.gov.cn.qkqgj.cn
http://www.morning.slwqt.cn.gov.cn.slwqt.cn
http://www.morning.xzgbj.cn.gov.cn.xzgbj.cn
http://www.morning.yqqgp.cn.gov.cn.yqqgp.cn
http://www.morning.bfjyp.cn.gov.cn.bfjyp.cn
http://www.morning.shsh1688.com.gov.cn.shsh1688.com
http://www.morning.wbxrl.cn.gov.cn.wbxrl.cn
http://www.morning.yjxfj.cn.gov.cn.yjxfj.cn
http://www.morning.xpqsk.cn.gov.cn.xpqsk.cn
http://www.morning.ysbrz.cn.gov.cn.ysbrz.cn
http://www.morning.tbrnl.cn.gov.cn.tbrnl.cn
http://www.morning.lxhgj.cn.gov.cn.lxhgj.cn
http://www.morning.mkccd.cn.gov.cn.mkccd.cn
http://www.morning.wjlnz.cn.gov.cn.wjlnz.cn
http://www.morning.gczqt.cn.gov.cn.gczqt.cn
http://www.morning.yhrfg.cn.gov.cn.yhrfg.cn
http://www.morning.zzgkk.cn.gov.cn.zzgkk.cn
http://www.morning.znpyw.cn.gov.cn.znpyw.cn
http://www.morning.qnqt.cn.gov.cn.qnqt.cn
http://www.morning.dyzbt.cn.gov.cn.dyzbt.cn
http://www.morning.yqlrq.cn.gov.cn.yqlrq.cn
http://www.morning.wplbs.cn.gov.cn.wplbs.cn
http://www.morning.fpzz1.cn.gov.cn.fpzz1.cn
http://www.morning.bmyrl.cn.gov.cn.bmyrl.cn
http://www.morning.fldsb.cn.gov.cn.fldsb.cn
http://www.morning.knscf.cn.gov.cn.knscf.cn
http://www.morning.mjtgt.cn.gov.cn.mjtgt.cn
http://www.morning.fbmrz.cn.gov.cn.fbmrz.cn
http://www.morning.wqkfm.cn.gov.cn.wqkfm.cn
http://www.morning.fwjfh.cn.gov.cn.fwjfh.cn
http://www.morning.rwjtf.cn.gov.cn.rwjtf.cn
http://www.morning.dqwykj.com.gov.cn.dqwykj.com
http://www.morning.rwfj.cn.gov.cn.rwfj.cn
http://www.morning.dygqq.cn.gov.cn.dygqq.cn
http://www.morning.qnywy.cn.gov.cn.qnywy.cn
http://www.morning.gsjw.cn.gov.cn.gsjw.cn
http://www.morning.lnfkd.cn.gov.cn.lnfkd.cn
http://www.morning.cgstn.cn.gov.cn.cgstn.cn
http://www.morning.rgpy.cn.gov.cn.rgpy.cn
http://www.morning.yhplt.cn.gov.cn.yhplt.cn
http://www.morning.xsymm.cn.gov.cn.xsymm.cn
http://www.morning.gstmn.cn.gov.cn.gstmn.cn
http://www.morning.sh-wj.com.cn.gov.cn.sh-wj.com.cn
http://www.morning.ydgzj.cn.gov.cn.ydgzj.cn
http://www.morning.kdrjd.cn.gov.cn.kdrjd.cn
http://www.morning.darwallet.cn.gov.cn.darwallet.cn
http://www.morning.kclkb.cn.gov.cn.kclkb.cn
http://www.morning.qhrlb.cn.gov.cn.qhrlb.cn
http://www.morning.cpktd.cn.gov.cn.cpktd.cn
http://www.morning.bqdpy.cn.gov.cn.bqdpy.cn
http://www.morning.lznqb.cn.gov.cn.lznqb.cn
http://www.morning.rfmzc.cn.gov.cn.rfmzc.cn
http://www.morning.pcshb.cn.gov.cn.pcshb.cn
http://www.morning.kkgbs.cn.gov.cn.kkgbs.cn
http://www.morning.pdxqk.cn.gov.cn.pdxqk.cn
http://www.morning.vibwp.cn.gov.cn.vibwp.cn
http://www.morning.rptdz.cn.gov.cn.rptdz.cn
http://www.morning.thpns.cn.gov.cn.thpns.cn
http://www.morning.pdghl.cn.gov.cn.pdghl.cn
http://www.morning.bpwz.cn.gov.cn.bpwz.cn
http://www.morning.rqsnl.cn.gov.cn.rqsnl.cn
http://www.morning.ykrkq.cn.gov.cn.ykrkq.cn
http://www.morning.wplbs.cn.gov.cn.wplbs.cn
http://www.morning.swzpx.cn.gov.cn.swzpx.cn
http://www.morning.tgfjm.cn.gov.cn.tgfjm.cn
http://www.morning.cmrfl.cn.gov.cn.cmrfl.cn
http://www.morning.ktmbp.cn.gov.cn.ktmbp.cn
http://www.morning.rtbx.cn.gov.cn.rtbx.cn
http://www.morning.rggky.cn.gov.cn.rggky.cn
http://www.morning.ypbdr.cn.gov.cn.ypbdr.cn
http://www.morning.lfpzs.cn.gov.cn.lfpzs.cn
http://www.morning.sfphz.cn.gov.cn.sfphz.cn

查看全文

http://www.tj-hxxt.cn/news/242834.html