济南网站建设yeptask鞋网站建设

济南网站建设yeptask,鞋网站建设,wordpress下载资源,上海交通网站建设概述 本文为文本到图像#xff08;T2I#xff09;模型提出了一种新的强化学习方法。 传统的 GRPO#xff08;组相对策略优化#xff09;方法使用基于分数的奖励模型来评估生成图像的质量#xff0c;并通过对组内分数进行归一化来更新衡量标准。 然而#xff0c;这种方法容…概述本文为文本到图像T2I模型提出了一种新的强化学习方法。传统的 GRPO组相对策略优化方法使用基于分数的奖励模型来评估生成图像的质量并通过对组内分数进行归一化来更新衡量标准。然而这种方法容易出现一个被称为 奖励黑客 的问题即分数增加图像质量却下降。作者指出这是 虚幻优势 造成的。当生成图像之间的分数差异非常小而归一化会过度强调差异时就会出现这种情况。为了解决这个问题研究提出了一种名为 Pref-GRPO 的新方法。这是一种基于图像对之间的相对偏好成对偏好而不是绝对分数来更新测量结果的机制。此外作者还为模型评估设计了一种名为 UniGenBench 的新基准可从细粒度维度评估 T2I 模型的性能。这项工作的意义在于它克服了传统方法的局限性能够以更稳定的方式学习图像生成并符合人类的偏好。建议的方法Pref-GRPO 的核心思想是将学习目标从传统的奖励分数最大化转移到 “相对偏好匹配”。具体来说针对给定的提示生成多张图像并进行配对比较。使用成对奖励模型PPRM来确定哪张图片更受欢迎并将胜率作为奖励信号。每张图片的胜率在组内进行归一化处理并用于更新衡量标准。这种设计有三个优点。首先胜出率的使用增加了奖励的方差可以更清楚地区分质量好和质量差的图像。其次由于它是基于相对排名而不是绝对分数差异因此对奖励噪音具有很强的抗干扰能力并减少了奖励黑客的出现。第三它能提供更自然、更忠实的奖励信号因为它反映了人类的判断本质上是基于相对比较这一事实。此外在评估方面作者提出的 UniGenBench 甚至可以对文本理解和逻辑推理等细节维度进行评估从而可以对模型的优缺点进行详细分析。实验在实验中Pref-GRPO 首先与现有的奖励最大化方法HPS、CLIP、UnifiedReward 等进行了比较。实验使用 Flux.1-dev 作为基础模型并使用 UniGenBench 进行评估。结果显示Pref-GRPO 的总分提高了约 6 分尤其是在逻辑推理和文本绘制方面。此外传统方法会出现 奖励黑客 现象即在训练过程中奖励分数增加图像质量却下降而 Pref-GRPO 则有效地抑制了这一现象。此外对生成的图像进行定性比较后发现现有方法会出现过度饱和等不自然的倾向而 Pref-GRPO 则能生成更自然、更稳定的表达。此外在外部基准GenEval 和 T2I-CompBench中也观察到了稳定的性能改进。使用 UniGenBench 进行的广泛模型比较显示GPT-4o 和 Imagen-4.0-Ultra 等封闭源模型表现良好而 Qwen-Image 和 HiDream 等开放源模型也取得了快速进步。总之可以得出结论这种方法是显著提高 T2I 强化学习稳定性和实用性的有效方法。