PostsMapsLinks
Image

AIGC 海报生成

端到端海报生成、多任务编辑与质量评估的技术体系

端到端海报生成优于模块化流水线

传统海报生成把布局规划、背景生成、文字叠加拆成独立模块,结果受限于各模块短板拼接,美学一致性差。PosterCraft 的解法是直接端到端训练,让模型自由探索视觉连贯的设计组合。具体做法包括: 用 200 万样本的 Text-Render-2M 数据集做文字渲染微调,解决多行中文与小字号的缺失、重复问题;在 HQ-Poster-100K 上引入区域感知校准,非文字区域权重 1.0、主要文字区 0.6、次要文字区 0.2, 在保持文字准确的同时强化整体艺术性;再用 6000 偏好对的 Poster-Preference-100K 做 Best-of-N DPO,学习色彩和谐与版式平衡;最后用 InternVL-3-8B 作为 VLM 评论家迭代反馈。 这套四阶段流程把文字准确率推到接近 Gemini 2.0-Flash-Gen 的水平。

见:美团海报生成 AIGC 技术创新与实践

任务蒸馏缓解多任务海报编辑冲突

局部编辑(扩图、补全、比例调整、ID 保持)强调像素一致与细节保真,全局创作(布局、风格驱动)则需要构图重组与风格抽象,两者在同一参数空间直接联合训练会互相拉扯,导致模型“什么都会一点”但都不稳定。PosterOmni 采用“先拆开学, 再合到一起”的策略:分别训练局部编辑专家和全局创作专家,再用任务蒸馏把专家行为复现到单一学生模型(PosterOmni-SFT),损失由辅助文字渲染损失和蒸馏损失组成。强化学习阶段训练统一奖励模型 RomniR_omni,用“ 输入参考图作为 rejected、编辑结果作为 chosen”的 negative-pair 策略,显式强化“有效修改本身有价值”,防止 layout、style 任务直接复制参考图投机。最终单一开源模型在六项任务上全面领先, 部分指标超过 Seedream-4.0。

见:美团海报生成 AIGC 技术创新与实践

海报评估需要领域化奖励模型

通用图像质量指标(FID、IS)和通用 VLM 打分无法捕捉海报特有的排版质量、文字准确性和设计规范性,容易出现“看起来好看但任务没做对”的投机解。PosterReward 是首个专门面向海报质量评估的奖励模型,把结构化评估经验(构图、 配色、氛围感)内化为端到端评分能力。它用 7 万高质量偏好对 Poster-Preference-70K 训练,数据来自 Seedream、Qwen 生成海报并经多模型共识验证;训练分四阶段:Joint SFT( 24.6 万单图分析 + 16 万配对)、Joint RSFT、评分模块(Bradley-Terry 损失)、GRPO 精炼。在 PosterRewardBench-Advanced 上达到 86% 准确率,远超现有基线的 40%–53%。 这反映了垂直领域评估的关键:不能沿用通用美学指标,而要把行业规范转化为可优化的奖励信号。

见:美团海报生成 AIGC 技术创新与实践

生成-编辑-评判构成自进化后训练系统

高质量 AIGC 海报不是“生成模型 + 编辑工具 + 质检脚本”的简单串联,而是三者相互驱动的后训练系统。PosterCraft 提供端到端生成基础;PosterOmni 扩展多任务编辑能力, 其统一奖励模型是 PosterReward 的任务特化;营销海报结构化评估从构图、配色、氛围感等维度提供可解释的设计规范;PosterReward 再把规范内化为奖励信号,既驱动生成模型持续进化(RL 奖励函数),也承担线上质检。 评估驱动生成优化,生成拓展编辑边界,编辑反哺评估标准,形成持续自我进化的闭环。工程上这意味着:模型部署后仍可通过线上反馈数据不断迭代,而不是一次性训练就冻结。

见:美团海报生成 AIGC 技术创新与实践

Copyright © 2024 Lionad - CC-BY-NC-CD-4.0