FS-DFM – 苹果联合俄亥俄州立大学推出的扩散语言模型

FS-DFM是什么

FS-DFM（Few-Step Discrete Flow-Matching）是苹果联合俄亥俄州立大学推出的用在快速生成长文本的扩散语言模型。模型通过将采样步数作为显式参数进行训练，使模型能在较少的步骤内生成高质量的文本。FS-DFM结合可靠的更新规则和强大的教师指导，确保概率更新准确且不会过度调整。在语言建模基准测试中，FS-DFM用8步采样达到1024步离散流基线的困惑度水平，同时将采样速度提升至128倍，显著提高效率和吞吐量。

FS-DFM的主要功能

• 高效采样：用8步采样达到传统1024步扩散模型的效果，速度提升128倍。
• 长文本生成：适用生成长文本，解决传统自回归模型在长序列生成中的效率瓶颈。
• 稳定性和可控性：通过优化采样规则和教师指导，确保生成过程稳定且易于控制。

FS-DFM的技术原理

• 基于离散流匹配（DFM）框架：FS-DFM的技术基础是离散流匹配（Discrete Flow-Matching, DFM），通过学习从噪声分布到目标分布的概率路径生成文本。DFM用连续时间马尔可夫链（CTMC）的特性，提供一种并行生成文本的方法，相比传统的自回归模型，能显著提高生成效率。
• 显式采样步数：FS-DFM将采样步数作为显式参数，训练模型在不同步数预算下保持一致的生成效果。意味着模型通过较少的步骤（如8步）达到与传统方法（如1024步）相当的质量，大幅减少生成所需的计算资源和时间。
• 可靠更新规则：为确保少步生成的稳定性和准确性，FS-DFM引入一种可靠的更新规则。规则通过控制概率更新的方向和幅度，避免过度调整（overshooting）的问题，使生成过程更加稳定。
• 累积标量（Cumulative Scalar）：FS-DFM引入累积标量的概念，通过在时间区间内积分调度器的速率，为每个有限步提供正确的概率流。使模型在少步生成中实现有效的更新，在早期步骤中能保持足够的更新力度，避免生成过程停滞。

FS-DFM的项目地址

• arXiv技术论文：https://arxiv.org/pdf/2509.20624

FS-DFM的应用场景

• 内容创作：快速生成高质量的长文本，用在创作文章、故事、新闻报道等，帮助内容创作者提高效率。
• 智能客服：在智能客服系统中，快速生成详细的回复，提升响应速度和用户体验。
• 语言翻译：通过高效生成长文本，用在翻译长篇文档，提高翻译效率和质量。
• 创意写作：为作家和创意人员提供灵感，快速生成故事大纲、剧本或诗歌等，激发创作思路。
• 教育领域：生成教育材料，如课程大纲、教学案例或练习题，辅助教师准备教学内容。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/