Diff-Instruct – 从预训练扩散模型中迁移知识的通用框架

Diff-Instruct是先进的知识转移方法，用于从预训练的扩散模型中提取知识，指导其他生成模型的训练。它基于一种新的散度度量——积分Kullback-Leibler (IKL) 散度，专为扩散模型设计，通过计算沿扩散过程的KL散度积分来比较分布。这种方法能在不需要额外数据的情况下，通过最小化IKL散度，实现对任意生成模型的训练指导。Diff-Instruct的通用性、有效性以及能够显著提升生成模型性能在学术界受到关注。

官网：https://github.com/pkulwj1994/diff_instruct

立即打开官网