Finedefics – 北大团队推出的细粒度多模态大模型
Finedefics 是北京大学彭宇新教授团队推出的细粒度多...
DoraCycle 是新加坡国立大学 Show Lab 推出多模态领域适应的统一生成模型,通过两个多模态循环(text-to-image-to-text 和 image-to-text-to-image)实现不同模态间的信息转换与对齐,基于统一生成模型学习的双向映射,以非配对数据进行领域适配训练,无需大量标注数据。模型通过循环端点的交叉熵损失优化,促进自我进化,适应特定领域。