小米发布SDXS项目 - 提速SD图像生成

小米也发布了一个大幅增强SD 图片生成速度的项目SDXS，可以在单个 GPU 上实现 SD 1.5 每秒 100 张图的生成速度，SDXL 每秒 30 张图。#ai#

估计是为了在小米的本地设备上运行 SD 模型而研究的。

项目介绍：

扩散模型虽然在图像生成任务上取得了优异的性能,但由于模型庞大且需要多步采样,推理速度很慢,难以部署在低功耗设备上。

针对这些问题,可以采用剪枝、知识蒸馏、量化等常见的模型压缩方法。本文的优化思路主要有两个方面:一是模型微型化,二是减少采样步数至1步。

采用了知识蒸馏技术来简化U-Net架构和图像解码器，同时，我们还引入了一种创新的单步训练技术，这种技术通过特征匹配和成绩蒸馏来训练扩散模型。

开发了两款模型，SDXS-512 和 SDXS-1024，它们在单个GPU上分别能达到大约每秒100帧（比 SD v1.5 快30倍）和每秒30帧（比 SDXL 快60倍）的处理速度。

此外，训练方法在图像条件控制方面展现出巨大的潜力，有效地实现了图像到图像的快速转换。

关键词：@小米 @SDXS @项目