谷歌发布了一项名为 HyperDreamBooth 的革命性模型训练方法，该方法在生成AI领域取得了显著的进步，尤其是在个性化模型训练方面。然而，尽管这一技术具有突破性，谷歌并没有计划将其开源。

仅使用单个输入图像，HyperDreamBooth 能够通过使用 HyperNetwork 生成网络权重子集的初始预测来比 DreamBooth 快25x地个性化文本到图像的扩散模型，然后使用快速微调来对主题细节的高保真度进行精细。我们的方法既保持了模型的完整性，又保持了风格的多样性，同时非常接近主题的本质和细节。

摘要：

个性化已经成为生成人工智能领域的一个突出方面，使个人能够在不同的背景和风格下进行综合，同时保持对其身份的高度忠诚。然而，个性化过程在时间和记忆需求方面提出了固有的挑战。微调每个个性化模型需要相当大的GPU时间投资，并且就存储容量而言，为每个受试者存储个性化模型可能要求很高。为了克服这些挑战，我们提出了 HyperDreamBooth ——一种能够有效地从一个人的单个图像中生成一小组个性化权重的超网络。通过将这些权重组合到扩散模型中，再加上快速微调，HyperDreamBooth 可以在各种背景和风格下生成人脸，具有高主题细节，同时还保留了模型对不同风格和语义修改的关键知识。我们的方法在大约20秒内实现人脸个性化，比 DreamBooth 快25倍，比 Textural Inversion 快125倍，只使用一张参考图像，具有与 DreamBoots 相同的质量和风格多样性。此外，我们的方法产生的模型比普通 DreamBooth 模型小 10000 倍。

原文地址：HyperDreamBooth