6 月 6 日，腾讯发布针对腾讯混元文生图开源大模型的加速库
6 月 6 日，腾讯发布针对腾讯混元文生图开源大模型（以下简称为混元 DiT 模型）的加速库，让推理效率大幅提升，生图时间缩短 75%。
混元 DiT 模型的使用门槛也大幅降低，用户可以基于 ComfyUI 的图形化界面，使用腾讯混元文生图模型能力。同时，混元 DiT 模型已经部署至 Hugging Face Diffusers 通用模型库中，用户仅用三行代码即可调用混元 DiT 模型，无需下载原始代码库。
此前，腾讯宣布旗下的混元文生图大模型全面升级并对外开源，可供企业与个人开发者免费商用。这是业内首个中文原生的 DiT 架构文生图开源模型，支持中英文双语输入及理解；采用了与 sora 一致的 DiT 架构，不仅可支持文生图，也可作为视频等多模态视觉生成的基础。
腾讯混元 DiT 模型开源之后，受到了众多社区开发者的认可。开源不到一个月，项目 Github Star 数就超过 2100，位于开源社区热门 DiT 模型前列。
混元 DiT Github 页面
为了提升开发者使用体验，腾讯混元官方上线了专属的加速库，让推理时间缩短 75%，提高大模型运行效率。开发者通过 Hugging Face 即可下载该推理加速工具。
项目组通过知识蒸馏和 TensorRT 高性能推理框架，实现了 DiT 模型的采样步数压缩与高效推理部署。蒸馏主要指降低扩散模型迭代的步数实现加速。模型整体结构和参数量不变，用户在无需任何额外的操作和设备要求下使用蒸馏权重，即可降低 50% 迭代步数，实现耗时减半。TensorRT 推理加速方案通过工程优化，可以进一步降低耗时，并且和模型权重解耦。同时使用两者进行推理部署，可将推理时间缩短 75%。
官方还分享了两个降低用户使用门槛的最新消息：经过与吐司社区的共同努力，用户可以基于 ComfyUI 的图形化界面使用腾讯混元文生图模型能力。同时，通过与 Hugging Face 团队合作，混元 DiT 模型已经部署到 Hugging Face 官方模型库 Diffusers 中，并编写了适配该模型库的调用和生成代码，用户可以直接通过该途径调用混元 DiT 模型，大大简化了用户使用的成本。
ComfyUI 是一款文生图领域的 WebUI 界面设计，它将文生图领域的扩散算法模块化与图形化，提升了生成效率与资源利用率，也大幅降低了开发者的使用门槛。用户可以通过图像化工作流使用混元 DiT 文生图模型，实现与官方模型一样的效果。
混元 DiT 文生图模型的 ComfyUI 使用界面
此外，围绕 ComfyUI 的使用生态，还衍生出强大的开源社区。混元 DiT 对 ComfyUI 的支持，也能让社区的成员体验基于最新 DiT 架构的文生图模型。
作为知名的 AI 开源社区，Hugging Face 的 Diffusers 是目前调用各种主流文生图大模型的通用库，已经成为当今文生图大模型使用的社区标准。
将混元 DiT 模型适配进 Hugging Face Diffusers，可以大幅提升模型的易用性和用户基础。用户无需将原始代码库下载与部署到自身环境，安装了 Diffusers 库的开发者，仅需要运行几行代码，即可调用混元 DiT 模型，配置与调用都十分方便。同时，Hugging Face 与腾讯混元团队共同优化算法框架，加快了图片的生成速度。
此举也相当于为所有后续基于混元 DiT 的使用和开发提供了底层支持，覆盖各种需要调用混元 DiT 的任何场景，包括上述的 ComfyUI 方式。同时对开发者而言，之前配置好的基于 Diffusers 的工作流和插件可以在少量修改的情况下直接用于混元 DiT。
腾讯文生图负责人芦清林表示：「腾讯混元文生图模型开源之后得到了众多开发者的支持和反馈，我们十分高兴，也同时在针对开发者的反馈与社区一起完善和优化基于混元 DiT 的开源生态，让更多开发者能更便利地享受到最新的研究成果。也欢迎大家跟我们一起共建下一代视觉生成开源生态，推动大模型行业加速发展。」
来源：互联网
