废话不多说，先上图。

(资料图片)

走过路过不要错过！这就是今天我们要聊的T2IAdapter，这家伙可能是ControlNet最大的对手哦~ 这个小巧玲珑的家伙虽然只有70M参数，300M存储空间，但它能够在冻结时给预训练的文本到图像模型提供额外指导。它能检测出草图的边缘图，检测出人形图形的关键姿势适配器，还有基于分割的边缘对象检测器和深度检测器，这样生成的图像会更有感觉哦！更重要的是，它还结合了深度和键位适配器，可以在3D中检测人形图形！是不是很棒呢？快来试试吧！

当将文本冻结为图像模型时，我们可以从输入样本中转移检测到的特征分布。这个过程需要适配器以不同的形式提取指导信息，并将其应用于重新噪声化的图像。这种方法为T2IAdapter带来了很多好处，其中最重要的是实现了对小说合成和图像编辑的高度控制。    你或许会问，这种高度控制到底是什么意思呢？简单来说，就是我们可以根据我们想要的效果，针对不同的指导信息进行调整，从而创造出我们需要的图像。比如，我们可以使用草图功能检测边缘图，或者用关键姿势适配器来调整人形图形的姿态。还有基于分割的边缘对象检测器和深度检测器，它们能够让我们更好地安排生成图像的感知深度。这些指导信息在重新噪声化的图像上应用后，能够让我们更加准确地控制图像的生成。    这种高度控制的好处是显而易见的。通过使用T2IAdapter，我们可以根据我们需要的效果对图像进行编辑和合成，而且还可以在图像中添加不同的元素，例如3D人形图形。这一点对于游戏和虚拟现实等领域来说，是非常有用的。因此，T2IAdapter不仅是一种小而强大的工具，而且还是一种能够让我们更加自由地创造和探索的工具。

就像Controlnet一样，T2I-Adapter 对最终的最终输出实现极高级别的控制。从上面的例子中我们可以看出，这种方法比单独使用 Stable Diffusion 效果要好得多。

梯度运行

T2I 是一种有效的技术。如果我们想在自己的远程机器上使用它，而不是受到 HuggingFace Space GPU 可用性的潜在限制，请按照此处的说明设置 T2IAdapter Gradio 笔记本。

要运行它，请打开本页顶部链接的渐变笔记本。笔记本电脑启动后，导航到标有 T2I 适配器的第一部分。在这里，我们首先将 Space 从 HuggingFace 克隆到我们的机器上。从那里，我们需要做的就是安装应用程序的要求。首先运行下面显示的代码单元以安装所需的文件。

!apt-get update && apt-get install git-lfs!git-lfs clone <https://huggingface.co/spaces/Adapter/T2I-Adapter>!pip install -r requirements.txt

这将安装我们运行 Gradio 应用程序所需的一切。从那里，运行下面的下一个单元格以获取指向 Gradio 应用程序的可共享链接。

!python app.py --share

从而我们可以测试应用程序的各种功能。上面是使用两个女孩举行茶话会的照片和深度 + 键位适配器制作的示例，并将其变成两只泰迪熊拳头碰撞的图像。

如果要添加你自己的模型来处理此问题，需要转到notebooks/T2I-Adapter/demo/demos.py并编辑每个演示函数以指向保存文件的位置。最简单的方法是将它们移动到模型文件夹中以方便执行此操作。

T2IAdapter 目前已经可以在Stable dffusion Colab版本中下载调用了，喜欢尝鲜的朋友可以去试着用一下，加强自己的武器库范围。

总之，在本人使用之后，觉得T2IAdapter在某些方面甚至在对输入图像和提示指导的感知准确性方面优于controlnet。我可能在以后的工作流程中会使用到他，并期待开发及完善包含此技术的 Web UI 扩展。

标签：