ComfyUI のインストールと使いこなしに必要な Diffusion モデル概要入門

ComfyUI は Python で開発されています。

今現在 Python のインストールは uv で行なうのがもっとも簡単・便利で早いので、 まずは uv のインストールから始めます。

基本的に以降の作業は、コンソールからコマンドを実行することが前提です。

curl -LsSf https://astral.sh/uv/install.sh | sh

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

cd "作成したフォルダへのパス"
uv init .
uv python pin 3.12

--/uv プロジェクト--/ComfyUI-?.?.??--/comfy
                                     /models

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

[[tool.uv.index]]
name = "pytorch-gpu"
url = "https://download.pytorch.org/whl/cu128"
explicit = true

[tool.uv.sources]
torch = [
{ index = "pytorch-gpu"  }
]
torchvision = [
{ index = "pytorch-gpu"  }
]
torchaudio = [
{ index = "pytorch-gpu"  }
]

uv tree --depth 1

uv add --requirements ComfyUI-?.?.??/requirements.txt

ここままで、ComfyUI を起動するまでの準備が出来ました。

次に以下を実行し ComfyUI を起動します。

uv run ComfyUI-0.3.44/main.py

少し待つと以下が表示されます。

To see the GUI go to: http://127.0.0.1:8188

上記が表示されたら、 表示されている URL の <http://127.0.0.1:8188> をブラウザでアクセスします。

何かフローが表示されているかもしれないですが、一旦それらは無視してください。

ComfyUI は、さまざまな手法・モデルを利用して画像を生成できます。

ここでは、最も基本である SD1.5 (stable diffusion version 1.5) を使って説明します。

SD1.5 は、生成される画像のクオリティはほどほどですが、 短時間で生成できるので Diffusion モデルの基本構造を理解するには適しているモデルです。

まずは SD1.5 のワークフローを開きます。

ここで、 次のファイルをダウンロードしてください。

<https://github.com/ifritJP/ifritJP.github.io/blob/master/blog2/content/posts/2025/comfy_workflow.json>

次にダウンロードしたファイルを ComfyUI の画面にドラッグ&ドロップします。

すると、「モデルが見つかりません」というメッセージが表示されていると思います。 これは、 このサンプルのワークフローに必要なモデルファイルが ComfyUI に登録されていないことを示しています。

そこで、メッセージの下に表示されているダウンロードボタンを押して モデルファイルをダウンロードします。

ダウンロードが終了したら、 そのファイルを ComfyUI をインストールしたディレクトリの下の models/checkpoints に移動します。

次にエラーメッセージを close して、 下段中央の実行するボタンを押します。

これでワークフローが実行され、画像が生成されます。

このワークフローの中央付近に、「CLIPテキストエンコード(プロンプト)」と表示されている ボックスが 2 つあります。 このボックスでどのような画像を生成するかを指定します。 上のボックスが生成したい画像の内容を指定し、 下のボックスが生成する画像の中に含めたくない内容を指定します。

上のボックスで指定する文字列のことをプロンプトと言い、 下のボックスで指定する文字列のことをネガティブプロンプトと言います。

プロンプトを編集、ワークフローを実行し、結果に反映されることを確認してください。

ComfyUI は、Diffusion モデルのコア技術をパーツとして定義し、 それを GUI 上で簡単に組み合わせて使うツールです。

つまり、コア技術のパーツが何をするものなのか？を知らないと、 自分で組み合わせを変えるのが困難です。

今回は、 Diffusion モデルの概要を理解することで、 自分で ComfyUI のワークフローをカスタマイズすることをゴールとします。

そんな訳で前置きが長くなりましたが、以降が本題です。

Diffusion モデルは、次の考え方で成り立っています。

• 画像に対して徐々にノイズを付加する
• ノイズを付加するステップを繰り返し、完全なノイズとする
• 上記のノイズを付加するステップの逆を AI で学習する
• つまり、ノイズが加えられているベクトルから、 ノイズを除去したベクトルを推論する AI モデルを構築する

これだけ聞くと「論理的には分かるけど、そんなの上手くいく訳がない机上の空論だ」と 思うでしょう。 この説明を初めて聞いたとき私はそう思いました。というか今でもそう思っています。 ですが、実際にそれで動いているのが Diffusion モデルです。

ただ、少しだけ補足があります。 それは、ノイズを加える対象は画像データそのものではなく、 画像から潜在空間と呼ばれる画像データよりもサイズが小さいベクトルデータです。

具体的には Stable Diffusion 1.5 (SD1.5) の潜在空間は (4,64,64) のベクトル空間です。 なお、 SD1.5 の画像解像度は (3,512,512) です。

なぜ画像データを直接扱うのではなく潜在空間を扱うのかというと、 一番の理由はノイズ予測の計算量は非常に大きいので、 その計算量を少しでも下げるためです。

また、ノイズを学習する際に、 潜在空間だけでなくパラメータとして別のベクトルデータを処理します。 「このベクトルデータが何か？」というと、 元の画像を説明する文字列をベクトル化したデータです。

そして、この文字列こそがプロンプトとなります。

なお、この潜在空間・プロンプトを使う手法は Diffusion モデルそのものというよりは、 Diffusion モデルの改良版と言った方がいいでしょう。

次の図は、Diffusion モデルを使って画像を生成する際のブロック図です。

Diffusion モデルの階層は、大まかに次の 4 層に分かれています。

• 入力
• エンコーダ
• 生成
• デコーダ

大雑把に説明すると、以下になります。

• プロンプトを入力し
• 入力データをエンコードしてベクトル化し
• 潜在空間にノイズを付加して、潜在空間とプロンプトのベクトルからそのノイズを予測して除去し
• ノイズが除去されたベクトルから新しく画像を生成する

Diffusion モデルのチェックポイントには、 モデル(U-Net), CLIP, VAE がセットで保持されています。

これらはセットで初めて正常に画像を生成できます。

一方で、これらは個々で入れ替えることも可能です。

ただし、それぞれ扱えるベクトルの次元数が決っているので、 入れ替えるには入れ替え前と入れ替え後とで、 そのベクトルの次元数が一致している必要があります。

ComfyUI 使いこなしに必要な最低限な知識について説明してきました。

ここまでくれば、あとは実際に動かしながら色々な画像を作っていくのが一番です。