Open WebUIからComfyUIを呼び出す方法｜チャットに画像生成Toolを追加する

Open WebUIのチャットからComfyUIで画像を作るには、現行のTools（Workspace Tools）で「固定workflowを呼ぶだけの関数」を1つ作り、引数をprompt・size・seedなど数個に絞るのが最も安全です。旧来のPipelinesは公式が「レガシー」と位置づけているため、新規では使いません。拡張方式の整理、最小Toolの設計、引数Schema、実行の流れ、画像の返し方、第三者Toolの安全性を順に解説します。

情報確認日：2026年8月22日（日本時間）

結論：Toolは「固定workflow＋小さな引数」に限定し、LLMにはJSONを触らせない

ComfyUI側の/prompt・/history・/viewの使い方はComfyUI APIの使い方で扱っています。この記事はOpen WebUI側の接続だけを担当します。

現在の拡張方式はどう整理されているか

Open WebUIの拡張は名前が似ていて混同しやすいため、まず現行（2026年8月時点）の公式ドキュメントでの位置づけを表にします。

公式ドキュメントはPipelinesについて「既存のデプロイのために残しているだけで、新しい作業はFunctions・Tools・外部Tool Serverを対象にする」と述べているため、この記事ではToolsを使います。

最小Toolをどう設計するか

設計の核は「workflow JSONはサーバー側のファイルとして固定し、LLMには差し替える値だけを渡させる」ことです。workflow全体を組み立てさせると、存在しないノードや危険な入力が混ざる余地が生まれます。

Open WebUIのToolは、1つのPythonファイルに先頭のdocstring（title・author・version・requirements）とToolsクラスを書く形式です。各メソッドの型ヒントからJSON Schemaが生成されてモデルに渡されるため、型ヒントが引数Schemaそのものになります。

"""
title: ComfyUI Fixed Workflow
author: your-name
version: 0.1.0
requirements: requests
"""
import json, copy, time, requests
from pydantic import BaseModel, Field

WORKFLOW_PATH = "/app/backend/data/workflows/portrait_api.json"  # API形式で書き出した固定workflow
PROMPT_NODE, SEED_NODE, LATENT_NODE = "6", "3", "5"               # 自分のworkflowのノードIDに合わせる

class Tools:
    class Valves(BaseModel):
        comfy_url: str = Field("http://host.docker.internal:8188", description="ComfyUI Server API")
        max_side: int = Field(1024, description="width/heightの上限")

    def __init__(self):
        self.valves = self.Valves()

    def generate_image(self, prompt: str, width: int = 1024, height: int = 1024, seed: int = -1) -> str:
        """
        固定のComfyUI workflowで画像を1枚生成する。
        :param prompt: 英語の描写。禁止語を含む場合は生成しない
        :param width: 64の倍数。上限はmax_side
        :param height: 64の倍数。上限はmax_side
        :param seed: -1なら自動
        """
        ok, reason = self._validate(prompt, width, height, seed)
        if not ok:
            return f"rejected: {reason}"
        wf = copy.deepcopy(json.load(open(WORKFLOW_PATH)))
        wf[PROMPT_NODE]["inputs"]["text"] = prompt
        wf[LATENT_NODE]["inputs"]["width"] = width
        wf[LATENT_NODE]["inputs"]["height"] = height
        if seed >= 0:
            wf[SEED_NODE]["inputs"]["seed"] = seed
        r = requests.post(f"{self.valves.comfy_url}/prompt", json={"prompt": wf}, timeout=30)
        r.raise_for_status()
        prompt_id = r.json()["prompt_id"]
        return json.dumps({"prompt_id": prompt_id, "status": "queued"})

    def _validate(self, prompt, width, height, seed):
        if not (1 <= len(prompt) <= 500):
            return False, "prompt length"
        for v in (width, height):
            if v % 64 != 0 or not (256 <= v <= self.valves.max_side):
                return False, "size out of range"
        if seed < -1:
            return False, "seed"
        return True, ""

ComfyUIのURLや上限値はValves（管理者が設定する値）に置きます。利用者ごとのUserValvesもありますが、上限の緩和を利用者に許すと検証の意味がなくなります。ノードIDは自分のworkflowをExport (API)で書き出して確認してください。

引数Schemaはどこまで小さくするか

Schemaは「LLMが誤っても被害が出ない範囲」に収めます。判断基準は、その引数がworkflowのどこに書き込まれるかです。

「未許可の引数が拒否されること」は、Toolを登録したあとにチャットで実際に確かめ、以下の表に記録してください。

チャットから実行するとどう流れるか

Toolを有効にしたモデルに「猫の写真を作って」と頼むと、処理は次の順で進みます。LLMがComfyUIを直接叩くことはなく、関数を実行するのはOpen WebUI本体です。

1. 1
   Open WebUIがTool定義をモデルに渡す

   型ヒントとdocstringから作られたJSON Schemaが、会話と一緒にモデルに送られる

2. 2
   モデルがtool callを返す

   「generate_imageを{"prompt": "a cat", ...}で呼びたい」という構造化された応答。現行はモデル側の関数呼び出し機能を使うNativeモードが既定

3. 3
   Open WebUIが関数を実行する

   検証→workflow差し替え→POST /prompt。ここが唯一ComfyUIに触る場所

4. 4
   戻り値がモデルに戻る

   Toolの戻り値（文字列）が会話に追加され、モデルが利用者向けの返事を組み立てる

Toolの有効化は、チャット単位ならメッセージ入力欄のIntegrationsアイコン、モデル単位ならWorkspace → Modelsで対象モデルを編集してToolsを選びます。

画像結果を会話にどう返すか

上のToolはprompt_idを返して終わる設計です。ComfyUIは非同期に処理するため、生成完了まで待ってから画像を返すには、Tool内で/history/{prompt_id}をポーリングし、出力ファイル名を/viewのURLにする処理を足します。

def _wait_outputs(self, prompt_id: str, timeout_s: int = 120) -> list[str]:
    deadline = time.time() + timeout_s
    while time.time() < deadline:
        h = requests.get(f"{self.valves.comfy_url}/history/{prompt_id}", timeout=10).json()
        if h.get(prompt_id, {}).get("outputs"):
            return [f"{self.valves.comfy_url}/view?filename={i['filename']}&subfolder={i.get('subfolder','')}&type=output"
                    for n in h[prompt_id]["outputs"].values() for i in n.get("images", [])]
        time.sleep(1)
    return []

会話への表示方法は、Open WebUIのバージョンで差が出やすい部分です。公式ドキュメント（2026年8月時点）では、Toolは__event_emitter__を通じてstatus（進捗表示）やfiles（メッセージへのファイル添付）などのイベントを送れると説明されています。一方で、旧来のmessageイベントはNativeモードで上書きされるため使えません。

また、Chat Completions形式ではtoolメッセージはテキストしか運べず、公式は画像を含むTool結果を別のユーザーメッセージに分離して扱うと説明しています。

Toolの安全性をどう確保するか

公式ドキュメントは「Workspace ToolsとFunctionsはサーバー上で任意のPythonコードを実行する」「Toolの作成・インポート権限を与えることはシェルアクセスを与えるのと同じ」と明記しています。ComfyUI連携Toolは外部HTTPを叩くため、この警告がそのまま当てはまります。

• コミュニティ配布のToolは、導入前にソース全文を読む。特にrequestsの送信先、subprocess、ファイル書き込みを探す
• ComfyUIのURLや認証情報はコードに直書きせずValvesに置く
• Workspaceへのアクセスは管理者だけに限定する
• ComfyUI自体をLANやインターネットに露出させない。Open WebUIからだけ到達できる構成にする

Pythonコードを本体に入れたくない場合は、同じ処理を外部のOpenAPIサーバーとして立ててTool Serverとして登録する方法があります。プロセスを分離できる代わりに、ストリーミングや確認ダイアログは使えません。

Open WebUIを介さず、OllamaのTool Callingを自分のコードから直接扱う構成や、n8nで組む構成は別記事で扱います。

よくある質問

まとめ

Open WebUIからComfyUIを呼ぶには、現行のToolsで固定workflowを呼ぶ関数を1つ作り、引数をprompt・width・height・seedに絞って検証してから/promptに送ります。LLMはworkflow JSONに触らず、関数を実行するのはOpen WebUI本体です。

画像の表示方法はバージョン差があるため、URL返却とfilesイベントの両方を試して確かめてください。Toolは任意コード実行と同義なので、第三者Toolはソースを読んでから入れ、ComfyUIはOpen WebUIからだけ到達できる位置に置きます。