AI活用

ComfyUIでできること|画像修正・動画生成・自動化を目的から探す

ComfyUIで画像を作る、一部を直す、ポーズや画風を調整する、動画にする。作りたいものから手順を選び、実行場所と必要なPC環境まで確認します。

この記事の目次
  1. ComfyUIでやりたいことから、最初の手順を選ぶ
  2. 文章から画像を作る
  3. 顔・手・背景の一部を直す
  4. ポーズや構図を指定する
  5. 人物・画風を参照に寄せる
  6. 画像を大きく仕上げる
  7. 文章や静止画から動画を作る
  8. 複数案や繰り返し作業を自動化する
  9. モデルの保存場所を整理する
  10. 文章から画像を作る:まず1枚を保存する
  11. 画像の一部分を直す:全体を作り直す前にインペイント
  12. ポーズ・構図・画風を調整する:残したい情報から方法を分ける
  13. 画像を大きく仕上げる:アップスケールと部分修正を混ぜない
  14. 静止画から動画を作る:一本の長い動画ではなく、最初の1カットを決める
  15. 繰り返し生成を自動化する:毎回変える入力を決める
  16. 自分のPC・クラウド・外部APIの違いを確認する
  17. 音声・音楽・3Dにも広げられる
  18. 最初の制作を、購入判断へつなげる
  19. AIに相談するときの依頼文
  20. 次に知りたいこと

ComfyUIでは、文章から画像を作るだけでなく、気になる部分を直す、参照画像から構図を指定する、画像を動画にするなど、処理をつないで制作できます。最初から全ノードを覚える必要はありません。まず「何を作りたいか」を一つ選び、その手順に必要な素材と実行環境を確認しましょう。

ここでは、作りたい結果から手順を選びます。モデル名や設定の詳しい操作は、それぞれの実践記事へ進めるようにしています。基本となる生成・編集の例は、ComfyUIの公式チュートリアルでも確認できます。公式の画像生成例・部分修正例

ComfyUIでやりたいことから、最初の手順を選ぶ

文章から画像を作る

用意するもの
描きたい内容と対応モデル
最初に確かめること
小さな構成で1枚保存できるか

顔・手・背景の一部を直す

用意するもの
元画像と修正範囲
最初に確かめること
変える部分と残す部分を分けられるか

ポーズや構図を指定する

用意するもの
参照画像と対応する制御モデル
最初に確かめること
姿勢・輪郭・奥行きのどれを渡すか

人物・画風を参照に寄せる

用意するもの
利用できる参照画像、または対応LoRA
最初に確かめること
残したい特徴と変えたい要素は何か

画像を大きく仕上げる

用意するもの
元画像と拡大方法
最初に確かめること
細部や文字をどこまで変えてよいか

文章や静止画から動画を作る

用意するもの
文章または起点画像、動画用モデル
最初に確かめること
まずどの短い1カットを作るか

複数案や繰り返し作業を自動化する

用意するもの
実行できるワークフローと入力条件
最初に確かめること
何を変え、何を固定して繰り返すか

モデルの保存場所を整理する

用意するもの
モデル一覧と現在の保存先
最初に確かめること
参照先を整理するのか、容量を増やすのか

この表は目的を選ぶためのものです。同じ目的でも、使うモデルや追加ノードによって組み方は変わります。次の節から、近い手順へ進んでください。

スポンサーリンク

文章から画像を作る:まず1枚を保存する

文章から画像を生成する方法をText-to-Imageと呼びます。モデルを読み、文章などの条件を渡し、生成した結果を画像へ戻して保存するのが基本の流れです。公式Text-to-Image

たとえば「記事の挿絵に使う、机に向かった案内役」を作るなら、最初から何十枚も生成せず、主役・構図・用途を決めて1枚を作ります。これは編集上の進め方案です。結果を見て、表情を変えるのか、構図を変えるのかを一つ選びます。

操作は ComfyUIの使い方 へ。画像を保存できた後に設定の違いを比べるなら、KSamplerの役割 へ進みます。

モデルが一覧に出ない段階では、画質を上げる設定やPC購入より、モデルの配置・形式・読み込みエラーを確認します。「動かない」と「思った絵にならない」を分けるのが最初の判断です。

画像の一部分を直す:全体を作り直す前にインペイント

構図は気に入ったのに、手や背景の一部が気になる。その場合は、修正範囲をマスクで指定して描き直すインペイントが候補です。公式にも、不要な物の除去や局所的な変更の例があります。公式Inpainting

最初に決めるのは、修正する場所だけではありません。残す人物、背景、色、構図も並べます。生成後は、その保持対象まで変わっていないか比較してください。

「部分修正だから、マスク外は必ず同じ」とは扱いません。保持が重要な制作では、元画像との照合や合成の手順まで確認します。操作は インペイントの方法 へ、範囲の塗り方は Mask Editor へ進みます。

境界が不自然なら、先に修正範囲やモデル、手順を見直します。結果が好みに合わないことだけを理由に、高価なGPUが必要とは判断しません。

ポーズ・構図・画風を調整する:残したい情報から方法を分ける

人物の姿勢を指定したい、建物の輪郭を残したい、前景と背景の距離を使いたい。このような目的にはControlNetを使う方法があります。対応する制御モデルと、参照から作った条件を組み合わせます。公式ControlNet

姿勢ならOpenPose、輪郭ならCanny、奥行きならDepthなど、まず渡したい情報を決めます。前処理の結果が意図と違っていれば、生成後だけを直しても判断が難しくなります。使い分けと確認は ControlNetの基本 で扱います。

画風や特徴を調整する方法として、学習済みLoRAを読み込むこともできます。ただし、LoRAを読み込んで使うことと、自分でLoRAを学習することは別作業です。このページでは学習用PCの条件まで一緒にしません。公式LoRA例

参照画像を使う具体的な手順としては、既存の IP-Adapterの記事 もあります。本体に含まれる機能と追加ノードを区別し、対象モデルと依存関係を確認してから試します。この記事があることは、すべての現行モデルとの互換性を保証するものではありません。

「同じキャラクターを保つ」は制作の目標です。参照画像を入れれば、顔・衣装・小物・文字まで完全に同一になるとは約束しません。先に残したい特徴を決め、合っているかを画像ごとに見ます。

画像を大きく仕上げる:アップスケールと部分修正を混ぜない

ComfyUIには、アップスケールモデルを読み込んで画像を拡大する公式例があります。公式Upscale

ただ大きくしたいのか、細部を描き直したいのかで、選ぶ処理は変わります。例えば商品写真の文字や形を正確に残したい場合は、細部を変えることが改善になるとは限りません。

編集上の進め方としては、まず元画像を保存し、同じ箇所を拡大表示して比較します。全体の印象だけでなく、顔・文字・模様など用途上重要な部分を確認します。高解像度化でメモリ不足になった場合は、画質の問題と実行条件の問題を分けて扱います。

静止画から動画を作る:一本の長い動画ではなく、最初の1カットを決める

文章から動画を作るText-to-Videoと、画像を起点にするImage-to-Videoでは、渡す材料が違います。例えばWan2.2の公式例は、用途別のワークフローと必要モデルを分けて案内しています。公式Wan2.2例

既に気に入った画像があるなら、その画像を起点に、何をどう動かしたいかを決めます。静止画の内容を直す作業と、動きを作る作業を同時に始めない方が、比較条件をそろえやすくなります。

devsで提案する最初の課題は「短い1カットを生成し、動画ファイルとして開けるところまで確認する」です。その後で解像度、生成フレーム数、拡大、補間などを広げます。長い作品はカット設計と編集も含めて考え、一回の生成で完成させることを前提にしません。

共通の考え方は ComfyUIで動画生成を始める へ。特定モデルの対応や設定は、そのモデルの公式資料と照合します。ここでは特定容量のGPUで動く保証や生成秒数を示していません。

繰り返し生成を自動化する:毎回変える入力を決める

ComfyUIのワークフローは、ノード、接続、設定をまとめた処理の構成です。JSONなどとして保存し、後から読み込めます。構成を保存することと、モデルファイルそのものを同梱することは別です。Workflow・Models

Server APIには実行キューへ送るルートや履歴を取得するルートがあります。外部アプリからComfyUIを操作する土台として使えます。公式Routes

例えば「同じ設定で入力画像だけ変える」「文章を差し替えて複数案を作る」という仕事です。まず手動で一回通る構成を用意し、入力、保存名、失敗時の扱いを決めてから自動化する進め方を提案します。

自分のPC上のComfyUIへAPIで依頼する場合、そのPCが実行先です。APIと呼ばれるだけで、生成処理が外部へ移るわけではありません。外部サービスのモデルを使う場合との違いは、次の節で整理します。

自分のPC・クラウド・外部APIの違いを確認する

手元のComfyUI
生成処理を行う場所 自分のPC
先に確認する条件 対応モデル・ノードと、そのPCの実行条件
遠隔のComfyUI
生成処理を行う場所 別PCやクラウドの実行環境
先に確認する条件 接続・保存・利用料金・利用可能な構成
Partner Nodes
生成処理を行う場所 外部APIサービス
先に確認する条件 対象モデル、クレジット、送信する素材
複数方式を組み合わせる
生成処理を行う場所 工程ごとに異なる
先に確認する条件 外部へ送る工程と、手元に残る処理

Partner Nodesは、外部APIのモデルをComfyUIのワークフローへ組み込む仕組みです。利用にはアカウントやクレジット等の条件があり、入力素材を第三者のサービスへ送ります。外部生成とローカルの処理を組み合わせる例もあります。Partner Nodes公式

したがって、使いたい機能があるというだけで、高性能GPUの購入へ進む必要はありません。逆に、外部で画像を作っても、手元で動画化するなら、その工程の環境確認は残ります。

外部へ出せない素材を扱う場合は、ローカルという名前だけで判断せず、追加ノードや通信を含めた構成を確認します。ここでは安全性やデータの非送信を一括で保証しません。

音声・音楽・3Dにも広げられる

公式にはACE-Stepの音楽生成例や、Hunyuan3D-2の3D生成例があります。画像以外の制作へ広げる入口として確認できます。ACE-Step公式例・Hunyuan3D-2公式例

ただし「ComfyUIで使える」と「そのまま公開作品として使える」は別です。モデルごとの入力、追加ファイル、利用条件、仕上げ工程を確認します。音声や3Dを画像生成と同じPC条件で扱ったり、devsで実行済みと記載したりはしません。

最初の制作を、購入判断へつなげる

このページを読み終えたら、まず「作りたいもの・必要な入力・使う手順・実行場所」を一組決めます。

作りたいもの:
必要な入力:
最初に試すワークフロー:
使うモデルと版:
追加ノード:
実行場所:
最初の合格条件:
うまくいかない場合、次に確認すること:

気に入る画像が出ないなら、入力や制御の見直しから始めます。実行中に落ちるなら、エラーと実行条件を確認します。ファイルを保存できないなら、保存先と空き容量を確認します。症状を一つに分けてから、必要な記事へ進んでください。

環境が足りていて、作業も続けられるなら、追加購入は必要ありません。自分のPCで継続したい条件が決まってから、VRAM・PC構成を比較します。モデルの容量が増えた場合は、保存先を整理してからSSD容量を見積もります。

ComfyUIを覚え切ることではなく、作りたいものを一つ完成させ、その条件を次回へ残すことが最初の目標です。

AIに相談するときの依頼文

[ ]を自分の状況に置き換えて使えます。不明な項目は「不明」と書いてください。

ComfyUIで[記事用の画像の背景だけを直す]作業をしたいです。
元画像:[内容・サイズ]
残したいもの:[人物・服・構図]
変えたいもの:[背景の指定]
環境:[OS・導入方式・GPU、不明なら不明]
最初に試す公式例を一つ示し、必要ファイル、追加ノード、実行場所、保存までの確認手順を分けてください。未確認の互換性や生成成功は断定しないでください。

返答に出た型番・URL・条件は、リンク先の公式資料で確認します。AIの回答だけで購入やファイル削除を進めないでください。

スポンサーリンク