ControlNetの使い方を画像付きで解説！表示されない場合の対処法とは

ControlNetは、初心者でも簡単に画像を生成できる、Stable Diffusionの拡張機能として人気です。ControlNetを利用すれば、プロンプト作成が苦手でも、思い通りの画像を生成できるでしょう。

しかし、インストールしたのにControlNetが表示されない不具合が発生して、利用を諦める人は多いです。

この記事では、誰にでもControlNetをインストールできるように、画像付きで導入方法を解説します。

各機能の使い方も紹介するので、初めて画像生成AIを使用する人でも上手に画像を作れるはずです。ぜひ最後までご覧ください。

ControlNetとは？

ControlNet（コントロールネット）とは、Stable Diffusionの拡張機能です。2023年2月にスタンフォード大学の研究者であるチャン・リュミン氏により発表されました。画像生成AIの「二度目の革命」と呼ばれるほど注目される画期的な技術です。

たとえば、元画像を指定して、被写体と同じポーズの指定が可能です。プロンプトでポーズを指定する必要がないため、生成にかかる時間を短縮できるでしょう。

その他にも、以下のような機能が備わっています。

• 参照画像から構図を抽出
• 参照画像から線画を抽出して塗り方を変更
• 生成した画像の一部を修正

ControlNetを活用すれば、Stable Diffusionで思い通りの画像を生成できます。また、参照画像から構図や線画を抽出すれば、イラストレーターやデザイナーなどの仕事にも役立つでしょう。

ControlNetを導入するメリット

ControlNetを活用すると、プロンプトの作成が苦手な人でも思い通りの画像を生成できます。

ここでは、ControlNetを導入するメリットを解説します。

1.プロンプトが苦手でも問題ない

Stable Diffusionで画像を生成する際は、画像の内容を指示する「プロンプト」が制約になるケースがあります。

Controlnetは元画像や手書き画像などからでも、画像生成が可能です。プロンプトを考えるのが苦手な人でも、思い通りの画像を生成できるでしょう。

2.より細かな調整が可能

ControlNetは画像を生成する際に、より細かな調整ができます。

ライティングや深度・色彩などを調整できるため、画像から受ける印象をコントロールできるでしょう。

上記の調整をするには、適したモデルを使用する必要があります。

3.画像の解像度を上げられる

ControlNet は、元画像の解像度を上げられます。

ControlNetを利用すると、構図やポーズなどのディティールはそのままに高解像度の画像になります。

画像を大きなサイズのモニターで表示したり、ノイズを減らしたい人におすすめの機能です。

ControlNetの導入・インストール方法

ControlNetの基本的な使い方

画像を挿入してから、Enableにチェックを入れて、プリプロセッサーとモデルを選んでください。

プリプロセッサーとモデルの種類は、同一のものにしてください。

1.canny

最初に紹介するのは、画像から線画を抽出して、線画から新しい画像生成ができる「canny」です。

画像生成AIに一部の修正の指示をすると、まったく違う画像に変化するケースがあります。cannyを使用すれば、元の画像を保ったまま画像の微調整が可能です。

以下の画像は、元画像から線画を抜き出し、プロンプトで赤い服への変更を指示したものです。

元画像のポーズを保ったまま、赤い服に修正されています。髪型や体型・顔の角度なども元画像と同様です。

2.depth

depthとは、画像から奥行きや構図を抽出して、新たな画像を生成できるモデルです。

被写体と背景の位置関係はそのままに、新たな画像を生成したいときにおすすめです。

depthを利用するには、「control type」で「Depth」にチェックを入れます。続いて、プリプロセッサーとモデルをdepthにしてください。

被写体のポーズや背景との位置関係はそのままに、まったくの別画像になりました。

プリプロセッサーには、以下の4つのdepthが搭載されています。

• depth zoe
• depth midas
• depth leres
• depth leres++

それぞれ、抽出する深度情報が異なるため、イメージ通りの画像を生成できるように、各プロセッサーを試してください。

3.scribble

scribbleは画像をラフ画に変換して、新たな画像を構築するモデルです。大まかな構図を残したまま、大きく画像を修正したいときに便利です。

イラストを描く際に大まかなイメージは決まっていて、詳細が定まらない時にscribbleを使用すれば、新たな発想が湧いてくるはずです。

元の画像から抽出したラフ画を元に、構図以外はまったく異なる画像が生成されました。服装や持ち物・髪の動きにも変化があります。

4.inpaint

inpaintは指定した部分だけを修正するモデルです。

今回は靴の部分を指定して、裸足の画像に修正してみます。

キレイに靴の部分だけが修正されて、違和感のない裸足の画像になりました。

inpaintを活用すれば、狙った通りに画像を修正できるでしょう。

5.openpose

オープンポーズは、画像内の人物のポーズを抽出できるモデルです。

元画像と同じポーズで新たな画像を生成するときに使用します。特にダンスシーンやスポーツの画像を生成する際に便利です。プロンプトで姿勢を指定するよりも、躍動感のある画像を生成できるでしょう。

イイネポーズをする女性が、ほぼ同じポーズで少年に変換されました。

プロンプトは「1boy」しか指定していないため、プロンプト作りが苦手な人でも簡単に同じポーズの画像を生成できます。

ControlNetの使用がうまくいかない時の対処法

ControlNetは「インストールできない」「表示されない」などの不具合が発生する可能性があります。

ここでは、ControlNetの使用がうまくいかない時の対処法を解説します。

インストールできない

ControlNetは比較的、問題なくインストールできますが、Stable Diffusionのインストールができない人が多くいます。

Stable Diffusionをインストールできない場合は、Pythonのバージョンを確認してください。「3.10.6」以外のバージョンが入っているのであれば、アンインストールが必要です。

Windowsの検索バーに「cmd」と入力→コマンドプロンプト→「python –version」と入力

Phytonのバージョンが「3.10.6」でない場合は、公式サイトからインストールしてください。

ControlNetが表示されない・反映されない

ControlNetをインストールしたのに表示されない場合は、「Apply and restart UIボタン」を押し忘れている可能性が高いです。

Apply and restart UIボタンをクリックすることで、Stable Diffusionがリスタートされて、インストールした機能が表示されます。

リスタートしても変化がない場合は、Stable Diffusion WebUIとWebUIバッチの両方を再起動してみてください。

モデルファイルが表示されない

モデルファイルをダウンロードしても表示されない場合は、正しいフォルダに保存していない可能性があります。モデルファイルは、以下のフォルダに保存してください。

『stable-diffusion-webui』→『extensions』→『sd-webui-controlnet』→『models』

正しいフォルダに保存しても表示されないのであれば、Stable Diffusionへの反映が遅れている可能性があります。時間が経過してから再度試したり、モデルの更新ボタンをクリックしたりして、反映されるのを待ってください。

ControlNetを最新バージョンにアップデートする方法

ControlNetは、新しいバージョンがリリースされることがあります。不具合修正や機能追加などがおこなわれるため、定期的に確認しましょう。

まとめ

ControlNetとは、プロンプトでは指示できない細かな条件を設定して画像を生成できる、Stable Diffusionの追加機能です。

プロンプトの作成が苦手な人でも、元画像から狙った通りの画像を生成できるメリットがあります。また、英語が苦手な人でも、画像の構図や深度などを簡単に設定できます。

ControlNetには、さまざまなプリプロセッサーやモデルがあり、以下のようにそれぞれ特徴が異なります。

• canny：元画像から線画を抜き出して新たな画像を生成する
• depth：元画像から深度を抽出して新たな画像を生成する
• inpaint:元画像の一部のみを修正する

ControlNetを準備する際には、「インストールができない」「モデルファイルが表示されない」などの不具合が発生する可能性があります。今回の記事を参考にして、不具合が発生しないように、ControlNetを活用してください。