AnimateDiffは、テキストや画像から高品質な動画を生成できます。
しかし、動画を生成したいと思っても、インストールの仕方が分からず、一歩を踏み出せない人も多いです。
あいちゃんまた、インストールしても使い方が少し複雑なので、うまくいかなかった人もいるはずです。
この記事では、AnimateDiffを使ったことがない人でも動画が生成できるように、インストールの方法と動画生成までの手順を解説します。
AnimateDiffが動かない時の対処法も紹介するので、ぜひ最後までご覧ください。
AnimateDiffとは？
AnimateDiffとは、テキストから画像を生成できる「Stable Diffusion」をベースとした、画像から動画を生成できる技術です。クオリティの高いStable Diffusionの仕組みを利用することで、AnimateDiffも安定した動画の生成が可能です。
AnimateDiffは、以下の組織の共同研究により、2023年7月に公開されました。
- 上海AIラボ
- 香港中文大学
- スタンフォード大学
これまでの動画生成AIは、動画から動画（movie to movie）を生み出すのが一般的でした。しかし、AnimateDiffは、画像から動画を生成できる画期的なAIです。
あいちゃん現在は短い動画の生成しかできませんが、将来的にはアニメ制作現場や映像制作の現場での活用が期待されています。
Stable Diffusionについては、以下の記事で詳しく解説しています。ぜひ併せてご覧ください。
AnimateDiffがスゴいと言われる理由
AnimateDiffの特徴は、生成される動画のクオリティが高いことです。違和感のない一貫性のある動画で、プロのアニメーターが作成したと見間違うような動画もあります。
以下の動画は、AnimateDiffの公式が作成したものです。
フレームの破綻がなく、動きも自然な動画が生成されています。
あいちゃんこの動画は日本アニメ風ですが、アメリカのCGアニメ風の動画も生成可能です。
また、AnimateDiffは、簡単な操作だけで動画を生成できることも特徴です。
元画像を用意しなくても、プロンプトを入力するだけで動画が完成します。動画生成AIに慣れていない人でも、すぐにクオリティの高い動画を作れるでしょう。
生成された動画は商用利用可能？
AnimateDiffで生成された動画は、商用利用が可能です。
AnimateDiffは、Apache License2.0を適用しているためです。
あいちゃんApache License2.0とは、利用許諾の条件などを定めたオープンソースライセンスであり、世界中で利用されています。
Apache License2.0は商用利用を認めているため、AnimateDiffで生成した動画は広告や有料動画などに幅広く利用可能です。
AnimateDiffで動画を生成する際の元画像は、Stable Diffusionで生成することが多いです。そのため、Stable Diffusionで生成した画像が、商用利用できるかも把握しておきましょう。
Stable Diffusionで生成した画像は、基本的に商用利用可能です。
あいちゃんただし、個人情報や誤った情報を広める・人に危害を与えるなどの場合は、商用利用が認められないので注意してください。
また、商用利用が認められているからといって、他人の著作権を侵害してはいけません。
AnimateDiffのインストール方法
AnimateDiffをインストールする前提条件として、Stable Diffusionがすでにインストールされている必要があります。
以下のページで、Stable Diffusionをインストールする方法を解説しています。
また、PC側の要件として、ビデオメモリ容量が12GB以上必要です。ミドルスペックのゲーミングPCに匹敵するため、低スペックのPCでは利用できない可能性が高いです。
Stable Diffusionがインストールできたら、トップ画面からAnimateDiffを追加します。
まず、上部のタブから「Extensions（拡張機能）」をクリックしてください。
続いて、「Install from URL（URLからインストール）」をクリックします。
「URL for extension’s git repository（拡張機能のレポジトリのURL)」に以下のURLを入力して、インストールボタンをクリックしてください。
https://github.com/continue-revolution/sd-webui-animatediff.git
インストールボタンの下に「Installed into ～～～～Use Installed tab to restart.」と表示されたら無事にインストールは完了です。
あいちゃんまた、「Installed（インストール済み）」のタブからも、インストールできているか確認できます。
AnimateDiffの使い方
AnimateDiffのインストールが完了したら、txt2imgとimg2imgに表示されているか確認しましょう。表示されていない場合は、Stable Diffusionを再起動してください。
AnimateDiffを使うには、モーションモジュールのインストールも必要です。次のページから、以下の3つをダウンロードしてください。
容量の大きなファイルもあるため、通信状況の良い環境でのダウンロードがおすすめです。
ダウンロードページ
https://huggingface.co/guoyww/animatediff/tree/main
ダウンロード項目
①mm_sd_v14.ckpt
②mm_sd_v15.ckpt
③mm_sd_v15_v2.ckpt
ダウンロードしたファイルは、以下のパスに保存します。保存が完了したら、Stable Diffusionを再起動してください。
stable-diffusion-webui/extensions/sd-webui-animatediff/model/
モーションファイルを保存してStable Diffusionを再起動すると、AnimateDiffに保存したファイル名のモーションが追加されています。
プロンプトにどのような動画を生成したいか入力してください。Stable Diffusionのプロンプトは日本語には対応していません。翻訳サービスなどを利用しながら、英語で入力しましょう。
ネガティブプロンプトには、動画を生成する際に、排除したい要素を記入します。
あいちゃんたとえば、低クオリティの動画にしたくないのであれば、「worst quality」「low quality」としてください。
プロンプトの入力が完了したら、「Generate」をクリックすると動画の生成が開始されます。
【簡単解決】うまくいかない時の対処法
AnimateDiffを導入しても動かない時や、エラーが出て使えない時があります。
ここでは、AnimateDiffがうまくいかない時の対処法を解説します。
AnimateDiffが動かない時
AnimateDiffを問題なくインストールしたのに動かない場合は、設定を間違えている可能性があります。
まずは、生成画面の「Enable AnimateDiff」にチェックされているか確認してください。AnimateDiffをインストールしていても、このチェックが外れている場合は、動画が生成されません。
「Enable AnimateDiff」にチェックを入れても解決しない場合は、Githubの「Issues」を確認してください。
ユーザーのさまざまな悩みが投稿されているので、同じような症状の人がいるかもしれません。
AnimateDiffでエラーが出た時
AnimateDiffで赤字のエラーが発生する時は、画像の生成が高速化される「xformers」というオプションが原因の可能性があります。
xformersを消すには、まず「Stable DiffusionWebUI」フォルダの「webui-user.bat」を右クリックして、「メモ帳から編集」で開いてください。
メモ帳で開いたテキストの中に「-formers」という記述があれば、削除してください。
その後、Stable Diffusionを再起動すれば、AnimateDiffでエラーが出なくなります。
AnimateDiffで動画生成をするときの注意点
AnimateDiffで質の高い動画を生成するには、プロンプトや設定を理解して、追加機能を活用しましょう。
ここでは、AnimateDiffで動画生成をするときの注意点を解説します。
1.プロンプトや設定を理解する
同じ画像生成AIを利用しても、プロンプトや設定を調整する技術が低いと、動画も低品質になってしまいます。
動画の内容を細かく指示するためとはいえ、プロンプトを大量に入力するのはやめましょう。
あいちゃん要点が絞られていない文章は読みにくいのと同じで、プロンプトが大量にあると、AIが理解できなくなります。
まずはシンプルなプロンプトで出力してから、足りない部分を付け足すといいでしょう。
プロンプトだけでなく、AnimateDiffの設定項目も重要です。
あいちゃん設定できる項目はそれほど多くありませんが、使用頻度が高いものは覚えてください。
- Motion module：使用するモデルの選択
- Number of frames：フレームの数を変更できる
- Frames per second（FPS）：1秒間に画像が更新される回数を指定する
- Display loop number：生成した動画をループする回数を指定する
動画の長さはNumber of framesと、FPSから計算できます。
たとえば、Number of framesが128、FPSを16に設定した場合、128÷16で動画の長さは8秒になります。
2.高解像度の動画生成には時間がかかる
Animatediffでは高解像度の動画も生成可能ですが、スペックの高いPCでも時間がかかるので注意が必要です。
高解像度の動画を生成するには「Hires fix」にチェックを入れます。Hires fixとは、画像を高解像度にアップスケールできる機能です。
Hires fixを利用すると解像度が上がり、拡大しても粗が目立たなくなります。
しかし、低スペックなPCでは、動画生成に時間がかかるだけでなく、メモリ不足で停止するケースもあるため注意してください。
3.追加機能を活用する
AnimateDiffは、さまざまな追加機能が用意されていて、上手に活用すると動画の幅を広げられます。
たとえば、モーションモジュールの「MotionLoRA」はカメラの動きを調整できます。
あいちゃん「Zoom In」や「Zoom Out」など動画に合ったカメラワークを指定すれば、躍動感のある仕上がりになるでしょう。
「Pronpt Travel」はフレームの途中で、プロンプトを変更できる追加機能です。
たとえば、8フレームまでは泣き顔、9フレームからは笑顔という形で指定できます。動画の中に変化を付けたいときにおすすめの機能です。
AnimateDiffは追加機能を活用することで、より高いクオリティの動画を生成できるでしょう。
まとめ
AnimateDiffとは、Stable Diffusionの技術をベースとした、画像から動画を生成できる技術です。生成された動画は、一貫性がありクオリティが高いと評価され、全世界で使用されています。
AnimateDiffで生成した動画は、商用利用が可能です。マーケティング用の動画や、SNSへの投稿など自由に活用できます。
AnimateDiffをインストールするには、Stable Diffusionがインストールされていることが前提条件となります。スペックの低いPCでは正常に作動しないため、事前に動作環境を確認しておきましょう。
インストールが完了したら、自由に動画を生成できますが、AnimateDiffを使いこなすには知識が必要です。
まずは、プロンプト入力のコツや注意点を理解してください。その後、いろいろな追加機能を試して、イメージ通りの動画を生成できるようになりましょう。
