AIにComfyUIの設定をさせるとうまくいかないのは何故か？
今一番苦戦していることに関して書いてみる。状況としてはUbuntuサーバー内にComfyUIをインストールして、画像生成、動画生成を行う環境を整える作業をしているところです。この処理はClaudeCodeで行っています。
AIにComfyUIの設定をさせるとうまくいかないのは何故か？
何がうまくいかないのか？
環境の構築
ワークフローの作成
主にこの二つ。と言うかこれがすべて。と言うか、人間がやってもうまくいかないことであろうから、そもそも時間がかかるのはしょうがないのだが、それにしてもうまく行かないので書くしかないという状態。
環境の構築に関して
まず指示があいまいなのが問題かも
AIに指示出しするというのはあいまいな情報から答えを導いてくれるのがポイントだと思っています。しかし、今回の問題は、目的に対して指示が曖昧過ぎるのは確かに思う所はある。正直画像、動画を作成するにあたり、どのモデルが正解か分からない。調べても分からない。どれが使えるのかもわからない時点で、AIにどう判断させるというのか。
この問題は、正解が無い。と言うのも、これらの問題は環境が大きく左右する。なので、webに確定の答えと言うものが存在しない。本来は大枠の答えの中から自分で自分の環境に合わせた答えを選び取らないといけないのだが、不確定と言う部分でAIが答えを探し出せない。
自分の環境を伝えれば、答えをフィルターして取得するのかと言えば、他の答えがノイズになって全体が不確定な感じになっているかも。そこら辺は、私が分からなさ過ぎて、今の答えを答え合わせ出来ていないので正直どうなっているか分からない。ただ、構築が極端に進まないのは事実。
たまたま、一本に絞ったルートがうまく行けばいいのだが、突き進んだ先が行き止まりと言うことはよくある。PyTorchのCUDA対応が入っていないからソースからビルドしますと言って、いろいろやって駄目でした。一つ上のバージョンに変えますとか、あるなら言えよって感じなのですが、どうも調べる順番の視野が狭いというのはあります。
こちらから視点変えたらどうですかって聞くと、突然正解持ってくることもあるので、落ち着いて調べさせると意外に改善することもあります。ある程度分かって作業させているのであればそれもできるんですが、全く分からない今回のような状態だとそうも言ってられないので苦戦が続く。
ただ、そんなこんなで時間を使いながら一応Wan2.1 SteadyDancerを入れることとしました。ダンス動画を作るので、こちらをAIが勧めたのだと思うが、Wan2.1 SteadyDancerと、Wan2.2 Animateのどちらが良かったのかは正直分らない。
ここでまた難問があります。立ち上がる状態に持っていくまでも困難なのですが、適切なワークフローの準備と、それを環境に合わせて実行可能に設定するのもまた別の作業です。
立ち上がるまでにはもっていきましたが、ここから動く状態に持っていくのが長い。一応スタンダードなワークフローが付いているので、それを環境に合わせて修正する。動かして、エラーをClaudeCodeに流し込んで、動かしてを繰り返して、基本動作するまでもっていく。ここは時間はかかるが、あまり悩むところではありませんでした。
一応作成できるところまでは行きました。
https://youtube.com/shorts/UCkyZ7X-RgE?si=-wSRlx_hfMYR19R5
まだ、画質が悪かったり動画が途中でリセットされる感じがあり、直さないといけない部分は有りますが、とりあえずここまでできたのは感慨深い。現状の問題点としては、フレーム数的にブロックスワップを設定しないと作成できない。ただ、これは思ったほど悪影響は無い気がする。むしろ、画質向上のためにステップを上げたりした瞬間、別次元の時間のかかり方をしている。とは思っているが、いろいろ同時に変えているので本当にこれの影響なのかと言うのもよく分かっていない。
ワークフローの作成に関して
画像生成の場合は、ChatGPTにワークフロー作ってと言ったらとりあえず作ってくれた。ただ、動画の場合、複雑になっているからなのかまず作ってくれない。というか、どういうワークフローを作ればいいか指示を出せない。
そして、今あるワークフローのポイント的な修正はClaudeCodeに投げると修正してくれるが、大きく直すことが出来るかどうかは今の時点ではやっていないが、あまり指示を出せる気がしない。
なので本格的な修正をどうAIで行っていくかは課題。ただ、私自身はワークフローをGUIで触るつもりが無いので、ワークフローの仕組み自体の理解があまり進まなさそうなのと、その状態で指示出ししてどこまでAIでできるかは疑問ではある。
まとめ
AIに設定をさせるなら、どのモデルを使うか、自分の環境をしっかり把握したうえで処理をさせる。分からないなりにもある程度調べておかないと、全く処理が進まない。全てAI任せにするには情報が不確定すぎる。道筋さえできてしまえばある程度はAIに任せやすくなる。
と言うことで、環境と、どのモデルを使うか確定させるのが重要。
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。
大きいセールがある場合はAmazonもしくは楽天から購入するとお得です。
買い物情報はこちらからご確認ください。気分で紹介しています。
当ページにはアフィリエイトリンクを含む場合があります。