Wan2.1 SteadyDancer右往左往

目次

1. 現状の問題点
2. その後
3. さて、そこからの処理
4. 問題は続く
5. 正直、画像破綻の原因は？
6. それで一晩明けて作成完了
7. まとめ

前回の記事で、お、いけるんじゃと思ったけど駄目だった話。

現状の問題点

ある程度の長さの動画を作ると時間経過で画質の劣化が激しい。それに対する前回の解決策がセグメントごとに区切り、途中でソース画像を入れて画質を定期的に戻す処理を入れる。

その後

理想を言えば、途中挿入するソース画像もポーズを反映したものが入れられればいいのだが、そうすると、前セグメントの画像の人物を基ソース画像に毎回入れ替えるのがベスト。でもそんなことが実現できるか？やれる気がしなかったので、とりあえずソース画像をそのまま入れてみる。そうすると、毎回1フレーム目がソース画像になるので、セグメントのつなぎがめちゃくちゃになる。そんな状態で、あーでもない、こーでもないとやっているうちに一旦終了。

さて、そこからの処理

ちょっと処理が面倒なのでセグメント分割は行わない方針に変更。正直どうしたら良いのか分からない。毎度のこと。なので、そんな時はChatGPTに聞くのだが、今回は特別にDeepResearchしてみる。そうすると、逆転の発想でフレーム数を減らすと単純に短くなるのでその分画質が保持される。それを後処理でフレーム補完することで動きを補う形にしてみるという提案。

どうだろう。うまく行くだろうかと思いながら実行の方向。こうやって書きながら、そろそろ行けるかと思って、記事を書いているのだが、相変わらず途中で問題が起こって結局作成が追い付かない。どんなもんになるかが確認できない。

毎回、出来ると思ってやると駄目なのだから、最初はサイズを下げて実行すればいいのに、次はできる、次はできるでやって、結局時間を無駄にする。

問題は続く

出来上がりの動画を確認するとスローモーション的な遅い動画が出力されている。fpsを半分にしたり、補完したりしているのでどこかで指示がおかしくなっている。それ自体は、ClaudeCodeで問題なく修正できたのだが、一回作成して確認してってのが時間的にきつい。それでなんだかんだで最後まで完了した動画がグダグダ画質も動きも悪いと言うのは目も当てられない。

正直、画像破綻の原因は？

OOM無く動かないとしょうがないと思って、ブロックスワップを高めにしていたが、一度ブロックスワップを限界まで下げてみる。その為に、VAEとテキストエンコーダーもCPUオフロード。時間がかかるが、しょうがない。

試してみたが、VAEとテキストエンコーダーもCPUオフロードは出来ているのかよく分からん。なんか、オフィシャルでほとんど変わらないというコメントがあるって報告と、なんかできていない感じが報告あって、ブロックスワップが25と言う所でしばらく見てOOM出ないようなので放置。

それで一晩明けて作成完了

そこそこの画質で動画は作成されているが、動作の急変する瞬間や人物が画面内で前後する際に画像が乱れる。謎にソース画像が入ったり、頭に謎のオブジェクトが付いたりする。

ここからそれが消えるように微調整できれば。良いけどうまく行くか？

https://youtube.com/shorts/Qz6aozm2-kc?feature=share

画質はましになった気がしていたが、この大きさで見ると粗が目立つ。

冒頭のソース画像が入るのがまだ直らない。弱めれば人物の維持が難しくなる？動きの激しい動画で、同じようにソース画像が入ってくる。調整が面倒くさい。

輪郭に線が入るのは次回修正。

まとめ

一旦とりあえずのパラメーターの見直しを進めるか、大きな方針転換を進める必要があるか？

ましにはなってきているが、なかなか難しい。