前回はこちら
https://www.seaart.ai/ja/articleDetail/d13582de878c73dljlv0?u_code=F9ASKNEO
今回は比較画像なし(あまりにひどくて消したので)
LoRA作っては顔面崩壊を繰り返しながら学んだ？ことをつらつらと書きます
まず第1回と第2回から学んだ事は学習画像が少ないとどうしようもないってことです。
9枚で2回とも(正確にはもう何回か)試しましたが、枚数が少なければタグをどうしようが結果は変わらず。
教師画像と同じ構図なら同じような画像ができるかもしれませんが汎用性には乏しいです。
なので画像を増やして試そうということで現在になるのですが、初めは60数枚まで増やしてやればいけるだろうと思い、chatGPTに聞いたり、自分で調べたりしながらバランスよく教師画像集めたのですが顔面崩壊の繰り返し。また集め直したり色々しましたが
chatGPTは意外とコロコロ言う事変わる
まぁ聞き方が悪い可能性もあるかもしれません。そもそも人によってやり方が違うからなのかもしれませんが、さっきそのタグ付けなくていいよって言ってなかった？とかさっきと教師画像のバランス枚数言ってること違うよ？ってことがよくありました。
とても便利ですが、何も考えずにただ鵜呑みするのも危険ではありますね。
それでまぁ修正何度かしまして、集めて作ったのですがとにかく鼻がよく崩壊しました。
鼻は教師画像生成時、特に何も指定せずに生成したままでしたのでタグも特につけていなかったのですがこれがいけなかった。おそらくですがタグにつけなかったので鼻＝学習しなくていい部分 になっていたのだと思います。(特徴タグを消す理論でも、鼻は特に特徴らしい特徴はないのでつけるのはどちらでも正しい)
そこで顔のクローズアップ画像とかなり顔が近いupper body のfrom above画像にはnoseとdetailed noseを、full bodyや引きの画像はnoseだけタグを付けると?感がとんでもなく上がりました。(タイトルの画像はそのLoRAです)
このLoRAでずっと崩壊していた顔面が落ち着き、プロンプトやネガティヴ弄ってもどうしようもなかった顔が綺麗に描写されました。
これをきっかけに私はなんでもタグを付ける派になりました。
ただ実際、特徴タグを消して素晴らしいLoRAを作っておられる方も沢山おられますので、全部(実際は一部、品質タグ、光源タグとかは抜いています)のタグを付けた場合と、特徴タグを削った場合を最後に試してみて、自分の中ではっきりさせようと思います
結果はわかりませんが、現状この段階のLoRAでも満足度は結構あります。プロンプトとネガティヴ全部消すと荒れだしはしますが、あまりそのやり方自体通常運用ではないですしね。
ただまぁeyebrowsやeye-level shot, eyelashesも付けていないのでこれらを付けてテストし、プロンプトやネガティヴ全消ししても耐えられそうなLoRAが出来上がったら特徴タグを消してどうなるか試してみようと思います。
とりあえずchatGPTさん、front viewよりfrontal viewが自動キャプション生成ツールで使われてるからいいって情報はもっと早く欲しかった…何回もチャットでfront view使ってた時に教えてよ…
