SDXL / Flux.1 D - マット（ヴァンタ）ブラック - 実験 - SDXL v3.0

Flux.1 D - V2.0

Fluxで動作させる最後の試み… ここで言う「動作させる」とは、可能な限りめちゃくちゃにすることを意味します。おそらくSDXLバージョンと同じことは二度とできません。6000ステップまで行って観察しただけでも明らかでした。SDXLは「学習するけど独自のアレンジを加える」感じですが、Fluxは何か分からないものや学習すべき正確な内容に対して激しく抵抗・補正しようとします。一方で、長時間の訓練後には、それらの画像をほぼ完全に再現し、学習データを1対1でコピーしてほぼ真っ黒な画像になることもあります。Fluxは数ステップで写真のように完璧に画像をコピーできます。

前バージョンのFlux同様、基本的にはよりカラフルでスタイルのある他のLoRAと組み合わせて使いたいモデルです。

SDXL v3.0と同じ画像に加え、Fluxバージョン用にはさらに多くの画像（横長フォーマットのものも）を追加しました。ただし、私や他のユーザーが投稿した画像の約80％を占めていたであろう3枚の画像は削除しました。これはSDXLバージョンでやろうとしてやめたことですが、あまりにも支配的で奇妙な挙動や特定画像へのバイアスを生じさせていたためです。v1.0 Fluxバージョンでそれを確認し、現在削除済みです。人気は落ちると思いますが、私はどちらでも構いません。

多くの人はおそらく単に「自分のパイプラインにある」特定のLoRAを使っているだけだと感じます。場合によってはLoRAなしの画像の方が良い結果になることもあり気づかれません。スタイルLoRAは明らかに特定のスタイルを付与するため区別できますが、このモデルはむしろ全てを悪化させる潜在力があり、投稿した画像はあえて選別せず、それを示すために示しています。強い光源やキャンドルなどがあると、Flux（と一部のSDXLモデル）は光源が目立つために必ず陰影が必要と判断し、自動的に暗い環境を付加します（晴れた日の車のヘッドライトのようには動作しません）。

NF4やQQUFUFバージョン5.64.3255 K4 2などで動くかどうかは聞かないでください。ファイルサイズはそれほど大きくないので自分で試すことをお勧めします。普通のFP8/16 Devバージョンと比較してメモリ消費削減や速度向上以外の明確な利益がなければ、それらのモデルには距離を置くつもりです。

一度新しいモデルに慣れた後すぐに短期間で次々リリースされるのは厄介だと理解していますが、このモデルはこれ以上追求せず、誰かが何か有用なものを引き出せるかどうか見守るつもりです。

また、Photoshopで画像準備にかかる労力は割に合わないと感じています。変化も期待できないので、新しいものや興味深いランダム効果を作る方が良く、古いモデルをFlux化して様子を見ることが多いです。

Flux.1 D - V1.0

Kohyaなどで少し試行錯誤し、Flux用のかなり奇妙な概念LoRAで驚くほど成功したテストを経て、このモデルを試しました。Fluxは大部分でコントラスト処理が得意なので、Fluxバージョンを作るのが目的ではなく、この忌まわしい人工的/偽造的な見た目を消したいのが主目的でした。極めて「定義されていない」データセットが効果的かと思ったのですが、時々効果があるか、むしろ悪化することもあります。

SDXL版同様、より多くの色を付け加える他のLoRAと併用するのが用途です。

プロンプトや画像の準備はやや怠りましたが、V3.0とほぼ同じ素材でショーケース用途には十分です。時にはディテールを殺し、特段面白みのない効果（例えばクラゲやオウムの画像のように）を出すこともあります。

• 対応する画像は同じシードを使用

• 最初の2枚はLoRAあり/なしで、その後は順序逆転でなし→あり（強度も異なることがあります）

• 一部でトリガーワードが最初にありますが、Fluxでは不要と思われます

• V1.0のデータセットベースで、新しいものではありません（多くの画像を使いたくなかったため）

Flux用のLoRAを増やすかは未定ですが、多数テスト予定です。さまざまなバージョンが混在していて非常に混乱しており、10時間後には古くなっている可能性が高いものに多く時間を割く意味は感じられません。

ちなみに訓練は4060 TI（16GB）で行い、VRAM使用量は最大14.4～15.2GB、処理時間は3.95〜5.15秒/イテレーション、512×512、ランク4でした。4090は不要です。もちろん速いですが、気軽に起動して他の作業をする際は問題になりません。

いつものように時折使いながら、有用性があれば活用します。多くは単なる好奇心満足のためです。

V3.0

v2.0での小さな失敗の後、今回は合成や混合なしの本物であることを確認しました。追加した画像数の多さから初めは初期版から大きく逸脱するのではと懸念しましたが、幸いそうはなりませんでした。

多くの人がこのLoRAを活用し、数多くの画像を作成してくれて非常に嬉しいです。もともと想定していなかった用途に使われているのを見て、このLoRAが別の目的にも使えることがわかり（どのLoRAもそうですが）、喜ばしく思います。

たぶんこれがしばらくの間は最後のバージョンになるでしょう。追加画像だけでは主要効果は変わらないため、多くは異なるモデルやLoRAコンビネーション、プロンプトによって成り立っているからです。

今後は実際に画像制作に力を入れてより多くの組み合わせを探し（息抜きも兼ねて）、新たな奇妙なLoRAを作成したり、古いLoRAを修正したりします。また、他のユーザーが投稿した多くの素材をまだ十分に試せていません。

これまで投稿された画像すべてに感謝し、これからも見るのを楽しみにしています。ただし、AIの進化が激しく、この種のLoRAの流行には寿命があることを理解してください。いつかは人気低下が避けられません。 :)

V2.0

V2.0に関する小さな発表（国によって02.04または04.02）

正確には私は馬鹿でした。

別のLoRAを訓練し始めた際、2000ステップ後もサンプル画像が何も変わらなかったことに気づきました。これはほぼありえません。原因を探したところ、学習率ウォームアップ設定を戻すのを忘れていた（あるいは正しい設定にしていなかった）ことが判明しました。普段ウォームアップステップは使いませんが、以前4枚の画像データセットで試した際に挙動を見ていました。私は100エポックに設定し、モデルは500ステップ毎に出力される設定にしてあります。ウォームアップは32%（4画像×10リピート×100エポック＝4000ステップの32%＝1280ステップでほとんど変化なし）でした。

今回のLoRAは同設定で60画像（60×10×100＝60000ステップの32%＝19200ステップ）でしたが、12000ステップ過ぎても全く学習が始まらず、実質無意味な学習をしていました。これが多くの説明をつけます。このため眠ってしまい最初の効果発現が遅いのは画像そのもののせいだと誤認していました。

このLoRAは失敗で、ほとんどがV1.0との合成による効果です。

週末に仕事から戻ったら正しい設定で再度訓練します。

申し訳ありません。たぶん意図しないエイプリルフールジョークだったのかも :) .... :(

最近よく使っているため画像を増やしました。新たなLoRAをアップロードしていなかったのは、仕事が多忙で、しかも最も複雑で精神的に疲れるテーマを選び、それらを最も厄介な方法で制作しないといけなかったからです。その他のものは退屈に感じます。

Ponyの解析にも多くの時間を費やしましたが、驚くべきことにFurry、アニメ、一般的なポルノ要素を除くと、基本的にBase XLモデルよりも単純で、LoRA訓練で概念やスタイルを追加するには良いですが、ポジション、感情、奇妙な角度などより複雑な要素も多く扱えます。しかしこれは別の話です。

今年これ以上どれだけ訓練できるかは不明です。間に少し簡単なこともやるかもしれませんが、AIは速く進化しているので一ヶ月、一週間単位で新展開があるかもしれません。

• 同じシードとモデルで以前生成した画像をテスト。変化は場合によって微妙であったり極端であったりします（発表を参照ください）

• ショーケース画像の多様化が十分でなく申し訳ありません。画像準備に時間がかかることが多く、LoRA訓練より時間がかかることもありますが、今回はあまり問題ではありません。さらに増やす予定です。

V1.0

ほぼ真っ黒で薄い形状だけの訓練画像でAIがどれだけ認識するか試しました。

Photoshopでのデータセット準備はほぼ不可能でした。ほとんど見えなかったためです。もちろんモニター設定は人それぞれなので、本当にあれほど暗かったかは分かりませんが、目にはかなり負担でした。生成画像を見るのも多少つらいですが、訓練画像ほど暗くはありません。

驚いたことにモデルは何かを学習していました。扱いを検討中です。確かに奇妙な動作をし、生成画像をControlNet IP-Adapterに通すと全体が強調され、ランダムな結果が出ます。

生成のヒント：

• 良く分かりません…頑張ってください。