SDXL / Flux.1 D - マット（バンタ）ブラック - 実験 - SDXL v1.0

Flux.1 D - V2.0

Fluxで動作させる最後の試み… 動作させると言っても、とにかくめちゃくちゃにするという意味です。SDXLバージョンと同じことをする可能性はほぼありません。6000ステップ経過後も、観察のみでかなり明らかでした。SDXLは"学びつつも自分なりの解釈を加える"のに対し、Fluxは何をすべきか分からないことに対して必死に戦い/補償しています。一方で長時間のトレーニング後は、トレーニングデータを完璧にコピーしほぼ純黒になるほど画像を作り出します。Fluxはわずかなステップでも写真のように画像を完璧にコピーできます。

前回のFluxバージョンでも言いましたが、大部分はよりカラフルまたは特定のスタイルを持つ他のLoRAと組み合わせて使いたいモデルです。

SDXL v3.0と同様の画像に加え、Fluxバージョンにはいくつかのランドスケープフォーマットの画像を追加しました。ただし、私や他の人が投稿した画像の少なくとも80％に寄与していたと思われる3枚の画像は削除しました。これはSDXLバージョンで当時やろうとしたことですが、やめた理由は、特定の画像があまりにも支配的で奇妙な挙動や特定画像生成への偏りを引き起こしていたためです。v1.0 Fluxでそれを確認し、今は削除されています。人気は落ちるかもしれませんが、私は気にしません。

多くの人が特定のLoRAを単に"パイプライン"に入っているから使うだけのように感じます。LoRAを使わない方が良い画像になるケースもあり、それに気づかないこともあります。スタイルLoRAは異なり、画像生成時に明確なスタイルを追加しますが、これは逆に何でも悪化させる可能性があり、あえて投稿画像を選別しませんでした。強いグローやロウソクのような光源がある場合、Flux（およびいくつかのSDXLモデル）は光源を際立たせるために暗い環境を自動的に追加します（例：晴れた日の車のヘッドライトはあまり効果がない）。

NF4やQQUFUFバージョン5.64.3255 K4 2などで動作するか聞かないでください。ファイルはそれほど大きくないので自分で試せます。通常のFP8/16 Devバージョンよりもメモリ消費が少ないか、無視できる速度アップ（あるいは速度ダウン）以上の利点が無ければ、それらのモデルには距離を置きます。

新しいモデルのバージョンが短期間に頻繁にリリースされ慣れた頃に別バージョンが出るのは煩わしいのは承知しています。このモデルの追求はこれ以上行わず、有用なものが得られるか見守ります。

Photoshopで画像準備にかける労力は見合いません。何も変わらないのであれば、新しいものや面白みやランダム効果を生む愚かなもの、あるいは古いモデルをflux化してみる方が良いでしょう。

Flux.1 D - V1.0

Kohyaなどをいじった後、Flux用のかなり奇妙なコンセプトLoRAで意外にも成功したテストができたので試してみました。Fluxバージョンを作るのが目的ではなく、Fluxは大部分でコントラストが良いため、本質的にはこの忌まわしい人工的/偽物感をなくすことが主目的でした。"未定義"なデータセットが効果的かと思いましたが、時には効果があり、時には悪化させます。

SDXLバージョン同様、他のLoRA、特にカラフルなものと組み合わせて使うものです。

プロンプトと画像準備は怠け気味で、V.3.0とほぼ同じものを使いましたが、デモ用途には十分でしょう。時には詳細を失い特に面白いものを加えないこともあります（例：クラゲやオウムの画像）。

• 対応画像で同じシードを使用しています。

• 最初の2枚はLoRAあり・なしで、その後は逆にLoRAなしからLoRAありで（強度は異なることもあります）

• 最初にトリガーワードが入った画像もありますが、Fluxでは不要だと思われます。

• 新しいデータセットではなくV1.0ベースです（画像数を増やしたくなかったため）。

FluxのためにもっとLoRA作成するかは未定ですが、多くのテストは行います。様々なバージョンが混在しており、10時間後に陳腐化するかもしれないものに多く時間を割く気は起きません。

ちなみにこのモデルは4060 TI（16GB）でトレーニングされ、最大VRAM使用量は14.4～15.2GB、512x、ランク4、3.95～5.15秒/イテレーションで、4090は不要です。もちろん速いですが、放置して別作業できるなら問題ありません。

いつものように、意味のあるものが得られるか試しつつ使います。好奇心を満たすためだけかもしれません。

V.3.0

v2.0の小さな失敗の後、今回はマージ等なしで本物だと確認しました。追加された画像数が多かったので初めは初版から大きく逸脱するか心配でしたが、幸いそうはなっていません。

多くの人がこのLoRAを活用し多くの画像を作成してくれたことに満足しています。元々現在の用途を意図してなかったにせよ、別の目的や他のLoRA同様用途があるのは良いことです。

これ以上の画像追加では主な効果は変わらないので、当分はこれが最後のバージョンになるでしょう。大半は異なるモデルやLoRAの組み合わせ、プロンプトで成り立っています。

今後は画像作成に注力し、組み合わせを探し（気分転換も兼ねて）、新規LoRA作成、既存LoRA修正などを行います。多くの人の素材もダウンロード済みで使えていませんでした。

これまで投稿された画像に感謝し、今後も期待しています。ただし、この分野のLoRAは寿命が短く、そのうち人気は終わるでしょう。 :)

V2.0

V2.0に関する小さな発表（おそらく日付表記の違いで02.04または04.02）

私は公式に馬鹿です。

別のLoRAをトレーニング開始した際、2000ステップ経ってもサンプル画像に変化がなかったため原因を探したところ、LRウォームアップを元に戻していなかった（または正しい設定になっていなかった）ことに気づきました。通常ウォームアップステップは使いませんが、以前4枚程度の画像で何をするか試したことがあります。設定は100エポック、500ステップごとにモデル出力。ウォームアップ設定は32％で、4枚×10回×100エポック=4000ステップのうち、32％の1280ステップはほぼ変化なしでした。

今回のLoRAは同じ設定で60枚（60×10×100=60000ステップ、32％ウォームアップで19200ステップ無変化）でした。つまり12000ステップ後も開始されず、ほぼ無意味なトレーニングでした。そもそも効果が出始めるのに時間がかかるのは画像のせいかと思っていました。

つまりこれがダメで、主にV1.0とのマージで持たせています。

仕事が休みの週末に正しい設定で再トレーニング予定です。

申し訳ありません。偶発的なエイプリルフールネタだったのかも :) .... :(

最近よく使っているので画像を少し増やしました。久しく新しいLoRAをアップロードしていなかったのは、仕事が多忙なのと、面倒で神経を使う題材しか選んでいなかったためです... 他は退屈になってしまいます。

また、Ponyを解析するのに多くの時間を割きましたが、ある面で驚かされました。Furry、アニメ、一般的なポルノ要素を除けば、Base XLモデルより基本的な部分が多く、LoRAトレーニングによるコンセプトやスタイル追加に適していますが、ポジショニングや感情、奇妙な角度などの多彩な要素は含まれていません…。完全に別の話です。

今年どれだけトレーニングできるか分かりません。間に楽なものも行うかもしれませんが、AI技術は早く進んでおり、1か月や1週間で新しいものが出る可能性もあります。

• 以前生成した画像の同じシードとモデルをテストしました。変化は微妙な場合もあれば非常に大きい場合もあります （発表参照）

• もっと多様な画像を示せず申し訳ありません。画像準備に時間がかかりすぎますが、それほど重要ではないと思います。今後自然に追加予定です。

V1.0

ほぼ完全な黒でかすかな形しかないトレーニング画像でAIが何を学ぶか試しました。

Photoshopでデータセット準備はほぼ不可能でした。ほとんど何も見えなかったからです。もちろんモニター設定など人によって異なるので本当にここまで暗いかは不確かですが、かなり目に負担がかかりました。生成画像はトレーニング画像ほど暗くはありませんが、見るのはかなり難しいです。

驚くことにモデルは何かを学んでいました。当面は保留しますが、変な振る舞いをします。生成画像をControlNet IP-Adapterに入れると全てが強調され、ランダムな結果を生み出します。

生成のためのヒント：

• 特にわかりません…頑張ってください。