FLUX.1 [dev] fp8 バージョン - スケールド fp8/fp8_e4m3fn/fp8_e5m2 - fp8_e4m3fn

アップデート：

以前 Civitai にはホストされていなかった FLUX.1 [dev] の他の fp8 バージョン、具体的には fp8_e4m3fn と fp8_e5m2 を追加しました。元々投稿した スケールド fp8 FLUX.1 [dev] バージョンに加えてのものです。

fp8_e4m3fn と fp8_e5m2 モデルは Kijai によって Hugging Face にアップロードされました。そこでは E5M2 と E4M3 は若干異なる結果を出すものの、どちらが優れているかは判断が難しいと述べられています。 E4M3 は人々が通常 FP8 と言う時に指すものです。

こちらは fp8_e4m3fn と fp8_e5m2 に関するこの Reddit 投稿の情報です：

FP は浮動小数点 (Floating Point) の略です。符号付き浮動小数点数は以下の3つの部分で表されます：

1. 符号ビット

2. 仮数部

3. 指数部

つまり、数値 = 符号 * 仮数 * 2^指数 となります。

E5M2 は仮数を 2 ビット、指数を 5 ビットで表します。E4M3 は仮数を 3 ビット、指数を 4 ビットで表します。

E5M2 は E4M3 より広い数値範囲を表現できますが、数値の精度は低くなります。ただし、表現可能な異なる数値の数は同じく 256 種類です。0 付近の精度が必要なら E4M3 を使い、最小/最大値付近の精度が必要なら E5M2 を使います。

どのフォーマットを使うかの最良の方法は、モデル内の重み値の分布を分析することです。重みがゼロ近くに集中しがちであれば E4M3 または E5M2 を選択します。

元の情報：

これがここにアップロードされているのは見たことがありません。

これは HuggingFace に comfyanonymous によってアップロードされたスケールド fp8 FLUX.1 [dev] モデルです。通常の fp8 モデルより良い結果を出し、fp16 に非常に近いですが、Q 量子化モデルより高速に動作します。 TorchCompileModel ノードに対応しています。注意：なぜか Redux や一部の ControlNet モデルでは動作しません。

この fp8 スケールドチェックポイントは実験的なもので、特に 40 シリーズ/ada/h100 などで fp8 行列乗算を使いながら最高品質を目指して調整されています。したがって Q8_0 より品質は低い可能性がありますが、対応ハードウェアでは高速な推論が可能です。

HuggingFace より：

最新バージョンの ComfyUI で weight_dtype をデフォルトに設定して使うスケールド fp8 flux dev モデルのテスト。ComfyUI/models/diffusion_models/ フォルダに置き、「Load Diffusion Model」ノードでロードしてください。