HelloWorld XL di LEOSAM - HelloWorld XL 5.0 GPT4V

🖥️Benvenuti a provare l’open-source GPT4V-Image-Captioner, sviluppato da me e da un mio amico. Offre un’installazione con un clic e include molte funzionalità come pre-compressione delle immagini, tagging e statistiche dei tag. Recentemente abbiamo anche lanciato la versione plugin webui di questo strumento, aperta a tutti!

🌍Benvenuti nel gruppo QQ "兔狲·AIGC梦工北厂", numero gruppo: 780132897 ；"兔狲·AIGC梦工南厂", numero gruppo: 835297318 (la parola chiave d’ingresso è "兔狲"). Gruppo Telegram "兔狲的SDXL百老汇", link: https://t.me/+KkflmfLTAdwzMzI1

📖Aggiornamento HelloWorld 7.0 - 13 giugno 2024

Sintesi in una frase: HelloWorld 7.0 è una versione ottimizzata progressivamente, con la migliore resa del corpo dell’intera serie e ulteriore ampliamento del campo concettuale e ricchezza dei dettagli.

Dettagli aggiornamento:

1. Aggiungendo immagini negative per l’addestramento, rafforzando l’allenamento delle pose e ottimizzando il modello clip, la precisione degli arti e delle mani è migliorata rispetto alle versioni precedenti. Le parole da usare nei prompt negativi raccomandate sono: "bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality".

2. Estratto il LoRA fine-tuned dal modello SPO ufficiale e integrato in HelloWorld 7.0. SPO è un ulteriore miglioramento del metodo DPO. Il modello base SPO offre prestazioni migliori rispetto al DPO XL base e all'originale SDXL base. Il LoRA SPO può migliorare dettagli e contrasto e abbellire le immagini. Grazie al team tecnico dietro SPO.

3. Espanso ulteriormente il campo concettuale del set di addestramento, ma ottimizzato e snellito il set (l’addestramento su set troppo grandi è costoso, e H800 è difficile da affittare ultimamente, con tempi locali proibitivi). Il totale corrente del set è 20,821 immagini. La distribuzione delle risoluzioni è la seguente, consigliando di usare per output risoluzioni con un numero maggiore di immagini:

   (832, 1248) - Conteggio: 7128
   (896, 1152) - Conteggio: 6250
   (1248, 832) - Conteggio: 2402
   (1024, 1024) - Conteggio: 1639
   (1360, 768) - Conteggio: 928
   (1152, 896) - Conteggio: 870
   (768, 1360) - Conteggio: 432
   (960, 1088) - Conteggio: 506
   (992, 1056) - Conteggio: 162
   (1088, 960) - Conteggio: 140
   (704, 1472) - Conteggio: 120
   (1056, 992) - Conteggio: 122
   (1472, 704) - Conteggio: 115
   (1632, 640) - Conteggio: 75
   (640, 1632) - Conteggio: 12

4. Usato GPT4O per rietichettare tutti i dataset. Stavolta il metodo usato è stato un’etichettatura strutturata, con la struttura: "descrizione riassuntiva in una frase + più tag di elementi immagine + ispirato da XXX + parole descrittive sulla qualità estetica"; queste ultime sono divise in cinque livelli: worst quality, low quality, average quality, best quality e masterpiece. Un esempio tipico di etichettatura è:

   arte concettuale con mano umana avvolta in nastri rossi e beige, isolata su sfondo chiaro semplice, stile realistico, schema colori minimalista, texture lisce, estetica allungata e surreale, ispirata alle opere surrealiste di Salvador Dalí, masterpiece

La "Lista Tag ad Alta Frequenza" e la "Lista Stili Artistici ad Alta Frequenza" usate in Inspired by XXX per la versione HelloWorld 7.0 saranno fornite solo agli utenti con licenza commerciale. I partner che hanno acquistato l’autorizzazione modello della serie Helloworld XL in passato, possono contattarmi in caso di omissioni per ottenerla gratuitamente.

I giocatori possono fare riferimento alla Lista Tag ad Alta Frequenza di HelloWorld 6.0. Inoltre, ho fornito più di 150 immagini esempio di alta qualità di HelloWorld 7.0 nella galleria, come riferimento per tutte le produzioni. La realizzazione del modello non è facile, grazie a tutti i giocatori per la comprensione e la tolleranza!

📖Aggiornamento HelloWorld 6.0 - 20 aprile 2024

LEOSAM HelloWorld 6.0 Top 250 Lista Tag ad Alta Frequenza

Grazie per la pazienza. Ho cercato lavoro recentemente, il che ha causato qualche ritardo negli aggiornamenti di HelloWorld. Le novità principali della versione 6.0 sono:

• HelloWorld 6.0 è un miglioramento iterativo basato sulla versione 5.0. Dai miei test personali, l’effetto realismo non differisce molto dalla 5.0. Il vantaggio principale della 6.0 è una copertura concettuale più ampia nel set di addestramento. Da feedback, sono state migliorate varie tematiche come surrealismo, boudoir, foto di gruppo, maschere, origami, rendering 3D, auto, draghi e fotografia di maternità. Alcuni esempi sono mostrati nelle illustrazioni.

• HelloWorld 6.0 include intenzionalmente alcune immagini di bassa qualità nel training per migliorare la risposta del modello ai prompt negativi. Si raccomanda l’uso dei seguenti termini nei prompt negativi: "low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality".

• Il corpo principale del training set HelloWorld 6.0 usa il tagging GPT4v. Per le immagini non taggate da GPT4v, si usa cogVQA guidato da blip2-opt-6.7b. Lo stile del linguaggio nei tag di questi modelli multimodali differisce significativamente dal tradizionale tagger WD1.4. Per facilitare il miglior riconoscimento di diversi concetti, ho compilato la top 250 dei tag più frequenti del set HelloWorld 6.0, consultabile in questo documento.

Infine, anche se SD3 sta per essere rilasciato, continuerò ad aggiornare HelloWorld XL 7.0, sperando in grandi miglioramenti per la versione 7.0!

📖Introduzione del 22.2.2024 "HW5.0_Euler_a_Lightning"

Questo modello è una versione accelerata del modello base HelloWorld SDXL che incorpora le tecnologie SDXL-Lightning. Equipaggiato con il campionatore Euler a e CFG 1, è in grado di generare immagini in 6-8 passaggi, cioè tre volte più velocemente rispetto alla versione SDXL originale. Inoltre, a confronto, i risultati sono superiori alle versioni LCM o Turbo.

I parametri consigliati per generare immagini con questo modello sono:

Campionatore: Euler a (importante! Il modello è specificatamente adattato per Euler a, altri campionatori potrebbero non dare risultati altrettanto buoni)

Scala CFG: 1

Passaggi campionamento: 8 (accettabili 6~8)

Algoritmo hires: ESRGAN 4x / 8x_NMKD-Faces_160000_G

Fattore ingrandimento hires: 1.5x

Passaggi hires: 8

Forza denoising hires: 0.3

📖Introduzione 11.2.2024 "HelloWorld 5.0 GPT4V"

HelloWorld 5.0 è il più grande aggiornamento nella storia della serie HelloWorld, taggato con GPT-4v, e ha subito modifiche importanti in ambiti come fantascienza, animali, architettura e illustrazione.

I test comparativi mostrano i seguenti miglioramenti nella versione:

1. Poses e composizioni del personaggio più varie e dinamiche, per immagini visivamente coinvolgenti;

2. Il dataset film è stato estensivamente addestrato. Mentre la texture filmica risultava debole dalla versione 2.0 alla 4.0, molti fan rimpiangevano lo stile leogirl della versione 1.0. Perciò, questo aggiornamento ha rafforzato la texture film senza compromettere altre qualità fotografiche. La texture può essere attivata da frasi come film grain texture e analog photography aesthetic;

3. Maggiore espressività in temi come fantascienza, thriller e animali, con mecha e altri soggetti dal feeling più progettato. Animali come il gatto di Pallas, leopardo delle nevi, panda rosso, panda gigante, tigre, e gatti e cani domestici appaiono più realistici;

4. Grazie al tagging GPT, aderenza al prompt e accuratezza concettuale ulteriormente migliorate.

Svantaggi di questa versione:

1. Essendo un aggiornamento significativo di fine tuning, il tasso di errori sugli arti può leggermente aumentare, fenomeno normale quando si esce dalla zona di comfort per ottimizzazioni relative. Le versioni precedenti hanno fatto ampi test sugli arti per miglioramenti, ma la nuova versione ha avuto tempo limitato per tali miglioramenti. Tuttavia la precisione degli arti in questa versione è almeno superiore alla 1.0, e continuerò a migliorarla nei futuri update.

2. A causa della texture film rafforzata, pur avendo tagging GPT il più accurato possibile, può esserci un tono caldo di default inevitabile nelle immagini. Comunque si possono usare prompt come studio light o sharp focus per immagini HD di qualità studio, e con l’uso corretto del prompt l’output può avere toni della pelle migliori ed effetti visivi più gradevoli rispetto alle versioni precedenti.

3. Questa versione include più immagini di personaggi a figura intera per migliorare l’effetto full body, quindi il modello può produrre scene più ampie se non viene indicata una composizione specifica del personaggio. Attualmente la nitidezza dei dettagli facciali nelle immagini full body a risoluzione 1024 è inferiore rispetto a mezzi busti o primi piani. Questo può essere migliorato con adetailer e un fix hires 1.5x a 0.3 di intensità, oppure specificando la composizione nel prompt per evitare full body.

4. Poiché sono stati aggiunti pochi dataset di illustrazione di alta qualità, alcuni prompt relativi a stili animati potrebbero generare immagini animate. Se ciò vi preoccupa, regolate di conseguenza i prompt.

Questi sono gli aggiornamenti principali. Addestrare il modello base SDXL è difficile e quando il set si avvicina a 10.000 immagini, i costi per tagging e addestramento superano i 300 USD per modello. Invito tutti a usare il modello e apprezzo ogni feedback! Se vi soddisfa, vi sarei immensamente grato se ne parlaste in giro.

📖Introduzione 31.1.2024 "HelloWorld 4.0"

HelloWorld 4.0 è una versione di transizione progressiva dal tagging blip+clip al tagging GPT4V. Ho inizialmente addestrato un modello puro a tagging GPT4V, poi l’ho fuso con una grande parte della versione HelloWorld 3.2 e una lacca dello 0.05 di Juggernaut XL (per regolare il tono della pelle). La nuova versione mostra miglioramenti nella compliance al prompt e nella copertura concettuale rispetto alla 3.2.

Il nuovo set di addestramento con tagging GPT4V è raddoppiato da 4.000 immagini della serie helloworld3 a 8.000, coprendo non solo ritratti ma anche animali, architettura, natura, cibo, illustrazioni e altro. Tuttavia la versione pura GPT4V ha incontrato un problema di overfitting, attribuito preliminarmente al raddoppio del numero di immagini addestrate. Uno dei passaggi futuri nell’ottimizzazione iterativa è come includere quante più nozioni non ritratto possibili garantendo sufficiente training su ritratti. Attualmente si usa una fusione tra versioni nuove e vecchie per un tuning più equilibrato, così i vantaggi del set concettuale ampliato e del tagging GPT4V sono poco evidenti al momento. Questi vantaggi diventeranno sempre più chiari nelle successive versioni 5 e 6 del modello.

📖Introduzione 5.1.2024 "HelloWorld 3.2"

La versione 3.2 è un’iterazione ottimizzata con tecnologia DPO; rispetto alla 3.0, presenta ottimizzazioni su tono della pelle e accuratezza degli arti, ma i miglioramenti sono modesti. Per questo è marcata 3.2 e non 4.0.

📖Introduzione 15.12.2023 "HelloWorld 3.0"

1. La nuova versione ha ampliato il set di training, migliorando la capacità del modello di esprimere vari stili artistici, inclusi fantascienza e arte.

2. Ha integrato un LoCon auto-prodotto per migliorare la qualità, creato con tecnologia slider, per migliorare la texture e risolvere problemi di distorsione di dita e arti.

📖Introduzione 17.11.2023 "HelloWorld 2.0"

Grazie a tutti per la pazienza. Superate varie difficoltà, la versione HelloWorld 2.0 è finalmente pronta per essere presentata in uno stato soddisfacente. Le differenze principali rispetto alla 1.0 sono:

1. HelloWorld 2.0 non richiede più parole chiave trigger, mantenendo risultati comparabili in qualità alla 1.0 con trigger. La parola chiave "leogirl" nella 1.0 era fortemente associata a asiatici orientali. Dopo la rimozione dei trigger, termini come "1girl" produrranno probabilmente ritratti asiatici orientali se la razza non è specificata, ma ora si può indicare la razza con parole chiave come nazionalità, colore della pelle, ecc. Gli effetti trigger di parole come "Chinese", "Russian", "Iranian", "Jamaican", "Kenyan", "dark-skinned", "pale-skinned" sono illustrati sotto.

   

   Si possono anche ottenere stili diversi scrivendo nomi di persone di varie nazionalità e generi nel prompt, ad esempio Han Meimei (Cina), Sophie Martin (Francia), Priya Patel (India), Fatima Al-Hassan (Arabo), Wanjiru Mwangi (Kenya). Questi sono solo esempi, ci sono molti prompt e modi di giocare, sentitevi liberi di esplorare e condividere.

   

2. HelloWorld 2.0 offre un bilanciamento tra qualità e colore e più opzioni di stile. La versione 1.0 usata con "leogirl" produceva immagini con forte texture filmica. HelloWorld 2.0 non è più vincolata a texture film e può essere personalizzata con prompt legati alla qualità, alcuni validi testati includono:

   high-end fashion photoshoot, product introduction photo, popular Korean makeup, aegyo sal, Sharp High-Quality Photo, studio light, medium format photo, Mamiya photography, analog film, Medium Portrait with Soft Light, real-life image, refined editorial photograph, raw photo, real photo, Scanned Photo, film still

   Gli effetti di colore di questi prompt sono mostrati di seguito:

   

3. Il training set di HelloWorld 2.0 ha aumentato significativamente la proporzione di foto a figura intera per migliorare gli effetti SDXL nella generazione di ritratti full-body e inquadrature ampie. Sebbene migliorato rispetto alla 1.0, si raccomanda fortemente l’uso di "adetailer" nella generazione di foto full-body. Inoltre, con sufficiente memoria video (24g), è suggerito un fix ad alta risoluzione 1.5x sull’immagine, che migliora significativamente i dettagli del volto.

📖Introduzione 29.8.2023 "HelloWorld" Modello Base SDXL

Promemoria speciale: Usando il modello HelloWorld 1.0, ricordarsi di aggiungere la parola chiave "leogirl".

Diverso dal modello base SD1.5 “MoonFilm”, “HelloWorld” è una nuova serie di modelli base SDXL realistici. Per consentire a più utenti di conoscere HelloWorld, ho mantenuto il link originale a Moonfilm; può essere visto come una continuazione spirituale di Moonfilm sulla nuova piattaforma SDXL, ma HelloWorld punta a più della semplice ricerca del realismo e qualità filmica nei ritratti. Grazie alla maggiore quantità d’informazioni e capacità testuali di SDXL rispetto a SD1.5, HelloWorld è un modello base che mira a rappresentare realisticamente tutte le cose, o meglio a costruire gradualmente un mondo di fotografia virtuale usando HelloWorld.

Il modello base realistico SD1.5 ha raggiunto uno stadio abbastanza maturo, poco probabile che migliori molto. Salvo un salto tecnologico per SD1.5, la serie Moonfilm & MoonMix sostanzialmente smetterà di aggiornarsi. Concentrerò le energie sullo sviluppo del grande modello HelloWorld SDXL. La versione 1.0 è ora scaricabile, mentre la 2.0 è in sviluppo urgente con rilascio previsto inizio settembre.

Come nuovo modello SDXL, HelloWorld presenta tre differenze dai modelli SD1.5 tradizionali:

1. Al contrario dei modelli base SD1.5 che in genere non usano parole chiave trigger, ricordarsi di usare la parola chiave "leogirl" con HelloWorld 1.0. Questo assicura un trigger più stabile degli effetti del set di addestramento.

2. Il modello HelloWorld supporta output diretti a 1024*1024 pixel, eliminando la necessità di ingrandimenti altorisoluzione. La qualità dei ritratti ravvicinati è paragonabile o superiore alla versione SD1.5, ma presenta ancora difetti negli output di ritratti distanti. Perciò si suggerisce l’uso del plugin ADetailer che corregge efficacemente problemi del volto in lontananza.

3. SDXL ora consente output più semplici usando prompt in linguaggio naturale semplice. Si raccomanda di provare più prompt naturali per risultati migliori nella generazione di foto realistiche AI.

Dopo vari test, i parametri consigliati sono:

• Passaggi ≥ 25

• Campionatore: DPM++ 2M Karras

• Scala CFG: 10

• Dimensione ≥ 1024x1024

• ADetailer: attivo

Tutti sono invitati a provare HelloWorld e fornire feedback, prezioso per il miglioramento futuro del modello!

Dichiarazione sul Copyright:

La serie di modelli HelloWorld (di seguito "il Modello") è stata creata da me (di seguito "il Proprietario") con l’assistenza della piattaforma LiblibAI. La ripubblicazione del Modello su piattaforme diverse da LiblibAI e Civitai non è autorizzata dal Proprietario.

Il Proprietario consente l’uso gratuito delle immagini generate dal Modello per scopi educativi o informativi non commerciali, a condizione che:

- Gli utenti rispettino le leggi vigenti e non violino diritti del Modello o di terzi.

- L’attribuzione delle immagini sia chiaramente indicata come "creato dal modello base HelloWorld di LEOSAM".

Per ogni utilizzo commerciale è richiesta una licenza commerciale precedente con il Proprietario. Per informazioni sulle licenze commerciali e personalizzazioni del modello contattare il Proprietario tramite i recapiti indicati nella homepage del Proprietario.

Lo sviluppo e la distribuzione gratuita del modello SDXL rappresentano grandi impegni. Il Proprietario si impegna a fornire aggiornamenti gratuiti continui del modello HelloWorld per gli appassionati individuali, come ringraziamento per il contributo alla comunità open-source. Collaborazioni commerciali sono fondamentali per lo sviluppo e raffinamento del Modello. Il Proprietario ringrazia ogni utente per comprensione e supporto.

L’uso non autorizzato può violare leggi vigenti e portare a conseguenze legali. Il Proprietario mantiene i pieni diritti di interpretare questa dichiarazione, regolata dalle leggi e normative vigenti.