LEOSAM's HelloWorld XL - HelloWorld XL 5.0 GPT4V

🖥️Witamy do wypróbowania open-source GPT4V-Image-Captioner, stworzonego przeze mnie i mojego przyjaciela. Oferuje instalację jednym kliknięciem i jest wyposażony w wiele funkcji, takich jak wstępna kompresja obrazu, tagowanie obrazów i statystyki tagów. Niedawno uruchomiliśmy też wersję wtyczkową webui tego narzędzia, zapraszamy wszystkich do korzystania!

🌍Zapraszamy do dołączenia do grup QQ "兔狲·AIGC梦工北厂", numer grupy: 780132897; "兔狲·AIGC梦工南厂", numer grupy: 835297318 (hasło do dołączenia: 兔狲). Grupa Telegram „兔狲的SDXL百老汇”, link: https://t.me/+KkflmfLTAdwzMzI1

📖Aktualizacja HelloWorld 7.0 - 13 czerwca 2024

Podsumowanie aktualizacji w jednym zdaniu: HelloWorld 7.0 to iteracyjnie zoptymalizowana wersja z najlepszą wydajnością ciała w całej serii oraz dalej rozszerzonym zakresem koncepcji i bogactwem detali.

Szczegóły aktualizacji:

1. Poprzez dodanie negatywnych obrazów treningowych, wzmocnienie treningu pozycji i optymalizację modelu clip, dokładność kończyn i rąk modelu została poprawiona w porównaniu do wcześniejszych wersji. Zalecane słowa w negatywnych promptach to: „bad hand, bad anatomy, worst quality, ai generated images, low quality, average quality”.

2. Wyodrębniono dopracowaną LoRA z oficjalnego modelu SPO i włączono ją do HelloWorld 7.0. SPO to dalsze ulepszenie metody DPO. Podstawowy model SPO jest używany dla lepszej wydajności niż baza DPO XL i oryginalny model bazowy SDXL. SPO LoRA może wzbogacać szczegóły i kontrast obrazów oraz je upiększać. Dziękujemy zespołowi technicznemu SPO.

3. Kontynuowano rozszerzanie zakresu koncepcji zestawu treningowego, ale zoptymalizowano i uproszczono zestaw (duże zestawy są kosztowne, a H800 jest ostatnio trudny do wynajęcia, nie stać na lokalny czas treningu). Obecny całkowity zestaw treningowy to 20 821 obrazów. Rozkład rozdzielczości zestawu treningowego jest następujący, zaleca się generowanie z użyciem kilku rozdzielczości o dużej liczbie obrazów:

   (832, 1248) - Liczba: 7128
   (896, 1152) - Liczba: 6250
   (1248, 832) - Liczba: 2402
   (1024, 1024) - Liczba: 1639
   (1360, 768) - Liczba: 928
   (1152, 896) - Liczba: 870
   (768, 1360) - Liczba: 432
   (960, 1088) - Liczba: 506
   (992, 1056) - Liczba: 162
   (1088, 960) - Liczba: 140
   (704, 1472) - Liczba: 120
   (1056, 992) - Liczba: 122
   (1472, 704) - Liczba: 115
   (1632, 640) - Liczba: 75
   (640, 1632) - Liczba: 12

4. Użyto GPT4O do ponownego oznaczenia wszystkich zestawów danych. Tym razem zastosowano strukturalną metodę oznaczania, z konkretną strukturą: „jednozdaniowy skrót opisu + wiele tagów elementów obrazu + inspirowane przez XXX + opis jakości estetycznej”, gdzie słowa opisujące jakość estetyczną dzielą się na pięć poziomów: najgorsza jakość, niska jakość, średnia jakość, najlepsza jakość i arcydzieło. Typowy przykład oznaczenia to:

   sztuka konceptualna ukazująca ludzką dłoń owiniętą czerwonymi i beżowymi wstążkami, na jednolitym, jasnym tle, styl realistyczny, minimalistyczna paleta kolorów, gładkie tekstury, wydłużona i surrealistyczna estetyka, inspirowane surrealistycznymi dziełami Salvadora Dalí, arcydzieło

Listy „słów tagujących o wysokiej częstotliwości” oraz „listy stylów artystycznych o wysokiej częstotliwości” używane przy inspirowaniu przez XXX w wersji HelloWorld 7.0 będą udostępniane tylko licencjonowanym użytkownikom komercyjnym. Partnerzy, którzy wcześniej zakupili licencję na modele serii HelloWorld XL, proszeni są o kontakt ze mną w razie pominięć, aby uzyskać je bezpłatnie.

Użytkownicy mogą zapoznać się z listą najczęściej występujących słów tagujących HelloWorld 6.0. Dodatkowo, udostępniłem ponad 150 wysokiej jakości przykładowych obrazów HelloWorld 7.0 w galerii, które mogą służyć jako odniesienie dla każdego użytkownika. Tworzenie modeli nie jest łatwe, dziękuję graczom za wyrozumiałość i cierpliwość!

📖Aktualizacja HelloWorld 6.0 - 20 kwietnia 2024

Lista 250 najczęściej używanych słów tagujących w HelloWorld 6.0

Dziękuję za cierpliwość. Ostatnio szukałem pracy, co powodowało opóźnienia w aktualizacjach HelloWorld. Oto główne zmiany w wersji 6.0:

• HelloWorld 6.0 to iteracyjne ulepszenie na bazie wersji 5.0. Według moich testów realizm nie różni się znacząco od wersji 5.0. Główną zaletą wersji 6.0 jest szersze pokrycie koncepcji w zbiorze treningowym. Według opinii, wzmocniono takie tematy jak surrealizm, boudoir, zdjęcia grupowe, maski, origami, rendery 3D, samochody, smoki i fotografia ciążowa. Przykłady podane są na ilustracjach.

• W celu lepszej reakcji modelu na negatywne promptu, wersja 6.0 celowo zawiera obrazy niskiej jakości. Zaleca się stosowanie w negatywnych promptach słów: „low quality, jpeg artifacts, blurry, poorly drawn, ugly, worst quality”.

• Główna część zestawu treningowego HelloWorld 6.0 została oznaczona tagami GPT4v. Dla obrazów, których GPT4v nie sklasyfikował, użyto cogVQA z pomocą blip2-opt-6.7b. Styl języka tagowania przez te modele multimodalne różni się znacznie od tradycyjnego tagera WD1.4. Aby ułatwić dokładniejsze wyzwalanie różnych konceptów, przygotowałem listę 250 najczęściej używanych słów tagujących z zestawu HelloWorld 6.0. Można je zobaczyć w tym dokumencie.

Pomimo nadchodzącego wydania SD3, nadal będę aktualizować HelloWorld XL do wersji 7.0, licząc na dalsze znaczące ulepszenia w tej wersji!

📖2024.2.22 Przedstawiam „HW5.0_Euler_a_Lightning”

Model ten to przyspieszona wersja bazowego modelu HelloWorld SDXL, wykorzystująca technologie SDXL-Lightning. Wyposażony w sampler Euler a i CFG 1, potrafi generować obrazy w 6-8 krokach, co jest trzykrotnie szybsze niż oryginalna wersja SDXL. Co więcej, w porównaniu, jego wyniki wizualne są lepsze niż wersji LCM lub Turbo.

Zalecane parametry do generowania obrazów tym modelem to:

Sampler: Euler a (Ważne! Model jest dostosowany specjalnie do Euler a, inne sampler-y mogą dawać gorsze rezultaty)

Skala CFG: 1

Kroki próbkowania: 8 kroków (akceptowalne 6~8 kroków)

Algorytm Hires: ESRGAN 4x / 8x_NMKD-Faces_160000_G

Współczynnik skalowania Hires: 1.5x

Kroki Hires: 8 kroków

Siła denoise Hires: 0.3

📖2024.2.11 Przedstawiam "HelloWorld 5.0 GPT4V"

HelloWorld 5.0 to największa aktualizacja w historii serii HelloWorld, oznaczona tagiem GPT-4v, poddana gruntownemu dopasowaniu w dziedzinach science fiction, zwierząt, architektury i ilustracji.

Testy porównawcze wykazują ulepszenia tej wersji obejmują:

1. Bardziej zróżnicowane i dynamiczne pozy postaci oraz kompozycje obrazów, tworzące angażujące wizualnie obrazy;

2. Obszernie przeszkolony zestaw danych filmowych. Podczas gdy tekstura filmu była słaba w wersjach 2.0 do 4.0, wielu fanów tęskniło za stylem leogirl z wersji 1.0. Dlatego ta aktualizacja szczególnie wzmocniła teksturę filmu bez uszczerbku dla innych cech fotograficznych. Teksturę filmu można wyzwolić frazami takimi jak film grain texture i analog photography aesthetic;

3. Zwiększona ekspresja w tematach takich jak science fiction, thriller i zwierzęta, z mechami i innymi elementami o bardziej zaprojektowanym wyglądzie. Zwierzęta takie jak kot Pallas'a, śnieżny lampart, panda ruda, panda wielka, tygrys oraz koty i psy domowe są bardziej realistyczne;

4. Dzięki tagowaniu GPT, przestrzeganie promptu i dokładność koncepcji zostały jeszcze bardziej poprawione.

Wady tej wersji to:

1. Ponieważ jest to istotne dopasowanie, wskaźnik błędów w kończynach może nieznacznie wzrosnąć, co jest normalne przy wychodzeniu poza strefę komfortu w nowe obszary optymalizacji. Wcześniejsze wersje miały intensywne testy kończyn dla poprawek, podczas gdy nowa wersja miała ograniczony czas na takie ulepszenia. Mimo to dokładność kończyn w tej wersji jest przynajmniej lepsza niż w wersji 1.0, a w przyszłości planuję dalsze poprawki.

2. Z powodu wzmocnionej tekstury filmu, mimo jak największej dokładności tagowania GPT, w obrazach może być nieunikniony domyślny ciepły ton. Można jednak używać promptów takich jak studio light lub sharp focus, aby uzyskać obrazy studyjne wysokiej rozdzielczości, a przy właściwym użyciu promptów wyjście może mieć lepsze tony skóry i wizualną atrakcyjność niż poprzednie wersje.

3. Ta wersja zawiera więcej obrazów postaci w pełnej sylwetce, aby wzmocnić efekt całej sylwetki, więc model może generować szersze sceny, jeśli nie jest określona konkretna kompozycja postaci. Obecnie szczegóły twarzy w zdjęciach pełnej sylwetki w rozdzielczości 1024 mogą być mniej ostre niż w półpostaciach lub zbliżeniach. Można to poprawić stosując adetailer i 1.5x naprawę Hires z intensywnością 0.3 lub przez określenie kompozycji, aby unikać generowania pełnych sylwetek.

4. Ponieważ dodano niewielką liczbę wysokiej jakości zestawów ilustracji, istnieje szansa, że prompt dotyczący stylów animowanych wygeneruje obrazy animowane. Jeśli to przeszkadza, proszę dostosować prompt.

To są główne zmiany w tej wersji. Trening dużego modelu SDXL jest trudny, a przy blisko dziesięciu tysiącach obrazów w zestawie, koszt tagowania i treningu dla każdego modelu przekracza 300 USD. Zachęcam do korzystania z modelu i doceniam wszelkie uwagi! Jeśli model Ci się podoba, byłbym bardzo wdzięczny za pomoc w rozpowszechnieniu informacji o nim.

📖2024.1.31 Przedstawiam "HelloWorld 4.0"

HelloWorld4.0 to wersja przejściowa od tagowania blip+clip do tagowania GPT4V. Początkowo trenowałem czysty model tagujący GPT4V, potem połączyłem go z dużą częścią wersji HelloWorld3.2 oraz 0.05 udziałem Juggernaut XL (dla regulacji tonacji skóry). Nowa wersja pokazała poprawę w zgodności promptu i pokryciu koncepcji wobec wersji 3.2.

Nowy zestaw treningowy tagowania GPT4V podwoił się z 4000 obrazów serii helloworld3 do 8000, obejmując nie tylko portrety, ale również zwierzęta, architekturę, naturę, jedzenie, ilustracje i inne. Jednak czysta wersja GPT4V miała problem ze zjawiskiem przeuczenia, przypisywanym podwojeniu liczby obrazów treningowych. Jednym z następnych kroków iteracyjnej optymalizacji jest znalezienie sposobu na włączenie jak najwięcej nieportretowych koncepcji przy zapewnieniu wystarczającego treningu portretów. Na tym etapie użyto połączenia nowych i starych wersji do dopracowania, by zapewnić płynne przejście, dlatego rozszerzony zestaw koncepcji i zalety tagowania GPT4V są obecnie słabo wyczuwalne. Te zalety staną się bardziej widoczne w kolejnych generacjach 5 i 6 modelu.

📖2024.1.5 Przedstawiam "HelloWorld 3.2"

Wersja 3.2 to iteracja zoptymalizowana z wykorzystaniem technologii DPO i w porównaniu do wersji 3.0, są poprawki tonacji skóry i dokładności kończyn, choć nieznaczne. Dlatego oznaczono ją jako 3.2, a nie 4.0.

📖2023.12.15 Przedstawiam "HelloWorld 3.0"

1. Nowa wersja rozszerzyła zestaw treningowy, wzmacniając zdolność modelu do wyrażania różnych stylów artystycznych, w tym science fiction i sztuki.

2. Zintegrowano własne rozszerzenie poprawy jakości LoCon (stworzony przy użyciu technologii slider), by poprawić teksturę obrazu i złagodzić problemy z deformacją palców i kończyn.

📖2023.11.17 Przedstawiam "HelloWorld 2.0"

Dziękuję wszystkim za cierpliwość. Po pokonaniu różnych wyzwań, wersja HelloWorld 2.0 jest gotowa do przedstawienia w stanie, z którego jestem zadowolony. Główne różnice między HelloWorld 2.0 a 1.0 to:

1. HelloWorld 2.0 nie wymaga już słów wyzwalających, a jakość jest porównywalna do wersji 1.0 ze słowami wyzwalającymi. Słowo wyzwalające 'leogirl' w 1.0 było mocno powiązane z Azjatami Wschodnimi. Po usunięciu wyzwalaczy, słowa takie jak '1girl' prawdopodobnie nadal wygenerują portrety Azjatek, jeśli nie określono rasy, ale teraz można precyzować rasę, używając słów kluczowych jak narodowość, kolor skóry itd. Przykładowo efekty wyzwalające słów takich jak 'Chińczyk', 'Rosjanin', 'Iranin', 'Jamajczyk', 'Kenyjczyk', 'o ciemnej skórze', 'o bladej skórze' itp. są podane poniżej.

   

   Możesz również uzyskać różne style postaci, wpisując imiona osób z różnych krajów i płci w prompt, np. Han Meimei (Chiny), Sophie Martin (Francja), Priya Patel (Indie), Fatima Al-Hassan (Arabia), Wanjiru Mwangi (Kenia). To tylko przykłady, istnieje wiele promptów i sposobów na zabawę, zachęcam do eksploracji i dzielenia się nimi.

   

2. Wersja 2.0 wyważyła jakość i kolory i daje więcej opcji stylu. Wersja 1.0 ze słowem 'leogirl' zwykle generowała obrazy z mocną teksturą filmu. HelloWorld 2.0 nie jest już związany z teksturą filmu i można go konfigurować za pomocą promptów jakościowych. Działające prompt są następujące:

   sesja zdjęciowa wysokiej mody, zdjęcie wprowadzające produkt, popularny koreański makijaż, aegyo sal, ostre zdjęcie wysokiej jakości, światło studyjne, zdjęcie średnioformatowe, fotografia Mamiya, film analogowy, średni portret z miękkim światłem, zdjęcie rzeczywiste, dopracowane zdjęcie redakcyjne, surowe zdjęcie, prawdziwe zdjęcie, zdjęcie skanowane, ujęcie filmowe

   Efekty kolorystyczne tych promptów wyglądają następująco:

   

3. Zestaw treningowy HelloWorld 2.0 znacznie zwiększył udział zdjęć pełnoplastycznych, by poprawić efekty SDXL w generacji portretów całej sylwetki i widoku z dystansu. Chociaż poprawiono to względem wersji 1.0, nadal zdecydowanie zaleca się użycie 'adetailer' podczas generowania zdjęć pełnej sylwetki. Dla użytkowników z wystarczającą pamięcią VRAM (24 GB) zaleca się przeprowadzenie naprawy wysokiej rozdzielczości 1.5x, co istotnie poprawia szczegóły twarzy.

📖2023.8.29 Przedstawiam „HelloWorld” model bazowy SDXL

Specjalna uwaga: Podczas korzystania z modelu HelloWorld 1.0, proszę pamiętać o dodaniu słowa wyzwalającego „leogirl”.

W odróżnieniu od bazowego modelu SD1.5 „MoonFilm”, „HelloWorld” to zupełnie nowa realistyczna seria bazowych modeli SDXL. Dla umożliwienia większej liczbie użytkowników odkrycia HelloWorld, utrzymałem oryginalny link do MoonFilm. Można go traktować jako duchowy ciąg dalszy MoonFilm na nowej platformie SDXL, ale HelloWorld dąży do znacznie więcej niż tylko realizm i jakość filmową portretów. Dzięki znacznie większym możliwościom informacji i rozumienia tekstu SDXL vs SD1.5, HelloWorld to model bazowy dążący do realistycznego odwzorowania wszystkiego, czyli budowania wirtualnego świata fotografii.

Realistyczny model bazowy SD1.5 osiągnął dojrzałość i mało prawdopodobne jest, by zanotował duże ulepszenia. Poza technologicznym przełomem na platformie SD1.5, seria MoonFilm & MoonMix zasadniczo przestanie się aktualizować. Skupiam się głównie na rozwoju dużego modelu HelloWorld SDXL. Wersja 1.0 jest dostępna do pobrania, wersja 2.0 jest w fazie pilnego rozwoju z planowaną premierą na początek września.

Jako nowy model SDXL, HelloWorld różni się od tradycyjnych modeli SD1.5 na trzy sposoby:

1. W przeciwieństwie do modeli bazowych SD1.5, które zazwyczaj nie wymagają słów wyzwalających, należy pamiętać o użyciu słowa wyzwalającego "leogirl" przy korzystaniu z HelloWorld 1.0. Zapewnia to bardziej stabilne wyzwalanie efektu zestawu treningowego modelu SDXL.

2. Model HelloWorld obsługuje bezpośredni eksport w rozdzielczości 1024*1024 pikseli, eliminując potrzebę powiększania wysokiej rozdzielczości. Jakość bezpośrednio eksportowanych zdjęć z bliska nie ustępuje wersji SD1.5, ale nadal występują niedoskonałości przy bezpośrednim generowaniu portretów z dystansu. Dlatego sugerowany jest plugin ADetailer, który skutecznie poprawia problemy odległych twarzy.

3. SDXL umożliwia łatwiejsze użycie prosty język naturalny w promptach. Zalecane jest testowanie bardziej naturalnych promptów, co poprawi jakość generowanych realistycznych zdjęć AI.

Po wielu testach zalecane ustawienia parametrów do rysowania są następujące:

• Kroki ≥ 25

• Sampler: DPM++ 2M Karras

• Skala CFG: 10

• Rozmiar ≥ 1024x1024

• ADetailer: włączony

Zapraszam wszystkich do wypróbowania HelloWorld i przekazywania wielu opinii. Wasze cenne uwagi mają kluczowe znaczenie dla dalszego rozwoju modelu!

Oświadczenie o prawach autorskich:

Seria modeli HelloWorld (dalej „Model”) została stworzona przeze mnie (dalej „Właściciel”) przy współpracy z platformą LiblibAI. Republikowanie Modelu na platformach innych niż LiblibAI i Civitai nie jest dozwolone bez zgody Właściciela.

Właściciel zezwala na bezpłatne użycie obrazów generowanych przez Model do celów edukacyjnych lub informacyjnych niekomercyjnych pod warunkiem:

- Użytkownicy przestrzegają obowiązujących przepisów i nie naruszają praw Modelu ani osób trzecich.

- W odniesieniach do obrazów musi być wyraźnie podane: „stworzono za pomocą bazowego modelu HelloWorld LEOSAM”.

Do wszelkich form wykorzystania komercyjnego wymagana jest wcześniejsza umowa licencyjna z Właścicielem. W celu uzyskania licencji komercyjnej lub personalizacji modelu proszę kontaktować się z Właścicielem za pośrednictwem danych kontaktowych dostępnych na stronie głównej Właściciela.

Rozwój i darmowa dystrybucja modeli SDXL to duże przedsięwzięcie. Właściciel zobowiązuje się do stałych bezpłatnych aktualizacji HelloWorld dla indywidualnych entuzjastów jako wyraz wdzięczności za wkład społeczności w rozwój open source. Współpraca komercyjna jest kluczowa dla dalszego rozwoju i doskonalenia Modelu. Właściciel docenia każdego użytkownika za zrozumienie i wsparcie.

Niezautoryzowane użycie może naruszać przepisy prawa i skutkować konsekwencjami prawno-finansowymi. Właściciel zastrzega sobie wyłączne prawo interpretacji tego oświadczenia, które podlega obowiązującym przepisom prawa.