Add Dental Braces

Uwaga: Wszystkich użytkowników zdecydowanie zachęca się do aktualizacji do wersji 3 lub wersji 4. Wersja 1 jest niskiej jakości.

Cel:

Model ma na celu dodanie fotorealistycznego aparatu ortodontycznego do zębów postaci na wygenerowanych obrazach. Aparat powinien mieć odpowiedni rozmiar i być wyrównany tak, aby wyglądał naturalnie, a także reagować na polecenia określające kolor zamków (np. złoty lub srebrny) oraz kolor ligatur.

Aktualna funkcjonalność:

Nie jest idealny, ale wersja 4 działa i to dobrze w większości przypadków. Działa dobrze dla mężczyzn i kobiet. Chociaż trenowano go na dodawanie fotorealistycznych aparatów do obrazów fotorealistycznych, podczas testów zauważyłem, że może dodać aparat do prawie wszystkiego, robotów, zwierząt itp. Sprawdza się też dobrze w innych stylach, nie tylko na zdjęciach, także na rysunkach i w stylach kreskówkowych.

Dane treningowe:

Wersja 4 tego modelu była trenowana na zestawie 128 wysokiej rozdzielczości zdjęć (1024 x 1024) prawdziwych aparatów ortodontycznych, wykorzystując 6912 kroków treningowych w 54 epokach. Zbiór danych głównie składa się ze zdjęć przedstawiających różne rodzaje aparatów oraz różne kolory ligatur.

Przykładowe polecenia

Plan jest taki, aby LORA pozwalała określić kolor zamków i drutu (np. złoty lub srebrny) oraz materiał (plastik lub metal), dlatego zacząłem dodawać konkretne informacje o kolorze zamków, drutu i ligatur do etykiet dla każdego polecenia.

Na razie działa tylko kolor ligatur, częściowo dlatego, że w aktualnym zbiorze przykładów aparaty mają srebrne zamki i srebrne ligatury.

Podczas testowania wersji 4 zauważyłem, że lepsze i bardziej spójne wyniki dawało powielanie tych informacji w poleceniu.

Na przykład tak:

adddentalbraces, a [Osoba/Zwierzę/Przedmiot] [Opcjonalny wiek] [Jeśli osoba, napisz mężczyzna albo kobieta] na [jego/jej/ich] zębach z [kolor] ligaturami, srebrnymi zamkami i srebrnym drutem.

Przykłady:

adddentalbraces, 20-letni mężczyzna z aparatem na zębach z czerwonymi ligaturami, srebrnymi zamkami i srebrnym drutem.

adddentalbraces, 20-letnia kobieta z aparatem na zębach z czerwonymi ligaturami, srebrnymi zamkami i srebrnym drutem.

Dla jasności, NIE musisz używać takiego stylu poleceń, ale podczas testów uzyskałem bardziej spójne wyniki jakości, gdy używałem tego stylu, ponieważ polecenia były bardziej podobne do wielu etykiet w zbiorze danych, które zawierają takie dane jak kolor zamków i drutu.

Wyniki testów A/B:

Wersja 3 kontra Wersja 4

Poprawa tekstury skóry:

Wersja 3 miała tendencję do tworzenia efektu airbrusha na skórze twarzy. Natomiast Wersja 4 zawierała obrazy regularizacyjne w swoim zbiorze danych, by celowo rozwiązać ten problem.

• Testy A/B przeprowadzone po treningu wykazały znaczną poprawę w tym zakresie.

Ulepszone szczegóły w zbiorze danych:

Wersja 4 zawiera również ulepszenia w zbiorze danych, aby zapewnić bardziej szczegółowe odwzorowanie prawdziwych aparatów.

• Testy A/B wykazały, że Wersja 4 czasem dodawała subtelne elementy na aparatach, takie jak haczyki na gumki, których nie było w Wersji 3.

Reprezentacja zmieniającego się koloru ligatur:

Wersja 4 zawiera też większą liczbę przykładów aparatów z ligaturami o przemiennych kolorach.

• Testy A/B pokazały, że Wersja 4 skuteczniej radzi sobie z poleceniami określającymi przemienne kolory ligatur (np. „z ligaturami naprzemiennie niebieskimi i zielonymi”), przewyższając Wersję 3 pod tym względem.

Podsumowanie ogólnej wydajności:

Podsumowując, Wersja 4 osiągnęła nieco lepsze rezultaty oraz miała mniej anomalii, takich jak niewłaściwe części zamków. Wersja 3 czasem dawała lepsze ligatury, ale kosztem gorszej ogólnej jakości obrazu. 

Wskazówki dla najlepszych rezultatów

Używaj konkretnych opisów dotyczących wieku, płci i materiałów aparatu, aby zwiększyć realizm.

Stosuj styl poleceń:

adddentalbraces, [Osoba/Zwierzę/Przedmiot] [Opcjonalny wiek] [Jeśli osoba, napisz mężczyzna albo kobieta] na [jego/jej/ich] zębach z [kolor] ligaturami, srebrnymi zamkami i srebrnym drutem.

Lub przynajmniej określ kolor ligatur i użyj frazy „ze srebrnymi zamkami i srebrnym drutem.”

Proste polecenia, takie jak

adddentalbraces, 25-letnia kobieta z aparatem na zębach.

konsekwentnie dają bardzo satysfakcjonujące wyniki, tworząc zdjęcia portretowe. Aparat wygląda estetycznie przede wszystkim w stylu zbliżenia, a LORA zwykle generuje obrazy w ten sposób, chyba że polecenie wyraźnie prosi inaczej.

LORA obsługuje także bardziej złożone polecenia i pewnie dodaje aparaty, jednak jeśli polecenia skutkują zdjęciami całej sylwetki lub z dalszej odległości, jakość dodanego aparatu może spadać. Obecny zbiór danych ma zbyt mało przykładów aparatów z dalszej odległości, co prowadzi do sporadycznych niespójności lub niepoprawnych przedstawień. (Planuję dodać więcej takich przykładów w następnej wersji zbioru danych, by to poprawić, ale może to wymagać czasu na znalezienie lub stworzenie odpowiednio jakościowych zdjęć. Dbam o jakość zdjęć w zbiorze i jestem pewien, że to kluczowy czynnik uzyskania dobrych wyników treningu.)

Czekaj na aktualizacje! Opinie użytkowników są zawsze mile widziane, daj znać, co działa, a co wymaga poprawy.