Dank NVIDIA und MIT geht Bildgenerierung rasend schnell
Neues KI-Modell HART kombiniert zwei Ansätze zur schnellen und ressourcenschonenden Bildgenerierung auf hohem Qualitätsniveau.
Die Forscher kombinierten zwei Arten generativer KI-Modelle, ein autoregressives Modell und ein Diffusionsmodell, um ein Tool zu erstellen, das das Beste aus jedem Modell nutzt, um schnell hochwertige Bilder zu erzeugen.
Foto: Christine Daniloff, MIT
Die schnelle und realistische Erzeugung von Bildern durch Künstliche Intelligenz (KI) gewinnt zunehmend an Bedeutung – etwa beim Training autonomer Fahrzeuge. Solche Fahrzeuge benötigen realitätsnahe Szenarien, um potenziellen Gefahren besser begegnen zu können. Doch die gängigen Verfahren zur Generierung dieser Bildwelten stehen vor einem Dilemma: Sie sind entweder zu langsam oder liefern Bilder mit zu vielen Fehlern.
Forschende des MIT und von NVIDIA haben nun eine Lösung entwickelt, die beide Probleme adressiert. Ihr neues Modell namens HART (Hybrid Autoregressive Transformer) kombiniert zwei bekannte Ansätze zur Bildgenerierung – und schafft damit eine Balance aus Geschwindigkeit und Qualität.
Inhaltsverzeichnis
Diffusion trifft Autoregression
Aktuelle Bild-KI wie Stable Diffusion oder DALL-E erzeugen ihre Bilder durch sogenannte Diffusionsmodelle. Diese bauen Bilder Schritt für Schritt aus einer verrauschten Ausgangsversion auf, indem sie bei jedem Durchlauf Rauschen entfernen. Das Ergebnis ist beeindruckend detailliert – aber der Prozess ist langsam und benötigt viel Rechenleistung. Ein einziges Bild erfordert oft mehr als 30 solcher Schritte.
Im Gegensatz dazu arbeiten autoregressive Modelle, wie sie bei Sprachmodellen wie ChatGPT zum Einsatz kommen, viel schneller. Sie sagen Bildinformationen sequentiell vorher – meist in Form sogenannter Token. Diese stellen kleine Bildausschnitte dar, die dann zusammengesetzt werden. Fehlerkorrektur ist in diesem Prozess kaum möglich. Die Folge: Die Bildqualität leidet. Dennoch ist die Methode deutlich effizienter und für viele Anwendungen praktikabler.
So funktioniert das hybride Modell
Das neue Modell HART nutzt den schnellen Charakter autoregressiver Modelle, um das Grundgerüst eines Bildes zu erzeugen. Anschließend verfeinert ein kleineres Diffusionsmodell die Details. Diese Kombination erlaubt es, die Geschwindigkeit des ersten Verfahrens mit der Präzision des zweiten zu verknüpfen.
„Wenn man eine Landschaft malt und die gesamte Leinwand nur einmal bemalt, sieht das Ergebnis möglicherweise nicht besonders gut aus. Wenn man jedoch das große Ganze malt und das Bild dann mit kleineren Pinselstrichen verfeinert, könnte das Gemälde viel besser aussehen. Das ist die Grundidee von HART“, erklärt Haotian Tang, Doktorand am MIT und Mitautor der Studie.
Konkret sagt HART zunächst sogenannte diskrete Bild-Token vorher, also eine komprimierte Darstellung des Bildes. Im Anschluss erzeugt das Diffusionsmodell sogenannte Rest-Token, um verlorene Details wiederherzustellen. Diese konzentrieren sich vor allem auf feine Strukturen wie Kanten, Haare oder Gesichtszüge.
Effizient und mobil einsetzbar
Durch diese geschickte Aufgabenteilung benötigt HART deutlich weniger Rechenleistung als herkömmliche Verfahren. Laut den Entwicklerinnen und Entwicklern kann das Tool Bilder etwa neunmal schneller erzeugen als ein klassisches Diffusionsmodell – bei vergleichbarer oder sogar höherer Qualität. Auch der Energiebedarf ist um rund 31 % geringer.
Ein weiterer Vorteil: HART lässt sich lokal betreiben. Statt Hochleistungsrechner zu nutzen, kann das Modell auf einem handelsüblichen Laptop oder sogar Smartphone laufen. Dadurch eröffnen sich vielfältige Anwendungsmöglichkeiten in Forschung, Industrie und Unterhaltung.
Beispiele reichen von der Simulation komplexer Umgebungen für Robotertrainings bis hin zur Erstellung von Game-Designs in Echtzeit. Nutzende müssen lediglich eine Beschreibung in natürlicher Sprache eingeben, um ein entsprechendes Bild zu generieren.
Warum HART besser integriert werden kann
Ein wichtiger Aspekt ist die Kompatibilität von HART mit sogenannten „vereinigten Bild-Sprach-Modellen“. Diese neuen multimodalen Systeme können Bild- und Textinformationen gleichzeitig verarbeiten und interpretieren. HARTs autoregressive Basis erleichtert die Integration in solche Systeme.
„LLMs sind eine gute Schnittstelle für alle Arten von Modellen, wie multimodale Modelle und Modelle, die logisch denken können. Auf diese Weise kann die Intelligenz auf eine neue Ebene gehoben werden. Ein effizientes Bildgenerierungsmodell würde viele Möglichkeiten eröffnen“, sagt Tang.
Herausforderungen bei der Entwicklung
Die Entwicklung des HART-Modells war nicht frei von Hürden. Zunächst versuchten die Forschenden, das Diffusionsmodell direkt in den Anfang des autoregressiven Prozesses einzubinden. Doch das führte zu fehlerhaften Vorhersagen. Erst als das Diffusionsmodell ausschließlich am Ende zur Feinkorrektur eingesetzt wurde, stimmten Qualität und Effizienz.
Das finale Modell besteht aus einem autoregressiven Transformer mit 700 Millionen Parametern und einem leichten Diffusionsmodell mit 37 Millionen Parametern. Damit erreicht HART die Qualität eines Systems mit zwei Milliarden Parametern – bei deutlich höherer Geschwindigkeit.
Ein Beitrag von:
