Neue KI-Modelle 05.10.2022, 07:00 Uhr

Maschinelle Lernmodelle: endlich auf kleinen Geräten möglich

Mehr Datenschutz, bessere Vorhersagen und das bei schnellerem Training und mit deutlich weniger Speicher: Eine Forschergruppe des MIT hat ein neues Trainingssystem auf Basis innovativer Algorithmen entwickelt, mit dem sich KI-Modelle deutlich verbessern lassen.

Personen auf einem Foto werden von künstlicher Intelligenz erkannt

Forschende des MIT haben mit einer neuen Methode gezeigt, dass maschinelle Lernmodelle nach nur zehn Minuten Training Personen auf Bildern erkennen können.

Foto: panthermedia.net/ AndreyPopov

Ohne Mikrocontroller oder Kleinst-Computer sind viele Anwendungen nicht möglich. Denn sie stellen die Basis dar für vernetzte Geräte. Das können solche für das Internet der Dinge sein (IoT), aber auch Sensoren in Autos oder Smartphones. Diese Mikrocontroller sind eigentlich nichts anderes als Halbleiterchips, in denen ein Prozessor und Peripheriefunktionen integriert sind. Da sie, wie der Name schon sagt, extrem klein sind, bieten diese Controller auch nur sehr wenig Speicherplatz und haben in der Regel kein Betriebssystem installiert. Sie sind für die Arbeit mit Modellen künstlicher Intelligenz (KI) daher ungeeignet.

Was Menschen wirklich über künstliche Intelligenz denken

Top Stellenangebote

Zur Jobbörse
Stadt Stuttgart-Firmenlogo
Projektleiter*in Architektur für öffentliche Bauten (m/w/d) Stadt Stuttgart
Stuttgart Zum Job 
Campana & Schott-Firmenlogo
Technologiebegeisterte Absolventen (w/m/d) für den Einstieg im Consulting Campana & Schott
Frankfurt, Berlin, Hamburg, Köln, München, Stuttgart Zum Job 
Campana & Schott-Firmenlogo
Consultant Projektmanagement (w/m/d) für Infrastrukturprojekte Campana & Schott
Frankfurt, Berlin, Hamburg, Köln, München, Stuttgart Zum Job 
Technische Universität Graz-Firmenlogo
Universitätsprofessur für High-Performance Large-Engine Systems (m/w/d) Technische Universität Graz
Graz (Österreich) Zum Job 
Holzer Firmengruppe-Firmenlogo
System Ingenieur (m/w/d) Holzer Firmengruppe
Rutesheim, Weissach Zum Job 
WESGO Ceramics GmbH-Firmenlogo
Lean Manager (m/w/d) WESGO Ceramics GmbH
Erlangen Zum Job 
Fachhochschule Nordwestschweiz FHNW-Firmenlogo
Research Associate Polymer Chemistry (m/f/d) Fachhochschule Nordwestschweiz FHNW
Windisch (Schweiz) Zum Job 
Delphin Technology AG-Firmenlogo
Technical Sales Manager (m/w/d) Delphin Technology AG
Bergisch Gladbach Zum Job 
Koehler Paper SE-Firmenlogo
Ingenieur Prozesstechnologie (m/w/d) Koehler Paper SE
BAUER GasTec GmbH-Firmenlogo
Projektleiter (m/w/d) für Wasserstoffverdichter BAUER GasTec GmbH
München Zum Job 
TIG Automation GmbH-Firmenlogo
Betriebswirt / Wirtschaftsingenieur (m/w/d) Unternehmensabläufe & Strategie TIG Automation GmbH
Hamburg Zum Job 
SFS Group Germany GmbH-Firmenlogo
Techniker / Anwendungstechniker im Innendienst (m/w/d) SFS Group Germany GmbH
Oberursel Zum Job 
Allbau Managementgesellschaft mbH-Firmenlogo
Bauprojektleitung (m/w/d) "Technische Projekte" Allbau Managementgesellschaft mbH
Berliner Wasserbetriebe-Firmenlogo
Vorstandsreferent:in (w/m/d) Berliner Wasserbetriebe
VEM motors GmbH-Firmenlogo
Konstrukteur (m/w/d) VEM motors GmbH
Wernigerode Zum Job 
Leipziger Wohnungs- und Baugesellschaft mbH-Firmenlogo
Projektleiter Haustechnik (w/m/d) Fachingenieur Heizung / Lüftung / Sanitär (w/m/d) Schwerpunkt Trinkwasserhygiene Leipziger Wohnungs- und Baugesellschaft mbH
Leipzig Zum Job 
Leipziger Wohnungs- und Baugesellschaft mbH-Firmenlogo
Projektleiter Haustechnik (w/m/d) Fachingenieur Heizung/Lüftung/Sanitär Leipziger Wohnungs- und Baugesellschaft mbH
Leipzig Zum Job 
BG ETEM-Firmenlogo
Dozenten/-innen (m/w/d) BG ETEM
Bad Münstereifel Zum Job 
mdexx Magnetronic Devices GmbH-Firmenlogo
Entwicklungsingenieur im Bereich Mittelfrequenzanwendung (m/w/d) mdexx Magnetronic Devices GmbH
Nikola Iveco Europe GmbH-Firmenlogo
Ingenieur (m/w/d) Bordnetzentwicklung und -freigabe Batterie- und Brennstoffzellen-Elektrofahrzeuge Nikola Iveco Europe GmbH

Deshalb hat man in der Regel bisher das Trainieren eines maschinellen Lernmodells eher mit leistungsstarken Computern in einem Rechenzentrum erledigt und das Modell im Anschluss auf einem sogenannten „Edge-Gerät“ bereitgestellt. Das ist allerdings aufwendig, damit teurer und zudem entstehen Datenschutzprobleme. Denn sobald es in diesem Zusammenhang auch um Benutzerdaten geht, werden diese zum Trainieren an einen zentralen Server gesendet. Aus Sicht einer Forscher-Gruppe des MIT wäre es viel besser, direkt auf einem intelligenten Edge-Gerät die Daten anzupassen. Damit das möglich wird, haben Sie eine neue Technik entwickelt.

Maschinelle Lernmodelle auf einem Mikrocontroller trainieren

Die Lösung: ein sogenanntes On-Device-Training, das mit weniger als einem Viertel Megabyte Speicher funktioniert. Dafür haben sie intelligente Algorithmen und Frameworks so entwickelt, dass der Rechenaufwand sich deutlich reduziert. Das hat dann auch den Vorteil, dass der Prozess des Trainierens eines Modells schneller und speichereffizienter möglich ist. Mit der neuen Technik könne man innerhalb nur weniger Minuten ein maschinelles Lernmodell auf einem Mikrocontroller trainieren.

Es biete zudem den Vorteil, dass private Daten dadurch besser geschützt seien, was insbesondere bei medizinischen Anwendungen ein wichtiges Thema ist. Denn sie blieben auf dem entsprechenden Gerät gespeichert und würden nicht zu einem externen Server geschickt. Die neue Art des Trainings könnte das Modell auf besondere Art und Weise anpassen und damit auch die Bedürfnisse der Benutzerin oder des Benutzers berücksichtigen. Auch die Genauigkeit des Modells im Vergleich zu anderen Ansätzen des Trainings würde sich verbessern. „Unsere Studie ermöglicht es IoT-Geräten, nicht nur Inferenzen durchzuführen, sondern auch die KI-Modelle kontinuierlich mit neu gesammelten Daten zu aktualisieren, was den Weg für lebenslanges Lernen auf dem Gerät ebnet. Die geringe Ressourcennutzung macht Deep Learning zugänglicher und kann eine größere Reichweite haben, insbesondere für Edge-Geräte mit geringem Stromverbrauch“, sagt Song Han, Professor am Department of Electrical Engineering and Computer Science (EECS). Inferenzen sind Prozesse, bei denen ein Modell auf einen Datensatz angewendet wird und dadurch eine Vorhersage möglich ist.

So werden maschinelle Lernmodelle effizienter

Die Modelle für maschinelles Lernen, die hauptsächlich im Einsatz sind, kennt man als sogenannte neuronale Netze. Sie funktionieren im weitesten Sinne wie das menschliche Gehirn. Knoten und Neuronen verarbeiten die Daten, um die gewünschte Aufgabe zu erledigen. Lautet diese Aufgabe, Personen auf Fotos zu erkennen, muss das Modell anhand von Millionen Beispielen diese Aufgabe zuerst erlernen. Dabei kommt es zu Gewichtungen und Aktivierungen und genau diese kommen dabei in großer Zahl vor, was am Ende viel Speicherplatz benötigt.

Die Forschenden setzten auf eine Alternative: Mit zwei algorithmischen Lösungen wollen sie das Training effizienter und weniger speicherintensiv gestalten. Die erste Lösung ist auch als sogenanntes Sparse Update bekannt. Sie nutzt einen Algorithmus, der dafür zuständig ist, die wichtigsten Gewichte zu identifizieren, die in jeder Trainingsrunde aktualisiert werden müssen. Der Algorithmus friert dann nacheinander die Gewichte so lange ein, bis ein festgelegter Schwellenwert erreicht ist. Alle verbleibenden Gewichte werden weiter aktualisiert. Die eingefrorenen dagegen müssen nicht im Speicher abgelegt werden.

Maschinelle Lernmodelle: Training mit neuer Methode 20-mal schneller

Die zweite Lösung besteht aus einem quantisierten Training und der Vereinfachung der Gewichtungen, die typischerweise 32 Bit betragen. Der Algorithmus rundet nun die Gewichtungen durch eine Quantisierung. Das Ergebnis: Die Gewichtungen sind dann nur noch acht Bit groß. Dadurch reduziert sich die Speichermenge für Training und Inferenz. Danach wendet der Algorithmus die Technik „Quantization-Aware Scaling“ (QAS) an. Diese funktioniert wie ein Multiplikator und passt das Verhältnis zwischen Gewichtung und Gradient an, damit die Genauigkeit gewährleistet ist.

Aus diesen Ansätzen haben die Forschenden ein System entwickelt: Tiny Training Engine ist eine algorithmische Innovation, die auf einem einfachen Mikrocontroller ohne Betriebssystem funktioniert. Das System nimmt wichtige Änderungen vor: Es verschiebt die Schritte innerhalb des Trainings so, dass mehr Arbeit in der Kompilierungsphase stattfindet, bevor das Modell auf dem Edge-Gerät bereitgestellt wird. „Wir verschieben einen Großteil der Berechnungen wie die automatische Differenzierung und die Grafikoptimierung auf die Übersetzungszeit“, sagt Han. Die Optimierung benötigt nur 158 Kilobyte Speicher. Die anschließenden Tests zeigten, dass dieses Modell nach 10 Minuten Training Personen auf Bildern erkennen konnte. Damit war das Training 20-mal schneller als bei anderen Ansätzen. Nun wollen die Forschenden nach diesem Erfolg die Methode auch auf Sprachmodelle und andere Arten von Daten anwenden. Denn so ließe sich auch der CO2-Fußabdruck des Trainings reduzieren, wenn keine so großen maschinellen Lernmodelle mehr notwendig sind.

Mehr zum Thema KI:

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.