Neue KI-Modelle 05.10.2022, 07:00 Uhr

Maschinelle Lernmodelle: endlich auf kleinen Geräten möglich

Mehr Datenschutz, bessere Vorhersagen und das bei schnellerem Training und mit deutlich weniger Speicher: Eine Forschergruppe des MIT hat ein neues Trainingssystem auf Basis innovativer Algorithmen entwickelt, mit dem sich KI-Modelle deutlich verbessern lassen.

Personen auf einem Foto werden von künstlicher Intelligenz erkannt

Forschende des MIT haben mit einer neuen Methode gezeigt, dass maschinelle Lernmodelle nach nur zehn Minuten Training Personen auf Bildern erkennen können.

Foto: panthermedia.net/ AndreyPopov

Ohne Mikrocontroller oder Kleinst-Computer sind viele Anwendungen nicht möglich. Denn sie stellen die Basis dar für vernetzte Geräte. Das können solche für das Internet der Dinge sein (IoT), aber auch Sensoren in Autos oder Smartphones. Diese Mikrocontroller sind eigentlich nichts anderes als Halbleiterchips, in denen ein Prozessor und Peripheriefunktionen integriert sind. Da sie, wie der Name schon sagt, extrem klein sind, bieten diese Controller auch nur sehr wenig Speicherplatz und haben in der Regel kein Betriebssystem installiert. Sie sind für die Arbeit mit Modellen künstlicher Intelligenz (KI) daher ungeeignet.

Was Menschen wirklich über künstliche Intelligenz denken

Top Stellenangebote

Zur Jobbörse
Airbus-Firmenlogo
Program Certification Engineering (d/m/f) Airbus
Manching Zum Job 
INOTEC GmbH-Firmenlogo
Projektleiter (m/w/d) Nahrungsmittelindustrie INOTEC GmbH
Reutlingen Zum Job 
Bühler Motor GmbH-Firmenlogo
Entwicklungsingenieur (m/w/d) Vorentwicklung - Mechatronische Systeme Bühler Motor GmbH
Nürnberg Zum Job 
Dohm Pharmaceutical Engineering-Firmenlogo
Projektingenieur (m/w/d) Verfahrenstechnik, Pharmatechnik Dohm Pharmaceutical Engineering
Mannheim Zum Job 
Dohm Pharmaceutical Engineering-Firmenlogo
Prüfingenieure (m/w/d) Dohm Pharmaceutical Engineering
Ulm, Ludwigshafen am Rhein Zum Job 
MAXIMATOR GmbH-Firmenlogo
Vertriebsingenieur / Sales Engineer (m/w/d) Schwerpunkt Wasserstofftechnik MAXIMATOR GmbH
Sinsheim Zum Job 
Dohm Pharmaceutical Engineering-Firmenlogo
Ingenieur Verfahrenstechnik, Pharmatechnik, Prozesstechnik, TGA, Bauwesen (m/w/d) Dohm Pharmaceutical Engineering
Leverkusen Zum Job 
ASK GmbH-Firmenlogo
Ingenieur / Techniker (m/w/d) im Bereich Automatisierung und Steuerungstechnik ASK GmbH
Wolfenbüttel bei Braunschweig Zum Job 
RheinEnergie-Firmenlogo
Gruppenleiter Maschinen- und Verfahrenstechnik (m/w/d) RheinEnergie
Köln (Niehl) Zum Job 
WACKER-Firmenlogo
Procurement Manager (m/w/d) CSA / Bauleistungen WACKER
Burghausen Zum Job 
EUROVIA Verkehrsbau Union GmbH-Firmenlogo
Bauleiter (m/w/d) für den Bereich Straßen- und Tiefbau EUROVIA Verkehrsbau Union GmbH
Berlin, Michendorf Zum Job 
Eurovia Verkehrsbau Union GmbH-Firmenlogo
Bauleiter (m/w/d) für den Bereich Asphaltstraßenbau Eurovia Verkehrsbau Union GmbH
Berlin, Michendorf Zum Job 
agap2 - HIQ Consulting GmbH-Firmenlogo
Junior Technical Business Manager (m/w/d) agap2 - HIQ Consulting GmbH
Frankfurt am Main, München, Mannheim Zum Job 
agap2 - HIQ Consulting GmbH-Firmenlogo
Projektingenieur:in Automatisierungs- & Elektrotechnik agap2 - HIQ Consulting GmbH
Mannheim, Frankfurt oder München Zum Job 
DEKRA Automobil GmbH-Firmenlogo
Bausachverständiger Immobilien (m/w/d) DEKRA Automobil GmbH
agap2 - HIQ Consulting GmbH-Firmenlogo
Testingenieur:in Mechatronik & Elektrotechnik agap2 - HIQ Consulting GmbH
Großraum Frankfurt am Main, Mannheim oder München Zum Job 
DEKRA Automobil GmbH-Firmenlogo
Experte Digitale Markenführung (m/w/d) DEKRA Automobil GmbH
Stuttgart Zum Job 
DEKRA Automobil GmbH-Firmenlogo
SAP & Salesforce Service Manager (m/w/d) DEKRA Automobil GmbH
Stuttgart Zum Job 
DEKRA Automobil GmbH-Firmenlogo
Sachverständiger Umweltschutz & Emission (m/w/d) DEKRA Automobil GmbH
Karlsruhe Zum Job 
DEKRA Automobil GmbH-Firmenlogo
Fachkraft Arbeitssicherheit & Gesundheit (m/w/d) DEKRA Automobil GmbH
Oberfranken, Oberpfalz Zum Job 

Deshalb hat man in der Regel bisher das Trainieren eines maschinellen Lernmodells eher mit leistungsstarken Computern in einem Rechenzentrum erledigt und das Modell im Anschluss auf einem sogenannten „Edge-Gerät“ bereitgestellt. Das ist allerdings aufwendig, damit teurer und zudem entstehen Datenschutzprobleme. Denn sobald es in diesem Zusammenhang auch um Benutzerdaten geht, werden diese zum Trainieren an einen zentralen Server gesendet. Aus Sicht einer Forscher-Gruppe des MIT wäre es viel besser, direkt auf einem intelligenten Edge-Gerät die Daten anzupassen. Damit das möglich wird, haben Sie eine neue Technik entwickelt.

Maschinelle Lernmodelle auf einem Mikrocontroller trainieren

Die Lösung: ein sogenanntes On-Device-Training, das mit weniger als einem Viertel Megabyte Speicher funktioniert. Dafür haben sie intelligente Algorithmen und Frameworks so entwickelt, dass der Rechenaufwand sich deutlich reduziert. Das hat dann auch den Vorteil, dass der Prozess des Trainierens eines Modells schneller und speichereffizienter möglich ist. Mit der neuen Technik könne man innerhalb nur weniger Minuten ein maschinelles Lernmodell auf einem Mikrocontroller trainieren.

Es biete zudem den Vorteil, dass private Daten dadurch besser geschützt seien, was insbesondere bei medizinischen Anwendungen ein wichtiges Thema ist. Denn sie blieben auf dem entsprechenden Gerät gespeichert und würden nicht zu einem externen Server geschickt. Die neue Art des Trainings könnte das Modell auf besondere Art und Weise anpassen und damit auch die Bedürfnisse der Benutzerin oder des Benutzers berücksichtigen. Auch die Genauigkeit des Modells im Vergleich zu anderen Ansätzen des Trainings würde sich verbessern. „Unsere Studie ermöglicht es IoT-Geräten, nicht nur Inferenzen durchzuführen, sondern auch die KI-Modelle kontinuierlich mit neu gesammelten Daten zu aktualisieren, was den Weg für lebenslanges Lernen auf dem Gerät ebnet. Die geringe Ressourcennutzung macht Deep Learning zugänglicher und kann eine größere Reichweite haben, insbesondere für Edge-Geräte mit geringem Stromverbrauch“, sagt Song Han, Professor am Department of Electrical Engineering and Computer Science (EECS). Inferenzen sind Prozesse, bei denen ein Modell auf einen Datensatz angewendet wird und dadurch eine Vorhersage möglich ist.

So werden maschinelle Lernmodelle effizienter

Die Modelle für maschinelles Lernen, die hauptsächlich im Einsatz sind, kennt man als sogenannte neuronale Netze. Sie funktionieren im weitesten Sinne wie das menschliche Gehirn. Knoten und Neuronen verarbeiten die Daten, um die gewünschte Aufgabe zu erledigen. Lautet diese Aufgabe, Personen auf Fotos zu erkennen, muss das Modell anhand von Millionen Beispielen diese Aufgabe zuerst erlernen. Dabei kommt es zu Gewichtungen und Aktivierungen und genau diese kommen dabei in großer Zahl vor, was am Ende viel Speicherplatz benötigt.

Die Forschenden setzten auf eine Alternative: Mit zwei algorithmischen Lösungen wollen sie das Training effizienter und weniger speicherintensiv gestalten. Die erste Lösung ist auch als sogenanntes Sparse Update bekannt. Sie nutzt einen Algorithmus, der dafür zuständig ist, die wichtigsten Gewichte zu identifizieren, die in jeder Trainingsrunde aktualisiert werden müssen. Der Algorithmus friert dann nacheinander die Gewichte so lange ein, bis ein festgelegter Schwellenwert erreicht ist. Alle verbleibenden Gewichte werden weiter aktualisiert. Die eingefrorenen dagegen müssen nicht im Speicher abgelegt werden.

Maschinelle Lernmodelle: Training mit neuer Methode 20-mal schneller

Die zweite Lösung besteht aus einem quantisierten Training und der Vereinfachung der Gewichtungen, die typischerweise 32 Bit betragen. Der Algorithmus rundet nun die Gewichtungen durch eine Quantisierung. Das Ergebnis: Die Gewichtungen sind dann nur noch acht Bit groß. Dadurch reduziert sich die Speichermenge für Training und Inferenz. Danach wendet der Algorithmus die Technik „Quantization-Aware Scaling“ (QAS) an. Diese funktioniert wie ein Multiplikator und passt das Verhältnis zwischen Gewichtung und Gradient an, damit die Genauigkeit gewährleistet ist.

Aus diesen Ansätzen haben die Forschenden ein System entwickelt: Tiny Training Engine ist eine algorithmische Innovation, die auf einem einfachen Mikrocontroller ohne Betriebssystem funktioniert. Das System nimmt wichtige Änderungen vor: Es verschiebt die Schritte innerhalb des Trainings so, dass mehr Arbeit in der Kompilierungsphase stattfindet, bevor das Modell auf dem Edge-Gerät bereitgestellt wird. „Wir verschieben einen Großteil der Berechnungen wie die automatische Differenzierung und die Grafikoptimierung auf die Übersetzungszeit“, sagt Han. Die Optimierung benötigt nur 158 Kilobyte Speicher. Die anschließenden Tests zeigten, dass dieses Modell nach 10 Minuten Training Personen auf Bildern erkennen konnte. Damit war das Training 20-mal schneller als bei anderen Ansätzen. Nun wollen die Forschenden nach diesem Erfolg die Methode auch auf Sprachmodelle und andere Arten von Daten anwenden. Denn so ließe sich auch der CO2-Fußabdruck des Trainings reduzieren, wenn keine so großen maschinellen Lernmodelle mehr notwendig sind.

Mehr zum Thema KI:

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.