Neue KI-Modelle 05.10.2022, 07:00 Uhr

Maschinelle Lernmodelle: endlich auf kleinen Geräten möglich

Mehr Datenschutz, bessere Vorhersagen und das bei schnellerem Training und mit deutlich weniger Speicher: Eine Forschergruppe des MIT hat ein neues Trainingssystem auf Basis innovativer Algorithmen entwickelt, mit dem sich KI-Modelle deutlich verbessern lassen.

Personen auf einem Foto werden von künstlicher Intelligenz erkannt

Forschende des MIT haben mit einer neuen Methode gezeigt, dass maschinelle Lernmodelle nach nur zehn Minuten Training Personen auf Bildern erkennen können.

Foto: panthermedia.net/ AndreyPopov

Ohne Mikrocontroller oder Kleinst-Computer sind viele Anwendungen nicht möglich. Denn sie stellen die Basis dar für vernetzte Geräte. Das können solche für das Internet der Dinge sein (IoT), aber auch Sensoren in Autos oder Smartphones. Diese Mikrocontroller sind eigentlich nichts anderes als Halbleiterchips, in denen ein Prozessor und Peripheriefunktionen integriert sind. Da sie, wie der Name schon sagt, extrem klein sind, bieten diese Controller auch nur sehr wenig Speicherplatz und haben in der Regel kein Betriebssystem installiert. Sie sind für die Arbeit mit Modellen künstlicher Intelligenz (KI) daher ungeeignet.

Was Menschen wirklich über künstliche Intelligenz denken

Top Stellenangebote

Zur Jobbörse
Die Autobahn GmbH des Bundes-Firmenlogo
Abteilungsleitung (w/m/d) Bau, Baugrund- und Baustoffprüfung Die Autobahn GmbH des Bundes
Klinger und Partner GmbH-Firmenlogo
Projektleiter Tiefbau und Straße (m/w/d) Klinger und Partner GmbH
Stuttgart Zum Job 
SALT AND PEPPER Technology GmbH & Co. KG-Firmenlogo
Testingenieur Software für Entwicklungsprojekte (all genders) SALT AND PEPPER Technology GmbH & Co. KG
Hamburg Zum Job 
SALT AND PEPPER Technology GmbH & Co. KG-Firmenlogo
System Engineer für Entwicklungsprojekte (all genders) SALT AND PEPPER Technology GmbH & Co. KG
Hamburg Zum Job 
Stuttgart Netze GmbH-Firmenlogo
Ingenieur Energietechnik Smart Grid (w/m/d) Stuttgart Netze GmbH
Stuttgart Zum Job 
Panasonic Industrial DevicesEurope GmbH-Firmenlogo
Entwicklungsingenieur (m/w/d) in der industriellen Hardwareentwicklung Panasonic Industrial DevicesEurope GmbH
Lüneburg Zum Job 
SALT AND PEPPER Technology GmbH & Co. KG-Firmenlogo
Entwicklungsingenieur Hardware (all genders) SALT AND PEPPER Technology GmbH & Co. KG
Hamburg Zum Job 
Stadtwerke Görlitz AG-Firmenlogo
Referent Netztechnik (m/w/d) Stadtwerke Görlitz AG
Görlitz Zum Job 
HAWK Hochschule für angewandte Wissenschaft und Kunst-Firmenlogo
Leitung (m/w/d) des Gebäudemanagements HAWK Hochschule für angewandte Wissenschaft und Kunst
Hildesheim Zum Job 
Berliner Stadtreinigungsbetriebe (BSR)-Firmenlogo
Projektingenieurin / Projektingenieur (w/m/d) Bauwesen Deponietechnik Berliner Stadtreinigungsbetriebe (BSR)
Berlin, Homeoffice möglich Zum Job 
Die Autobahn GmbH des Bundes-Firmenlogo
Architekt / Ingenieur im Hochbau (w/m/d) Die Autobahn GmbH des Bundes
München Zum Job 
Die Autobahn GmbH des Bundes, Niederlassung Südbayern-Firmenlogo
Mitarbeiter für die Straßenbaubehörde (w/m/d) Die Autobahn GmbH des Bundes, Niederlassung Südbayern
Kempten (Allgäu) Zum Job 
WSW Wuppertaler Stadtwerke GmbH-Firmenlogo
Leitender Ingenieur (m/w/d) Planung / Bau Wärme WSW Wuppertaler Stadtwerke GmbH
Wuppertal Zum Job 
WSW Wuppertaler Stadtwerke GmbH-Firmenlogo
Ingenieur (m/w/d) Planung / Bau Wärme WSW Wuppertaler Stadtwerke GmbH
Wuppertal Zum Job 
Wuppertaler Stadtwerke-Firmenlogo
Leitender Ingenieur (m/w/d) Planung / Bau Wärme Wuppertaler Stadtwerke
Wuppertal Zum Job 
WSW Wuppertaler Stadtwerke GmbH-Firmenlogo
Ingenieur (m/w/d) Planung / Bau Wärme WSW Wuppertaler Stadtwerke GmbH
Wuppertal Zum Job 
BOGE Elastmetall GmbH-Firmenlogo
Ingenieur - FE-Berechnungen (m/w/d) BOGE Elastmetall GmbH
Damme (Niedersachsen) Zum Job 
FUNKE Wärmeaustauscher Apparatebau GmbH-Firmenlogo
Maschinenbauingenieur Fachrichtung Konstruktionstechnik (m/w/d) FUNKE Wärmeaustauscher Apparatebau GmbH
Gronau (Leine) Zum Job 
Schulte & Co. GmbH-Firmenlogo
Fertigungsplaner (m/w/d) Schulte & Co. GmbH
Die Autobahn GmbH des Bundes-Firmenlogo
Bauingenieur als Abteilungsleitung Grunderwerb, Liegenschaftsverwaltung (w/m/d) Die Autobahn GmbH des Bundes
Kempten Zum Job 

Deshalb hat man in der Regel bisher das Trainieren eines maschinellen Lernmodells eher mit leistungsstarken Computern in einem Rechenzentrum erledigt und das Modell im Anschluss auf einem sogenannten „Edge-Gerät“ bereitgestellt. Das ist allerdings aufwendig, damit teurer und zudem entstehen Datenschutzprobleme. Denn sobald es in diesem Zusammenhang auch um Benutzerdaten geht, werden diese zum Trainieren an einen zentralen Server gesendet. Aus Sicht einer Forscher-Gruppe des MIT wäre es viel besser, direkt auf einem intelligenten Edge-Gerät die Daten anzupassen. Damit das möglich wird, haben Sie eine neue Technik entwickelt.

Maschinelle Lernmodelle auf einem Mikrocontroller trainieren

Die Lösung: ein sogenanntes On-Device-Training, das mit weniger als einem Viertel Megabyte Speicher funktioniert. Dafür haben sie intelligente Algorithmen und Frameworks so entwickelt, dass der Rechenaufwand sich deutlich reduziert. Das hat dann auch den Vorteil, dass der Prozess des Trainierens eines Modells schneller und speichereffizienter möglich ist. Mit der neuen Technik könne man innerhalb nur weniger Minuten ein maschinelles Lernmodell auf einem Mikrocontroller trainieren.

Es biete zudem den Vorteil, dass private Daten dadurch besser geschützt seien, was insbesondere bei medizinischen Anwendungen ein wichtiges Thema ist. Denn sie blieben auf dem entsprechenden Gerät gespeichert und würden nicht zu einem externen Server geschickt. Die neue Art des Trainings könnte das Modell auf besondere Art und Weise anpassen und damit auch die Bedürfnisse der Benutzerin oder des Benutzers berücksichtigen. Auch die Genauigkeit des Modells im Vergleich zu anderen Ansätzen des Trainings würde sich verbessern. „Unsere Studie ermöglicht es IoT-Geräten, nicht nur Inferenzen durchzuführen, sondern auch die KI-Modelle kontinuierlich mit neu gesammelten Daten zu aktualisieren, was den Weg für lebenslanges Lernen auf dem Gerät ebnet. Die geringe Ressourcennutzung macht Deep Learning zugänglicher und kann eine größere Reichweite haben, insbesondere für Edge-Geräte mit geringem Stromverbrauch“, sagt Song Han, Professor am Department of Electrical Engineering and Computer Science (EECS). Inferenzen sind Prozesse, bei denen ein Modell auf einen Datensatz angewendet wird und dadurch eine Vorhersage möglich ist.

So werden maschinelle Lernmodelle effizienter

Die Modelle für maschinelles Lernen, die hauptsächlich im Einsatz sind, kennt man als sogenannte neuronale Netze. Sie funktionieren im weitesten Sinne wie das menschliche Gehirn. Knoten und Neuronen verarbeiten die Daten, um die gewünschte Aufgabe zu erledigen. Lautet diese Aufgabe, Personen auf Fotos zu erkennen, muss das Modell anhand von Millionen Beispielen diese Aufgabe zuerst erlernen. Dabei kommt es zu Gewichtungen und Aktivierungen und genau diese kommen dabei in großer Zahl vor, was am Ende viel Speicherplatz benötigt.

Die Forschenden setzten auf eine Alternative: Mit zwei algorithmischen Lösungen wollen sie das Training effizienter und weniger speicherintensiv gestalten. Die erste Lösung ist auch als sogenanntes Sparse Update bekannt. Sie nutzt einen Algorithmus, der dafür zuständig ist, die wichtigsten Gewichte zu identifizieren, die in jeder Trainingsrunde aktualisiert werden müssen. Der Algorithmus friert dann nacheinander die Gewichte so lange ein, bis ein festgelegter Schwellenwert erreicht ist. Alle verbleibenden Gewichte werden weiter aktualisiert. Die eingefrorenen dagegen müssen nicht im Speicher abgelegt werden.

Maschinelle Lernmodelle: Training mit neuer Methode 20-mal schneller

Die zweite Lösung besteht aus einem quantisierten Training und der Vereinfachung der Gewichtungen, die typischerweise 32 Bit betragen. Der Algorithmus rundet nun die Gewichtungen durch eine Quantisierung. Das Ergebnis: Die Gewichtungen sind dann nur noch acht Bit groß. Dadurch reduziert sich die Speichermenge für Training und Inferenz. Danach wendet der Algorithmus die Technik „Quantization-Aware Scaling“ (QAS) an. Diese funktioniert wie ein Multiplikator und passt das Verhältnis zwischen Gewichtung und Gradient an, damit die Genauigkeit gewährleistet ist.

Aus diesen Ansätzen haben die Forschenden ein System entwickelt: Tiny Training Engine ist eine algorithmische Innovation, die auf einem einfachen Mikrocontroller ohne Betriebssystem funktioniert. Das System nimmt wichtige Änderungen vor: Es verschiebt die Schritte innerhalb des Trainings so, dass mehr Arbeit in der Kompilierungsphase stattfindet, bevor das Modell auf dem Edge-Gerät bereitgestellt wird. „Wir verschieben einen Großteil der Berechnungen wie die automatische Differenzierung und die Grafikoptimierung auf die Übersetzungszeit“, sagt Han. Die Optimierung benötigt nur 158 Kilobyte Speicher. Die anschließenden Tests zeigten, dass dieses Modell nach 10 Minuten Training Personen auf Bildern erkennen konnte. Damit war das Training 20-mal schneller als bei anderen Ansätzen. Nun wollen die Forschenden nach diesem Erfolg die Methode auch auf Sprachmodelle und andere Arten von Daten anwenden. Denn so ließe sich auch der CO2-Fußabdruck des Trainings reduzieren, wenn keine so großen maschinellen Lernmodelle mehr notwendig sind.

Mehr zum Thema KI:

Ein Beitrag von:

  • Nina Draese

    Nina Draese hat unter anderem für die dpa gearbeitet, die Presseabteilung von BMW, für die Autozeitung und den MAV-Verlag. Sie ist selbstständige Journalistin und gehört zum Team von Content Qualitäten. Ihre Themen: Automobil, Energie, Klima, KI, Technik, Umwelt.

Zu unseren Newslettern anmelden

Das Wichtigste immer im Blick: Mit unseren beiden Newslettern verpassen Sie keine News mehr aus der schönen neuen Technikwelt und erhalten Karrieretipps rund um Jobsuche & Bewerbung. Sie begeistert ein Thema mehr als das andere? Dann wählen Sie einfach Ihren kostenfreien Favoriten.