Funknetze als Sensor

Production process monitoring through AI-based radio signal analysis – DeltaPro: Radio Networks as Production Sensors

Abstract Manufacturing SMEs need cost-effective solutions for process monitoring that do not require dedicated sensor installations. The BMFTR-funded project DeltaPro investigates a novel approach: Ultra-Wideband (UWB) radio networks simultaneously serve as communication infrastructure and as sensors for detecting process deviations. AI-based methods extract recurring patterns from channel impulse responses and identify anomalies as early warnings.

1 Herausforderung: Prozessüberwachung in KMU

Effizienz und Qualität sind entscheidende Faktoren für den Erfolg produzierender Unternehmen. Abweichungen von optimierten Soll-Prozessen führen zu verminderter Produktqualität oder ineffizientem Prozessablauf in Form von erhöhtem Ressourcenaufwand und längeren Produktionszeiten. Einem fortlaufenden Monitoring der Ist-Prozesse kommt damit eine Schlüsselrolle zu [1].

In kleinen und mittleren Unternehmen (KMU) ist die Umsetzung eines kontinuierlichen Monitorings häufig mit besonderen Herausforderungen verbunden. Diese ergeben sich unter anderem aus vergleichsweise kleinen Losgrößen, einer hohen Variantenvielfalt sowie einem hohen Anteil manueller Prozessschritte. Klassische Ansätze setzen auf Maschinendaten oder zusätzliche Sensorik, was im KMU-Umfeld nur eingeschränkt praktikabel ist: Maschinendaten sind häufig nicht verfügbar, während eine flächendeckende Nachrüstung mit Sensorik mit hohem Installations- und Wartungsaufwand verbunden ist.

Das BMFTR-geförderte Forschungsprojekt DeltaPro adressiert diese Lücke mit einem neuartigen Ansatz: Vorhandene drahtlose Breitbandnetze werden nicht nur zur Kommunikation genutzt, sondern gleichzeitig als flächendeckender Sensor zur Beobachtung von Produktionsprozessen, Bild 1.

Durch die Kombination mit Methoden der Künstlichen Intelligenz entsteht ein Frühwarnsystem, das Prozessabweichungen erkennt, bevor sie sich auf Produktqualität oder Durchlaufzeiten auswirken.

2 Projektkonsortium und Zielsetzung

DeltaPro ist ein Verbundprojekt im Rahmen der Fördermaßnahme „KMU-innovativ: Produktionsforschung“ mit einer Laufzeit von November 2023 bis Februar 2026. Das Konsortium vereint komplementäre Kompetenzen aus Industrie und Forschung: ASTRUM IT GmbH (Konsortialführung): Systemintegration, Entwicklung des Prädiktions-Frameworks und der Benutzeroberfläche; QUALIGON GmbH: Entwicklung der UW B-Sensorknoten, Systemkonzept und Integration in der Einsatzumgebung; Fraunhofer Institut für Integrierte Schaltungen IIS: Signalverarbeitung und Entwicklung des KI-basierten Prädiktionsmodells; STEMA Metalleichtbau GmbH: Anwendungspartner in der PKW-Anhängerfertigung. Ziel des Projekts ist die Entwicklung eines Systems zum Monitoring von Produktionsprozessen unter KMU-typischen Bedingungen. Der zentrale Ansatz betrachtet die Produktion als „Blackbox“, Bild 2: Ohne detaillierte Prozessmodelle oder zusätzliche Sensorik werden über die Auswertung von Signalparametern bestehender Funknetze relevante Veränderungen erkannt und als Frühwarnung bereitgestellt.

3 Technischer Ansatz: Joint Communication and Sensing

Der technische Kern von DeltaPro basiert auf dem Prinzip des Joint Communication and Sensing (JCAS) [2; 3]. Diese Verfahren werden als Schlüsseltechnologie für Mobilfunknetze der 6. Generation diskutiert, lassen sich aber bereits in heutigen UWB-Netzen einsetzen. Dabei werden Ultra-Breitband-Signale nicht nur für Kommunikation und Lokalisierung genutzt, sondern ihre Signalparameter, insbesondere die Kanalimpulsantwort (Channel Impulse Response, CIR), als sensorische Informationsquelle ausgewertet.

Die CIR beschreibt, wie ein ausgesendeter Impuls über verschiedene Signalpfade beim Empfänger ankommt. Durch die sehr breitbandigen UWB-Signale im Frequenzbereich von 6 GHz bis 10 GHz lassen sich vielfältige Umgebungseinflüsse über die Vielzahl an Signalpfaden und Reflexionen erfassen. Veränderungen in der Produktionsumgebung, etwa durch Bewegungen von Personen, Materialtransport oder Maschinentätigkeit, modifizieren diese Signalpfade messbar. Durch den Einsatz mehrerer UWB-Knoten in einer vermaschten Anordnung (Mesh) entsteht ein räumlich verteilter, makroskopischer Sensor, der großflächig Aktivitäten erfasst.

3.1  DeltaPro-Sensorknoten

Der Projektpartner QUALIGON entwickelte für das Projekt einen spezialisierten UWB-Sensorknoten, der über mehrere Iterationen optimiert wurde, Bild 3.

Die aktuelle Version besteht aus drei Hauptkomponenten: einem UWB-Transceiver für den Signalempfang, einem Mikrocontroller als Master-Steuerung für Konfiguration und CIR-Datenerfassung sowie einem zusätzlichen Controller für Ethernet-Kommunikation und Power-over-Ethernet-Versorgung (PoE). Mit dieser Architektur wurden CIR-Messungen mit einer Update Rate von 8 Hz sowie etwa 500 Samples pro Messung durchgeführt.

Die Umschaltung zwischen Sende- und Empfangsmodus erfolgt in circa 180 Millisekunden. Die Knoten werden über eine REST-API konfiguriert und lassen sich flexibel an unterschiedliche Messszenarien anpassen.

Die erfassten CIR-Daten werden im JSONL-Format über das lokale Netzwerk an einen Edge-Server übertragen. Dort übernimmt ein Apache-Kafka-System die Rolle des Datenbrokers. Der lokale Server steuert zudem den zeitlichen Ablauf der Messungen über einen Planer, der Arbeitszeiten berücksichtigt und die Knoten automatisiert aktiviert. Im Projekt wurden bei STEMA über 300 Gigabyte an CIR-Rohdaten gesammelt.

3.2  KI-basiertes Prädiktionsmodell

Das Fraunhofer IIS entwickelte in diesem Projekt ein hybrides Verfahren zur Anomalieerkennung, das sich von gängigen Machine-Learning-Ansätzen unterscheidet. Klassische Methoden zur Anomalieerkennung in Zeitreihen sind rekonstruktions-, vorhersage- oder kontrastbasiert. Diese setzen typischerweise voraus, dass die Trainingsdaten frei von Anomalien sind. In realen Produktionsumgebungen ist dies nicht üblich und nicht postulierbar. Zudem sind diese Verfahren oft rechenintensiv und bei hohen Datenraten nur mit GPU-Beschleunigung echtzeitfähig.

Der in DeltaPro gewählte Ansatz kombiniert zwei Stufen: Zunächst werden die CIR-Daten (500 Amplitudenwerte pro Messung und Link) mittels nicht-linearer Dimensionsreduktion in einen kompakten Merkmalsraum überführt. Evaluiert wurden verschiedene Verfahren wie UMAP, t-SNE und Autoencoder-basierte Ansätze; durchgesetzt hat sich ein VQ-VAE (Vector Quantized Variational Autoencoder) aufgrund seiner Robustheit gegenüber Rauschen und seiner parametrischen Natur, die eine schnelle Inferenz ermöglicht.

In der zweiten Stufe werden aus den dimensionsreduzierten Trainingsdaten charakteristische Signalmuster extrahiert, sogenannte Shapelets [4]: ein Shapelet ist ein wiederkehrendes Teilmuster in einer Zeitreihe, das stark mit einem bestimmten Prozesszustand korreliert. Die Extraktion erfolgt durch Berechnung paarweiser Distanzen aller möglichen Signalausschnitte einer definierten Länge. Das repräsentativste Muster wird als Referenz-Shapelet ausgewählt.

In der Inferenzphase wird das extrahierte Shapelet entlang neuer Signaldaten verschoben und an Positionen mit geringer Distanz platziert. Bereiche ohne Shapelet-Treffer werden als potenzielle Anomalien markiert. Dieses Verfahren benötigt keine gelabelten Trainingsdaten und ist CPU-basiert echtzeitfähig.

4 Gesamtsystemarchitektur

DeltaPro basiert auf einer modularen, containerisierten Gesamtarchitektur, Bild 4.

Die End-to-End-Datenverarbeitungskette umfasst fünf Schichten:

• Sensorschicht: Acht bis zehn UWB-Knoten in Mesh-Anordnung erfassen CIR-Daten und übertragen sie per Ethernet an den lokalen Edge-Server.
• Datenbroker: Apache Kafka entkoppelt Datenerzeugung und -verarbeitung, speichert Rohdaten sowie vorverarbeitete Signaldaten und ermöglicht Echtzeit-Streaming an Konsumenten.
• KI-Service: Ein Python-basierter Dienst führt Dimensionsreduktion und Shapelet-Matching durch und erzeugt Hinweise bei erkannten Anomalien.
• Backend: Eine Java-basierte REST-API aggregiert Hinweise, leitet diese zur Vorqualifizierung an den eigenentwickelten ML-Service weiter und stellt Daten für die Visualisierung bereit. Zusätzlich stellt das Backend dem KI- und ML-Service Nutzer-Feedback zur iterativen Modellverbesserung bereit.
• Frontend: Eine Angular-basierte Webanwendung zeigt erkannte Auffälligkeiten parallel als Liste und auf einer Anlagenkarte, bietet Filter- und Sortiermöglichkeiten und ermöglicht die Bewertung durch Prozessverantwortliche.

Alle Systemkomponenten sind als Docker-Container realisiert, was ein standardisiertes Deployment in unterschiedlichen Produktionsumgebungen ermöglicht. Die Feedback-Schleife vom Nutzer über den Datenbroker zurück zum KI-Modell erlaubt eine iterative Verbesserung der Erkennungsleistung im laufenden Betrieb. Systemtests und End-to-End-Tests sichern die Funktionsfähigkeit der Gesamtkette.

5  Messkampagnen und Ergebnisse

Die Validierung des DeltaPro-Ansatzes erfolgte in zwei komplementären Umgebungen: in der L.I.N.K.-Halle des Fraunhofer IIS als kontrollierte Laborumgebung sowie bei STEMA Metalleichtbau als reale Produktionsumgebung.

5.1  Laborvalidierung in der L.I.N.K.-Halle

In der L.I.N.K.-Halle des Fraunhofer IIS in Nürnberg, Bild 5, wurde ein Montageprozess mit drei definierten Zwischenschritten und gezielt eingebauten Anomalien nachgestellt. Fünf UWB-Anker auf Basis der Fraunhofer-eigenen Hardwareplattform bildeten ein Meshnetz mit 22 Links, über das insgesamt 781.104 CIR-Datensätze in 15 Aufnahmen erfasst wurden. Die Anomalien bestanden aus Fehlern im Prozessablauf sowie dem Verlassen des Aufnahmebereichs.

Die Ergebnisse zeigen ein klares, reproduzierbares Muster in den dimensionsreduzierten Signaldaten. Der Shapelet-Algorithmus erkennt die wiederkehrenden Prozessmuster zuverlässig und identifiziert eingebaute Anomalien korrekt, Bild 6.

Die kontrollierte Umgebung bestätigt die grundsätzliche Funktionsfähigkeit des Ansatzes unter idealen Bedingungen.

5.2  Feldvalidierung bei STEMA

Bei STEMA Metalleichtbau in Großenhain wurden über drei Tage hinweg sowohl der normale Arbeitsablauf als auch gezielt nachgestellte Prozesse aufgenommen. Dabei kamen parallel die Fraunhofer-Knoten und die QUALIGON-Knoten zum Einsatz. Die reale Produktionsumgebung der PKW-Anhängerfertigung unterscheidet sich fundamental von der Laborsituation: Die Abläufe sind hochdynamisch, Metallkisten und Bauteile werden ständig umgestellt und verändern so die Umgebung kontinuierlich.

Für den strukturierten Testprozess – eine definierte Reihenfolge an vier Arbeitstischen mit jeweils 30 Sekunden Arbeitszeit – konnte der Algorithmus die Prozessmuster nach Filterung relevanter Links erfolgreich extrahieren und eingebaute Anomalien (veränderte Reihenfolge) erkennen. Im normalen, unstrukturierten Betrieb stößt der aktuelle Algorithmus hingegen an seine Grenzen: Die ständigen Umgebungsveränderungen durch verschobene Metallkisten und wechselnde Aufbauten an den Werkbänken überlagern die prozessrelevanten Signale.

Ein wichtiges Teilergebnis war die Erkenntnis, dass nicht alle Links gleichwertig zur Prozesserkennung beitragen. Einzelne Links lieferten keine verwertbaren Informationen aufgrund ungünstiger Multipath-Interferenz. Die automatisierte Selektion relevanter Links ist daher ein wesentlicher Schritt für den praktischen Einsatz.

6 Fazit und Ausblick

Das Projekt DeltaPro konnte nachweisen, dass Signalparameter aus drahtlosen Breitbandnetzen grundsätzlich geeignet sind, makroskopische Veränderungen und Aktivitäten in Produktionsumgebungen zu erfassen. Zeitliche und räumliche Muster in den Signaldaten lassen Rückschlüsse auf Abläufe, Bewegungen und Zustandsänderungen zu – auch ohne detaillierte Kenntnis der Einzelprozesse.

Die entwickelte Shapelet-basierte Methode erkennt Anomalien zuverlässig in strukturierten Prozessen mit wiederkehrendem Charakter. In dynamischen Umgebungen mit häufigen Umgebungsveränderungen ist die Ableitung stabiler Prozessmuster anspruchsvoller als ursprünglich angenommen. Die Detektion entspricht hier eher einer ereignisbasierten Wahrnehmung einzelner Aktivitäten.

Für die Weiterentwicklung zur Anwendungsreife sind insbesondere folgende Aspekte zu adressieren:

• Automatisierte Selektion relevanter Links und Filterung störender Signalquellen
• Variable Zeitausschnitte bei der Shapelet-Kandidatenauswahl und Dynamic Time Warping für zeitlich variable Prozesse
• Automatisierte Schwellwertbestimmung für die Anomalieklassifikation
• Kombination mit ergänzenden Informationsquellen wie Auftragsdaten zur kontextbezogenen Interpretation
• Langzeitstabilität und adaptive Rekalibrierung bei sich verändernden Umgebungen

Der wesentliche Mehrwert des Projekts liegt im Nachweis der prinzipiellen Machbarkeit eines sensorlosen, funkbasierten Prozessmonitorings. Für KMU eröffnet dies perspektivisch die Möglichkeit, mit geringem Installationsaufwand ein Frühwarnsystem zu betreiben, das bislang nur hochautomatisierten Produktionsumgebungen vorbehalten war. Die modulare Systemarchitektur und die Nutzung industriell verfügbarer UWB-Technologie bilden eine tragfähige Basis für weiterführende Entwicklungen.

.

Literatur
[1] Bauernhansl, T.; ten Hompel, M.; Vogel-Heuser, B. (Hrsg.): Industrie 4.0 in Produktion, Automatisierung und Logistik. Wiesbaden: Springer Vieweg 2014
[2] Liu, F.; Cui, Y.; Masouros, C. et al.: Integrated Sensing and Communications: Toward Dual-Functional Wireless Networks for 6G and Beyond. IEEE Journal on Selected Areas in Communications 40 (2022) 6, pp. 1728–1767. https://doi.org/10.1109/JSAC.2022.3156632
[3] Zhang, J. A.; Liu, F.; Masouros, C.; Heath, R. W.; Feng, Z.; Zheng, L.; Petropulu, A.: An Overview of Signal Processing Techniques for Joint Communication and Radar Sensing. IEEE Journal of Selected Topics in Signal Processing 15 (2021) 6, pp. 1295–1315. https://doi.org/10.1109/JSTSP.2021.3113120
[4] Ye, L.; Keogh, E.: Time Series Shapelets: A New Primitive for Data Mining. In: Proceedings of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM 2009, pp. 947–956. https://doi.org/10.1145/1557019.1557122

Autoren
Werner Spiegl 
werner.spiegl@astrum-it.de 
ASTRUM IT GmbH 
Am Wolfsmantel 2, 91058 Erlangen 
www.astrum-it.de

Georgios Karachos 
georgios.karachos@qualigon.de 
QUALIGON GmbH 
Brüderweg 228, 57074 Siegen 
www.qualigon.de

Steffen Meyer 
steffen.meyer@iis.fraunhofer.de
Fraunhofer-Institut für Integrierte Schaltungen IIS 
Nordostpark 84, 90411 Nürnberg
www.iis.fraunhofer.de

Marcus Antrack
STEMA Metalleichtbau GmbH
Riesaer Straße 50, 01558 Großenhain
www.stema.de