KI-basiertes Assistenzsystem zur Qualitätskontrolle

Laura Robl; Alexander Luther; Konrad Jagusch; Michael Geist; Jan Sender

doi:10.1515/zwf-2024-0150

Article Open Access

KI-basiertes Assistenzsystem zur Qualitätskontrolle

Laura Robl
Laura Robl, M. Sc., ist als Wissenschaftliche Mitarbeiterin im Team der Produktionsplanung und -steuerung tätig und beschäftigt sich mit KI-gestützter und simulativer Prozesssteuerung.
, Alexander Luther
Alexander Luther, M. Sc., ist als Wissenschaftlicher Mitarbeiter im Team Messen von Großstrukturen tätig und beschäftigt sich mit dem maschinellen Sehen und insbesondere mit KI-basierter Objekterkennung.
, Konrad Jagusch
Dr.-Ing. Konrad Jagusch ist am Fraunhofer-Institut für Großstrukturen in der Produktionstechnik IGP tätig und leitet die Forschungsgruppe der Produktionsplanung und -steuerung.
, Michael Geist
Prof. Dr.-Ing. Michael Geist lehrt an der Agrar- und Umweltwissenschaftlichen Fakultät der Universität Rostock und leitet die Forschungsgruppe Messen von Großstrukturen des Fraunhofer-Instituts für Großstrukturen in der Produktionstechnik IGP.
and Jan Sender
Prof. Dr.-Ing. habil. Jan Sender ist Inhaber des Lehrstuhls Produktionsorganisation und Logistik an der Universität Rostock.

Published/Copyright: March 27, 2025

Published by

Become an author with De Gruyter Brill

Submit Manuscript Author Information

From the journal Zeitschrift für wirtschaftlichen Fabrikbetrieb Volume 120 Issue s1

Abstract

Aus unterschiedlichen Erfahrungen von Mitarbeitenden und hoher Komplexität bei der Montage von Großstrukturen, resultieren variierende Prüfergebnisse bei einer abschließenden Qualitätskontrolle. Es ergeben sich Verbesserungspotenziale hinsichtlich der Prozesssicherheit und Durchführungszeit. Innerhalb eines Anwendungsfalls soll untersucht werden, wie eine digitalisierte und auf künstlicher Intelligenz (KI) basierende Lösung zu einer effizienteren Durchführung dieses Prozesses beiträgt. Durch das KI-basierte Auffinden verschiedener Prüfmerkmale und anschließendem Soll-Ist-Abgleich werden mögliche Diskrepanzen deutlich, sodass fehlende oder mangelhafte Bauteile dokumentiert werden.

Abstract

Due to the different levels of experience of employees and the high complexity of assembling large structures, varying test results occur during a final quality control. There are potential improvements regarding process safety and execution time. There is potential for improvement in terms of process reliability and execution time. A use case will be used to investigate how a digitalised solution based on artificial intelligence (AI) can contribute to a more efficient execution of this process. The AI-based detection of various inspection characteristics and subsequent target-actual comparison will highlight possible discrepancies so that missing or defective components can be documented.

Schlüsselwörter: Künstliche Intelligenz; Qualitätssicherung; Digitale Assistenz; Großstrukturen; Bilderkennung; Maschinelles Sehen

Keywords: Artificial Intelligence; Quality Assurance; Digital Assistance; Large Structures; Machine Vision

Einleitung

In der Produktion wird die menschliche Arbeitskraft zunehmend begrenzter, kann jedoch durch digitale Assistenzsysteme erheblich unterstützt werden [1]. Der Fachkräftemangel hat im Vergleich zum Vor-Corona-Niveau zugenommen. Im Juli 2023 berichteten 43,1 Prozent der 9.000 befragten Unternehmen von fehlenden geschulten Arbeitskräften [2]. Die Herausforderungen, die sich durch eine stark limitierte Belegschaft ergeben, müssen bewältigt werden, um ein wirtschaftliches Fortbestehen von Unternehmen zu sichern. Vorhandene Aufgaben müssen vereinfacht oder beispielsweise durch Algorithmen übernommen werden.

Durch die Nutzung von KI, beispielsweise als Assistenzsystem, versprechen sich Unternehmen ökonomische Potenziale. Die industrielle Nutzung ist allerdings aufgrund von möglichen Investitionskosten oder Akzeptanzproblemen bei den Beschäftigten bisher eher zurückhaltend. [3]

Grundlagen

Als digitales Assistenzsystem werden eine Vielzahl an unterschiedlichen Technologien und mobilen Endgeräten wie Smartphones, Smartwatches oder Datenbrillen bezeichnet [4]. Sie bieten Unterstützung für Mitarbeitende bei der Ausführung ihrer Aufgaben, indem sie sowohl Informationen bereitstellen als auch bestimmte, sich häufig wiederholende Teilaufgaben übernehmen. Die Notwendigkeit solcher Systeme ergibt sich insbesondere aus dem demografischen Wandel und damit verbundenen älteren bzw. Mangel an qualifizierten Arbeitskräften [1]. Ihr Einsatz führt dabei zu einer Verringerung der Prozesskomplexität und der erforderlichen Durchführungszeit [5]. Im Rahmen von Forschungsprojekten wird die Anwendung von Assistenzsystemen insbesondere in den Bereichen Montage und Qualitätssicherung untersucht [6]. In Kombination mit KI führen digitale Assistenzsysteme zur Erhöhung der Flexibilität in diesen Bereichen [7]. Untersuchungen zeigen dabei unternehmensübergreifende Anforderungen. Im Fokus stehen Bedienerfreundlichkeit, Verlässlichkeit und Individualisierbarkeit der Systeme [8].

Eine Möglichkeit, menschliche Aufgaben mithilfe von KI zu automatisieren, ist das maschinelle Sehen. Der Einsatz dieser KI-basierten Bildverarbeitung gewinnt in der Fertigung zunehmend an Bedeutung und führt zu diversen Vorteilen [9]. Dazu gehört mitunter, dass eine objektive Prüfung kontinuierlich und hoch reproduzierbar erfolgen kann. Dies betrifft vor allem das Inspizieren von Produktionsketten oder Prozessen. Weiterhin stellt die Bildverarbeitung eine Form der zerstörungsfreien Prüfung dar. Viele Anwendungen lassen sich derzeit in der Automobilindustrie auffinden. Der Einsatz von KI erfolgt zur Identifikation von Schäden auf Oberflächen [10] oder zur Detektion von Korrosionen [11]. In anderen Bereichen wird maschinelles Sehen eingesetzt, um Prognosen über die Lebensdauer von Objekten abzugeben [12].

Praxisorientierter Lösungsansatz

Zur Entwicklung des intelligenten Assistenzsystems im vorliegenden Anwendungsfall der komplexen Großstrukturen wird der Cross-Industry Standard Process for Data Mining (CRISP-DM), ein Standardansatz für Data-Science- und Machine-Learning-Projekte, herangezogen. In diesem sind verschiedene Prozessabschnitte eingebettet, die in einer bestimmten vorgegebenen Reihenfolge bzw. iterativ abgearbeitet werden (Bild 1). An erster Position steht dabei das Business Understanding zur Definition der Ziele und Anforderungen des spezifischen Anwendungsfalls. Anschließend folgt das Data Understanding. Hier werden die Daten, die Bilder der Prüfmerkmale, die das Soll definieren, erfasst und erstmals gesichtet. Anschließend folgt die Vorverarbeitung. Es werden alle Operationen an den Rohdaten durchgeführt, die für eine erfolgreiche Analyse notwendig sind. Dazu gehören mitunter die Bereinigung, die Harmonisierung und die Umwandlung der Daten in andere Formate oder die Skalierung der Bilder. Anschließend erfolgt die Modellierung mithilfe verschiedener Modelle (Faster R-CNN, YOLO oder SSD). Die entstandenen Bilderkennungsmodelle werden optimiert, verglichen und validiert. Falls noch Anpassungen vorzunehmen oder Verbesserungen möglich sind, müssen diese Erkenntnisse in das Business Understanding eingebettet und die Schritte erneut durchlaufen werden. Sind die Ergebnisse der Evaluation jedoch erfolgreich, kann die Implementierung in das digitale Assistenzsystem durchgeführt werden.

Bild 1

Crisp-DM-Vorgehen

Business Understanding

Im ersten Schritt des Business Understanding ist es erforderlich, die Ausgangssituation präzise zu definieren und zu analysieren. Das vorliegende Praxisbeispiel bezieht sich auf die abschließende Qualitätskontrolle nach der vollständigen Montage aller Komponenten einer Großstruktur. Der Prozess umfasst die dokumentierte Prüfung von mindestens 80 Merkmalen, deren Ausprägung je nach Spezifikation des Endprodukts variiert und mehrere Unterkategorien beinhaltet. Eine Analyse der Prüfmerkmale zeigt, dass mindestens 20 Prozent der Prüfungen taktil sind und daher nicht durch optische Verfahren erfasst werden können. Des Weiteren existieren Merkmale, die spezifiziert werden müssen, um von einer KI interpretierbar zu sein. Beispielsweise ist es einer KI nicht möglich, zu erkennen, ob ein Bauteil, wie eine Pumpe, „korrekt“ montiert wurde. Es kann jedoch optisch überprüft werden, ob das Bauteil vorhanden ist und die Anschlüsse an der vorgesehenen Position platziert sind. Es erfolgt daher eine implizite Ableitung der „korrekten“ Montage.

Neben der großen Vielfalt der Prüfprotokolle ergeben sich zusätzliche Herausforderungen für das zu entwickelnde System. Dazu zählen insbesondere die beengten Platzverhältnisse vor Ort sowie variierende Lichtverhältnisse, die die Durchführung der Prüfungen erschweren.

Data Understanding und Data Preperation

Der initiale Datensatz umfasst eine Vielzahl von Bildern, die verschiedene Objekte zeigen und Bestandteil der Qualitätskontrolle sind. Die Objekte weisen dabei deutliche Größenunterschiede auf, werden verdeckt oder sind zum Teil nur anhand von kleinen Details voneinander zu unterscheiden. Die Bilder werden unter verschiedenen Rahmenbedingungen, beispielsweise Lichtverhältnissen, aufgenommen und sollen damit möglichst viele Realbedingungen abdecken. Dies führt dazu, dass die Helligkeit in den Bildern stark variiert. Weiterhin werden die Bilder mit verschiedenen Geräten erfasst und liegen daher in unterschiedlichen Auflösungen vor. Dies führt dazu, dass die Erkennung unabhängig von der Bildqualität des Endgeräts durchgeführt werden kann. Um eine Harmonisierung der Daten zu ermöglichen, müssen die Bilder auf eine gemeinsame Größe skaliert werden. Bei einer realen Qualitätskontrolle ist die Häufigkeit, mit der potenzielle Prüfmerkmale auftreten, nicht homogen verteilt. Dies kann dadurch kompensiert werden, dass von gering vorkommenden Objekten mehr Bilder aufgenommen werden. Der Nachteil an diesem Ansatz ist, dass viele Bilder in ähnlicher Umgebung und unter ähnlichen Bedingungen entstehen, was wiederum zu schlechteren Trainingsergebnissen führen kann. Wird auf diese Maßnahme verzichtet, muss bei der Bewertung der Modelle auf Metriken zurückgegriffen werden, die eine inhomogene Datenverteilung berücksichtigen.

Modeling und Evaluation

Im Rahmen der Qualitätskontrolle muss die Objekterkennung mit einer möglichst hohen Genauigkeit erfolgen. Weiterhin treten in den Bildern vermehrt kleine Objekte auf. Dabei ist nicht die tatsächliche Größe des Objekts von Relevanz, sondern das Verhältnis seiner Pixel zum Gesamtbild. Um beide Szenarien adäquat abbilden zu können, wird das Faster-R-CNN-Modell für die Objekterkennung gewählt. Gegenüber anderen gängigen Modellen, wie z. B. YOLO oder SSD, ist es insbesondere für die Erkennung kleiner Objekte zu bevorzugen. Transformer-Modelle werden ebenfalls berücksichtigt, haben jedoch den Nachteil, dass sie sowohl in der Trainingsphase als auch bei der Inferenz langsamer sind.

Um die Modellgröße zu reduzieren und die Inferenz somit zu beschleunigen, werden die vorhandenen Klassen in Gruppen unterteilt und anschließend wird ein mittels Fine-Tuning erzeugtes Modell für jede Gruppe generiert. Für die Inferenz werden zwei verschiedene Strategien erprobt. Im ersten Fall werden auf den Testbildern zunächst die Objekte identifiziert, deren Label einer Gruppe zugeordnet werden kann. In der zweiten Stufe erfolgt die Erkennung der tatsächlichen Klasse innerhalb der Gruppe. Der zweite Ansatz sieht vor, dass die gruppenspezifischen Modelle sequenziell oder parallel angewandt und die Ergebnisse überlagernd dargestellt werden.

Die Aufteilung der Prüfmerkmale erfolgt in drei Gruppen. Die jeweiligen Modelle werden an einem Testdatensatz evaluiert (Bild 2). Als Metrik wird hier die Mean Average Precision (mAP) aufgeführt, die den Mittelwert aller durchschnittlichen Genauigkeiten der vorhandenen Klassen darstellt. Zwei Gruppen (rot, schwarz) können sehr gute Trainingsergebnisse erreichen, was sich in einem mAP von ungefähr 0,9 manifestiert. Die dritte Gruppe (grün) liefert mit einer mAP von ca. 0,73 schlechtere Ergebnisse. Dies hängt damit zusammen, dass in dieser Gruppe viele ähnliche Prüfmerkmale vorliegen und nahezu ausschließlich kleine Objekte vorhanden sind. Die Ergebnisse können sich durch speziell zugeschnittene Methoden verbessern lassen. Dies hat jedoch oft eine verlängerte Inferenzzeit zur Folge.

Bild 2

Vergleich der Genauigkeiten der Modelle für die unterschiedlichen Prüfmerkmalsgruppen

Deployment

Das trainierte Modell wird abschließend in einem Assistenzsystem zur Verfügung gestellt. Aus der Ausgangssituation und den im Buisness Understanding definierten Herausforderungen ergeben sich der Zielprozess und ein Tablet als gewähltes Endgerät für die Mitarbeitenden.

Resultierend aus den Abmessungen der Großstruktur erfolgt eine Teilung des Gesamtsystems in Subsysteme. Diese bestehen wiederum aus einzelnen Modulen, die die zu prüfenden Merkmale enthalten. Jedes dieser Subsysteme lässt sich eindeutig über einen scanbaren QR-Code identifizieren. Anwendungsseitig werden nun die zu prüfenden Module nacheinander abgearbeitet. Dabei werden die einzelnen Vorgabebilder entsprechend einer festgelegten Reihenfolge als halbtransparente Vorlage auf dem mobilen Endgerät gezeigt (Bild 3). Diese intuitive Aufnahme der Ist-Bilder erhöht dabei die Akzeptanz durch die Endnutzer, da diese eine visuelle Rückmeldung erhalten, dass das Bild richtig aufgenommen wird.

Bild 3

Prozessablauf an einem Beispielobjekt in Laborumgebung

Die Soll-Bilder müssen vor Beginn des Prüfprozesses definiert sein und können für jede weitere Qualitätskontrolle herangezogen werden. Der Endnutzer soll nun mithilfe des Assistenzsystems ein Bild aus einer ähnlichen Perspektive aufnehmen, um sicherzustellen, dass möglichst alle geforderten Prüfmerkmale erkannt werden. Es erfolgt eine Auswertung durch die Recheneinheit, welche sich im selben Netzwerk befindet und über dieses verschickt wird. Der Grenzwert für die Detektion liegt dabei bei einer 95 %-igen Sicherheit durch die KI. Die detektierten Ist-Prüfmerkmale (grün hinterlegt) werden mit den Soll-Informationen verglichen. Wird eine Diskrepanz festgestellt, werden dem Endnutzer die Merkmale angezeigt, die nicht durch die KI erkannt wurden. Es besteht dabei die Möglichkeit, dass sie auf dem Foto nicht oder in zu schlechter Qualität vorlagen. Es obliegt dem Nutzer, ein neues Foto aufzunehmen oder zu bestätigen, dass dieses Merkmal fehlt. Dadurch, dass der Endnutzer eine visuelle Vorgabe bekommt, kann sichergestellt werden, dass die vorgesehenen Merkmale unabhängig von der Erfahrung der Mitarbeitenden erfasst werden. Durch eine automatisierte Detektion können Prozesszeiten stabilisiert und der Einfluss der menschlichen Komponente (Erfahrung oder Alter) auf die Bearbeitungszeit und Prüfqualität minimiert werden.

Zusammenfassung und Ausblick

Im vorliegenden Use Case wird die Einsatzfähigkeit eines Assistenzsystems, gekoppelt an eine KI-basierte Auswertung von Bildern zur Qualitätskontrolle, untersucht. Dafür wurde eine mobile Webanwendung entwickelt, welche die Prozessführung übernimmt und bei der Aufnahme von Bildern durch eine halbtransparente Vorlage definierter Prüfmerkmale unterstützt. Die Prüfmerkmale auf den Bildern werden mit einem Faster -CNN-Modell detektiert. Es konnte nachgewiesen werden, dass eine Vielzahl diversifizierter Prüfmerkmale innerhalb kürzester Zeit untersucht werden kann, was eine klare Abgrenzung gegenüber einer gewöhnlichen visuellen Kontrolle darstellt. Somit ist eine deutliche Erhöhung der Prüfmerkmalanzahl für den Prozess umsetzbar.

Im Rahmen der zukünftigen Weiterentwicklung der bestehenden Qualitätskontrolle ist vorgesehen, das Potenzial auszuschöpfen und zusätzliche Prüfmerkmale zu integrieren. Dabei ist sicherzustellen, dass die KI-Modelle auch unter den neuen Bedingungen präzise Ergebnisse liefern und die Prüfdauer nicht wesentlich verlängert wird. Dies kann durch die Erprobung weiterer Modelle erreicht werden, die gegebenenfalls eine kürzere Prüfdauer bei vertretbaren Genauigkeitsverlusten ermöglichen. Abschließend kann eine Beurteilung der Vollständigkeit der Prüfung erfolgen. Ausstehend ist ebenfalls eine Integration eines Expertenmodus für Mitarbeitende mit Fachwissen.

Hinweis

Bei diesem Beitrag handelt es sich um einen von den Advisory -Board-Mitgliedern des ZWF-Sonderheftes wissenschaftlich begutachteten Fachaufsatz (Peer-Review).

Tel.: +49 (0) 381 49682-583

About the authors

Laura Robl

Laura Robl, M. Sc., ist als Wissenschaftliche Mitarbeiterin im Team der Produktionsplanung und -steuerung tätig und beschäftigt sich mit KI-gestützter und simulativer Prozesssteuerung.

Alexander Luther

Alexander Luther, M. Sc., ist als Wissenschaftlicher Mitarbeiter im Team Messen von Großstrukturen tätig und beschäftigt sich mit dem maschinellen Sehen und insbesondere mit KI-basierter Objekterkennung.

Dr.-Ing. Konrad Jagusch

Dr.-Ing. Konrad Jagusch ist am Fraunhofer-Institut für Großstrukturen in der Produktionstechnik IGP tätig und leitet die Forschungsgruppe der Produktionsplanung und -steuerung.

Prof. Dr.-Ing. Michael Geist

Prof. Dr.-Ing. Michael Geist lehrt an der Agrar- und Umweltwissenschaftlichen Fakultät der Universität Rostock und leitet die Forschungsgruppe Messen von Großstrukturen des Fraunhofer-Instituts für Großstrukturen in der Produktionstechnik IGP.

Prof. Dr.-Ing. habil. Jan Sender

Prof. Dr.-Ing. habil. Jan Sender ist Inhaber des Lehrstuhls Produktionsorganisation und Logistik an der Universität Rostock.

Literatur

1 Apt, W.; Schubert, M.; Wischmann, S.: Digitale Assitenzsysteme: Perspektiven und Herausforderungen für den Einsatz in Industrie und Dienstleistungen. Institut für Innovation und Technik (iit) in der VDI/VDE Innovation + Technik GmbH, Berlin 2018Search in Google Scholar

2 ifo Institut: Mangel an Fachkräften hat leicht zugenommen. (https://www.ifo.de/fakten/2023-08-16/mangel-fachkraeftenhat-leicht-zugenommen [Abgerufen am 25.1.2025])Search in Google Scholar

3 Imorde,, J.; Steireif, N.; Willemsen, F. et al.: Intelligente Assistenzsysteme in der Produktion: eine Interviewstudie mit Betriebsratsmitgliedern zu Fragen der Beteiligung, des Nutzens und der Arbeitsgestaltung. RWTH Aachen University, Aachen 2023Search in Google Scholar

4 Mewes, E.; Bergmüller, A.; Minow, A. et al.: Digitale Assistenzsysteme zur mobilen Verwendung im technischen Service: ein Leitfaden für die Gestaltung und Nutzung. 2020 DOI:10.25673/3294310.25673/32943Search in Google Scholar

5 Lensing, K.: KI-basierte Assistenzsysteme für die Industrie 4.0. In: Hompel, M. ten; Vogel-Heuser, B.; Bauernhansl, T. (Hrsg.): Handbuch Industrie 4.0. Springer, Berlin, Heidelberg 2020, S. 1–29 DOI:10.1007/978-3-662-45537-1_163-110.1007/978-3-662-45537-1_163-1Search in Google Scholar

6 Rusch, T. et al.: SynDiQuAss – Synchronisierung von Digitalisierung, Qualitätssicherung und Assistenzsystemen. In: Bauer, W.; Mütze-Niewöhner, S.; Stowasser, S. et al. (Hrsg.): Arbeit in der digitalisierten Welt. Springer, Berlin, Heidelberg 2021, S. 289–303 DOI:10.1007/978-3-662-62215-5_1910.1007/978-3-662-62215-5_19Search in Google Scholar

7 Mittelstand-Digital Zentrum Chemnitz: Qualitätssicherung mit KI am Beispiel Assistenzsysteme. (https://digitalzentrumchemnitz.de/wissen/qualitaetssicherungmit-ki [Abgerufen am 25.1.2025])Search in Google Scholar

8 Keller, T.; Bayer, C.; Metternich, J. et al: Integration digitaler Assistenzsysteme für die industrielle Montage. In: Bauer, W.; Mütze-Niewöhner, S.; Stowasser, S. et al. (Hrsg.): Arbeit in der digitalisierten Welt. Springer, Berlin, Heidelberg 2021, S. 223–238 DOI:10.1007/978-3-662-62215-5_1510.1007/978-3-662-62215-5_15Search in Google Scholar

9 Mijailović, Đ.; Stefanović, M.; Erić, M.: Quality Control in the Manufacturing Industry Based on the Application of Computer Vison. Journal of Innovations in Business and Industry 1 (2023) 4, S. 161–166 DOI:10.61552/JIBI.2023.04.00110.61552/JIBI.2023.04.001Search in Google Scholar

10 Zhou, Q.; Chen, R.; Huang, B. et al.: An Automatic Surface Defect Inspection System for Automobiles Using Machine Vision Methods. Sensors 19 (2019) 3 DOI:10.3390/s1903064410.3390/s19030644Search in Google Scholar PubMed PubMed Central

11 Yu, L.; Yang, E.; Luo, C.; Ren, P.: AMCD: an Accurate Deep Learning-based Metallic Corrosion Detector for MAV-based Real-time Visual Inspection. Journal of Ambient Intelligence and Humanized Computing 14 (2021) 5 DOI:10.1007/s12652-021-03580-410.1007/s12652-021-03580-4Search in Google Scholar

12 Deutsch, J.; He, D.: Using Deep Learning-Based Approach to Predict Remaining Useful Life of Rotating Components. IEEE Transactions on Systems, Man, and Cybernetics: Systems 48 (2018) 1, S. 11–20 DOI:10.1109/TSMC.2017.269784210.1109/TSMC.2017.2697842Search in Google Scholar

Published Online: 2025-03-27

Published in Print: 2025-03-20

Dieses Werk ist lizensiert unter einer Creative Commons Namensnennung 4.0 International Lizenz.

Articles in the same Issue

https://doi.org/10.1515/zwf-2024-0150

Keywords for this article

Artificial Intelligence; Quality Assurance; Digital Assistance; Large Structures; Machine Vision

Creative Commons

BY 4.0