ChatPLC – Potenziale der Generativen KI für die Steuerungsentwicklung

Einleitung

Die rasante Entwicklung der generativen KI und die damit einhergehenden Veränderungen in Wirtschaft und Gesellschaft durch den Einsatz von großen Sprachmodellen, bzw. Large Language Models (LLM) haben weitreichende Auswirkungen. Insbesondere moderne LLM wie ChatGPT [1], BERT [2], LLaMA [3, 4] und Gemini [5] sind zu zentralen Akteuren in der digitalen Transformation geworden. Mit ihren Fähigkeiten, natürliche Sprache zu verarbeiten, bieten sie das Potenzial, Geschäftsprozesse durch die Analyse umfangreicher Datenmengen zu optimieren. Außerdem können sie die Schaffung personalisierter Kundenerlebnisse und die Automatisierung von Routineaufgaben grundlegend verändern [6]. Diese Potenziale sind insbesondere angesichts aktueller globaler Herausforderungen wie dem Fachkräftemangel und der Deglobalisierung von Bedeutung, da sie die Chance bieten, die Wettbewerbsfähigkeit und technologische Souveränität Deutschlands zu stärken [7]. Ein zentrales Standbein für die technologische Souveränität Deutschlands im Zuge der Industrie 4.0 bildet die Automatisierungstechnik. Sie wird als Integrationswissenschaft verstanden und fungiert als Brücke zwischen den Bereichen Maschinenbau, Elektrotechnik und Informatik [8]. Eine Herausforderung in der Automatisierungstechnik sind manuelle Engineering-Tätigkeiten, die im Bereich der Softwareentwicklung mehr als 10 Prozent der Gesamtkosten für die Planung und Realisierung von Produktionssystemen ausmachen [9]. Um die Effizienz des Entwicklungsprozesses zu steigern, können LLM eine entscheidende Rolle spielen. Die Grundidee, den Softwareprozess durch LLM zu unterstützen, wurde in aktuellen Arbeiten für Teilgebiete der IT bereits untersucht [10, 11], jedoch noch nicht umfassend für die Automatisierungstechnik betrachtet. Es ist daher entscheidend, die tatsächlichen Potenziale und die praktischen Anwendungsmöglichkeiten dieser Technologien im Kontext der Automatisierungstechnik zu ermitteln.

In diesem Beitrag soll daher das Potenzial von LLM innerhalb des Felds der Automatisierungstechnik mit einem Fokus auf die SPS-Programmierung betrachtet werden. Im ersten Schritt erfolgt dazu eine Analyse des gesamten Softwareentwicklungszyklus. Anschließend werden zwei konkrete Umsetzungsbeispiele illustriert und schließlich ein Ausblick auf zukünftige Entwicklungen gegeben.

Generative KI im Softwareentwicklungszyklus

Im vorliegenden Abschnitt wird der gesamte Software-Lebenszyklus aus der Perspektive der Automatisierungstechnik betrachtet und auf Arbeitsschritte hin analysiert, die durch den Einsatz von LLM eine Steigerung hinsichtlich Effektivität, Effizienz und Qualität erfahren können. Die gewonnenen Erkenntnisse sind in Bild 1 zusammengefasst und illustrieren die potentiellen Anwendungsfälle von LLM in den verschiedenen Phasen des Lebenszyklus. Aus der grafischen Darstellung geht hervor, dass sich die Anwendungspotenziale von LLM grundsätzlich in zwei Kategorien einteilen lassen: den generativen und den unterstützenden Bereich (Support). Der generative Bereich umfasst sämtliche Applikationen von LLM, die auf Basis vorhandenen Kontextes neue Inhalte generieren. Dagegen bezieht sich der unterstützende Bereich auf die Aufbereitung existierender Wissensbestände in einer interaktiven, multimodalen Form (z. B. durch Texte, Bilder oder Audio-/Video-Inhalte), was die Zugänglichkeit für Nutzer verbessert.

Bild 1

Anwendungspotenziale von LLM entlang des Software-Lebenszyklus von der Anforderungsdefinition bis zum Betrieb. Es wird zwischen dem generativen Bereich (oben) und dem unterstützenden Bereich (unten) unterschieden, je nachdem ob neue Inhalte generiert oder bestehende Inhalte kontextspezifisch aufbereitet werden. Die beiden hervorgehobenen Anwendungsfälle werden in den folgenden Kapiteln näher erläutert

Im Folgenden werden einzelne Anwendungsbereiche kurz exemplarisch dargestellt, eine tiefergehende Erläuterung erfolgt für die beiden in Bild 1 hervorgehobenen Anwendungsfälle in den nächsten beiden Kapiteln.

Anwendungsbeispiel 1: Generierung von ST-Code

Ein Anwendungsbeispiel für LLM im Software-Lebenszyklus ist die automatisierte Generierung von Steuerungs-Code. Steuerungen werden in einer nach der Norm IEC 61131-3 standardisierten Programmiersprache geschrieben, wobei ST in Deutschland am weitesten verbreitet ist. Ziel ist es, den Programmierer bei der Implementierung der Steuerung nach dieser IEC-Norm zu unterstützen, indem Code ergänzt, erzeugt oder korrigiert wird. Grundsätzlich können alle diese Anwendungsfälle durch Sprachmodelle realisiert werden, wobei im Folgenden die Generierung von ST-Code im Fokus steht.

Zum Zeitpunkt der Durchführung der Studie im Jahr 2023 erzielte GPT 3.5 im Vergleich zu anderen großen Sprachmodellen (z. B. Bard, Llama 2, Bloom) die mit Abstand besten Ergebnisse für die Erzeugung von ST-Code. Unter dem Gesichtspunkt der Vertraulichkeit der zu verwendenden Daten kam jedoch nur ein Open-Source-Modell für die Nutzung im Projekt in Frage. Llama 2 und CodeT5+ lieferten bereits sehr gute Ergebnisse für die Generierung von Python-Code und können aufgrund ihrer Größe und Verfügbarkeit grundsätzlich lokal gehostet und nachtrainiert werden. Für das weitere Vorgehen wurde daher ein auf Python vortrainiertes CodeT5+-Modell verwendet und mithilfe von unternehmensspezifischen Trainingsdaten auf strukturierten Text nachtrainiert. Nach aufwändiger Datenaufbereitung durch manuelles Dokumentieren der ST-Codeblöcke und mehreren Trainingsiterationen konnte trotz relativ geringer Trainingsdatenmenge (ca. 300 Beispiele) eine akzeptable Modellgüte erzielt werden. Das bedeutet, dass einfache Anfragen für typische Steuerungsfunktionen (z. B. Zeitfunktionen oder Typenumwandlungen) in verschiedenen Varianten valide generiert werden konnten. Die Validität wurde von Experten und durch Ausführung des generierten Codes in der Softwareumgebung geprüft. Komplexere Anfragen, die größere Programme mit mehreren verknüpften Funktionen beinhalteten, lieferten teilweise noch unzureichende Ergebnisse. Dennoch konnte gezeigt werden, dass grundsätzlich kleine Modelle für spezifische Aufgaben lokal trainiert und im Fall von CodeT5+ sogar auf einem herkömmlichen Laptop ausgeführt werden können. Dies ermöglicht die Auslieferung spezifischer trainierter Modelle beispielsweise an den Nutzer von Steuerungsentwicklungsumgebungen, wobei die Daten jederzeit lokal bleiben und der Modellaufruf ohne signifikante Latenz erfolgt. Eine mögliche Kopplung der ST-Generierung durch das CodeT5+-Modell mit einer Steuerungsentwicklungssoftware ist in Bild 2 illustriert – das generierte Ergebnis wird (nach Neuladen der Datei) direkt im Editor angezeigt.

Bild 2

Ansicht des generierten ST Codes in der Steuerungsentwicklungsumgebung am Beispiel des PLCnext Engineer von Phoenix Contact. Der Kommentar (**) entspricht der Anweisung an das LLM, der darunter stehende Baustein dem produzierten ST Code. Die Kommunikation zwischen Entwicklungsumgebung und LLM erfolgt über das Editieren bzw. Neuladen einer Text-Datei

Es ist zu erwarten, dass die Güte des lokalen Modells durch eine Erweiterung des Trainingsdatensatzes deutlich gesteigert werden kann. Für Ausgaben, die keine Spezifika bzgl. Nomenklatur oder Stil beinhalten, kann auch eine Anreicherung der Daten mit generischen Beispielen vorgenommen werden. Eine weitere Verbesserung der Performance und Validität kann durch eine integrierte Feedbackschleife mit dem Nutzer bzw. der Software (bspw. Berücksichtigung von Fehlermeldungen bei Ausführung des Codes oder Registrierung von Änderungen durch den Nutzer) realisiert werden.

Anwendungsbeispiel 2: RAG-basiertes Assistenzsystem für Engineering-Software

Ein weiteres Beispiel stellt die direkte Unterstützung des Nutzers der Engineering-Software durch die Beantwortung spezifischer Fragen (z. B. durch ein Chatfenster in der Software) dar. Der Aufbau eines derartigen RAG-Systems ist in Bild 3 schematisch gezeigt. Das System nutzt ein Sprachmodell (z. B. GPT-4) zur Verarbeitung von Anfragen, wobei die Anfragen mithilfe einer Datenbank durch spezifischen Kontext ergänzt werden. Im vorliegenden Fall werden als spezifischer Kontext Hilfeseiten und Online-Tutorials zu einer bestimmten Softwareentwicklungsumgebung in einer Vektordatenbank hinterlegt. Bei jeder Abfrage werden dann ähnliche Textstellen aus den hinterlegten Dokumenten in den Prompt eingefügt, so dass das Sprachmodell, auch wenn die Texte nicht Teil der Trainingsmenge waren, spezifische Antworten zu diesen Dokumenten generieren kann. In diesem Fall kann ein großes kommerzielles Sprachmodell verwendet werden, da die verwendeten hinterlegten Dokumente ohnehin öffentlich zugänglich sind. Für die Umsetzung des RAG-Systems wurden verschiedene Methoden für die Vorverarbeitung der Daten, das Retrieval und die Generierung getestet und gegenübergestellt. Beispielsweise wurde bei der Vorverarbeitung die Aufteilung der Dokumente in Abschnitte (Chunks) entweder nach einer fixen Größe, satzweise oder entsprechend dem semantischen Kontext vorgenommen. Beim Retrieval wurden u. a. die Anzahl der relevantesten Chunks und das verwendete Ähnlichkeitsmaß und bei der Generierung die Reihenfolge der ermittelten Chunks variiert. Zur Evaluation diente ein Satz von Fragen, der durch Experten beantwortet und deren generierte Antworten auf ihre Richtigkeit hin geprüft wurden. Ein Großteil der Fragen konnte, unabhängig von ihrem Schwierigkeitsgrad (von befragten Experten eingestuft), zufriedenstellend beantwortet werden. Ein geringer Anteil der Fragen (< 10 %) konnte durch das System nicht zufriedenstellend beantwortet werden, was jedoch auf eine zweideutige Fragestellung zurückzuführen ist. Eine beispielhafte Frage und die zugehörige Antwort in der entwickelten GUI sind in Bild 4 dargestellt. Um weiterführende Unterstützung innerhalb der Softwareentwicklungsumgebung zu realisieren, können der Projektkontext oder die Nutzerhistorie zur Beantwortung der Fragestellung hinzugezogen werden. Eine solche Lösung müsste dann zur Wahrung der Vertraulichkeit mittels lokaler Modelle oder innerhalb einer abgesicherten Umgebung implementiert werden.

Bild 3

Schematischer Aufbau eines RAG-Systems zur Beantwortung spezifischer Nutzeranfragen im Engineering Kontext. Das Retrieval-Modul enthält eine Vektordatenbank mit Texten aus Foren und Hilfe-Seiten, welche bei einer Anfrage passend ausgewählt und dem Generatormodul als Kontext mitgegeben werden

Bild 4

GUI des RAG-Systems mit Beispielfrage. Eine mögliche Anfrage, für deren Beantwortung spezifischer Kontext aus der Vektordatenbank des Retrieval-Moduls herangezogen wird

Zusammenfassung und Ausblick

In diesem Beitrag wurden Potenziale für den Einsatz generativer KI entlang des gesamten Softwareentwicklungszyklus in der Automatisierungstechnik dargestellt. Es zeichnet sich ab, dass die Möglichkeiten vielfältig sind, durch generative KI derzeit mühsame und langwierige Tätigkeiten zu unterstützen. Das Spektrum reicht von der automatisierten Erstellung von Pflichtenheften über die Generierung von E-Plänen und HMI-Layouts bis hin zur automatisierten SPS-Code-Erstellung, Test und Dokumentation. Dabei ist der Reifegrad derzeit verfügbarer Lösungen sehr unterschiedlich und hängt von der Verfügbarkeit großer kuratierter Datenmengen und deren Verwertbarkeit in großen kommerziellen Sprachmodellen ab. Insbesondere stellt die Berücksichtigung von Datenschutzaspekten bei der Verwendung sensibler Daten mit großen kommerziellen Sprachmodellen noch eine Hürde dar. Es ist daher zu erwarten, dass LLM-basierte Assistenzsysteme für die Softwareentwicklung in der Automatisierungstechnik zukünftig auf hybriden Architekturen aufsetzen, welche im Hintergrund unterschiedliche Sprachmodelle verwenden, je nach Art und Klassifizierung der Fragestellung. Weiterhin besteht derzeit noch großer Bedarf an der Feinjustierung existierender Verfahren, z. B. Embedding-Modellen in RAG-Systemen und multimodalen Modellen für Bildverarbeitung speziell für automatisierungstechnische Bedarfe.