Ein flexibles Framework für Reinforcement Learning
-
Chris R. Schönekehs
Chris R. Schönekehs, M. Sc., geb. 1996, studierte Maschinenbau an der Leibniz Universität Hannover und absolvierte anschließend ein Trainee Programm im Bereich Industrial Affairs bei der Sanofi Aventis Deutschland GmbH. Seit 2023 ist er Wissenschaftlicher Mitarbeiter am Werkzeugmaschinenlabor WZL an der RWTH Aachen und forscht im Bereich Reinforcement Learning.
,
Ronja Witt
Ronja Witt, M. Sc., geb. 1994, studierte Maschinenbau an der RWTH Aachen. Seit 2021 ist sie Wissenschaftliche Mitarbeiterin am Werkzeugmaschinenlabor WZL an der RWTH Aachen und forscht im Bereich Reinforcement und dessen Anwendung in der Produktions-und Medizintechnik.
Prof. Dr.-Ing. Robert H. Schmitt, geb. 1961, ist Inhaber des Lehrstuhls für Fertigungsmesstechnik und Qualitätsmanagement, Direktor des Werkzeugmaschinenlabor WZL der RWTH Aachen und Direktor des Fraunhofer-Instituts für Produktionstechnologie IPT.
Abstract
In der Massivumformung stellen Qualitätsabweichungen infolge von Prozessinstabilitäten eine Herausforderung dar. Auf die Prozessinstabilitäten muss durch die Regelung des Prozesses reagiert werden. Dazu wird ein generalistisches Framework basierend auf einem Reinforcement Learning (RL)-Regler entwickelt. Mithilfe von historischen Daten und den geforderten Qualitätsmerkmalen wird ein Regressionsmodell erstellt, mit dem der Regler eine optimierte Parameterkonfiguration bestimmt. Das Framework ist auf verschiedene Prozesse anwendbar.
Abstract
In the domain of solid forming, deviations in quality due to process instabilities present a challenging issue. The process instabilities must be reacted to by controlling the process. For this purpose, a generalistic framework based on a Reinforcement Learning (RL) controller is developed. With the help of historical data and the required quality characteristics, a regression model is built with which the controller determines an optimised parameter configuration. The framework is applicable to different processes.
Hinweis
Bei diesem Beitrag handelt es sich um einen von den Mitgliedern des ZWF-Advisory-Board wissenschaftlich begutachteten Fachaufsatz (Peer Review).
Funding statement: Das Forschungs- und Entwicklungsprojekt „IRLeQuM“ wird durch das Bundesministerium für Bildung und Forschung (BMBF) im Programm „Zukunft der Wertschöpfung – Forschung zu Produktion, Dienstleistungen und Arbeit“ (Förderkennzeichen 02P20A073) gefördert und vom Projektträger Karlsruhe (PTKA) betreut. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Autoren.
About the authors
Chris R. Schönekehs, M. Sc., geb. 1996, studierte Maschinenbau an der Leibniz Universität Hannover und absolvierte anschließend ein Trainee Programm im Bereich Industrial Affairs bei der Sanofi Aventis Deutschland GmbH. Seit 2023 ist er Wissenschaftlicher Mitarbeiter am Werkzeugmaschinenlabor WZL an der RWTH Aachen und forscht im Bereich Reinforcement Learning.
Ronja Witt, M. Sc., geb. 1994, studierte Maschinenbau an der RWTH Aachen. Seit 2021 ist sie Wissenschaftliche Mitarbeiterin am Werkzeugmaschinenlabor WZL an der RWTH Aachen und forscht im Bereich Reinforcement und dessen Anwendung in der Produktions-und Medizintechnik.
Prof. Dr.-Ing. Robert H. Schmitt, geb. 1961, ist Inhaber des Lehrstuhls für Fertigungsmesstechnik und Qualitätsmanagement, Direktor des Werkzeugmaschinenlabor WZL der RWTH Aachen und Direktor des Fraunhofer-Instituts für Produktionstechnologie IPT.
Literatur
1 Altan, T.; Tekkaya, A. E.: Sheet Metal Forming. ASM International, Materials Park, Ohio 2012, S. 1 ff. DOI:10.31399/asm.tb.smff.t5340000110.31399/asm.tb.smff.t53400001Suche in Google Scholar
2 Refflinghaus, R.; Kern, C.; Klute-Wenig, S.: Qualitätsmanagement 4.0. Kassel University Press, Kassel 2016, S. 23–42Suche in Google Scholar
3 Polyblank, J. A.; Allwood, J. M.; Duncan, S. R.: Closed-Loop Control of Product Properties in Metal Forming – A Review and Prospectus. Journal of Materials Processing Technology 214 (2014) 11, S. 2333–2348 DOI:10.1016/j.jmatprotec.2014.04.01410.1016/j.jmatprotec.2014.04.014Suche in Google Scholar
4 Shafiq, M.; Thakre, K.; Krishna, K. R.; Robert, N. J.; Kuruppath, A.; Kumar, D.: Continuous Quality Control Evaluation during Manufacturing Using Supervised Learning Algorithm for Industry 4.0. The International Journal of Advanced Manufacturing Technology (Published: 18 January 2023) DOI:10.1007/s00170-023-10847-x10.1007/s00170-023-10847-xSuche in Google Scholar
5 Husom, E. J.; Tverdal, S.; Goknil, A.; Sen, S.: UDAVA: An Unsupervised Learning Pipeline for Sensor Data Validation in Manufacturing. In: IEEE/ACM 1st International Conference on AI Engineering – Software Engineering for AI (CAIN), Pittsburgh, PA, USA 2022 DOI:10.1145/3522664.352860310.1145/3522664.3528603Suche in Google Scholar
6 Sutton, R. S.; Bach, F.; Barto, A. G.: Reinforcement Learning. MIT Press Ltd, Massachusetts 2018, S. 2Suche in Google Scholar
7 Klocke, F.: Fertigungsverfahren 1 – Zerspanung mit geometrisch bestimmter Schneide. Springer-Verlag, Berlin, Heidelberg 2018, S. 48 ff. DOI:10.1007/978-3-662-54207-110.1007/978-3-662-54207-1Suche in Google Scholar
8 Silver, D.; Huang, A.; Maddison, C. J. et al.: Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature 529 (2016) 7587, S. 484–489 DOI:10.1038/nature1696110.1038/nature16961Suche in Google Scholar
9 Jiang, Y.; Fan, J.; Chai, T.; Li, J.; Lewis, F. L.: Data-Driven Flotation Industrial Process Operational Optimal Control Based on Reinforcement Learning. IEEE Transactions on Industrial Informatics 14 (2018) 5, S. 1974–1989 DOI:10.1109/TII.2017.276185210.1109/TII.2017.2761852Suche in Google Scholar
10 Masinelli, G.; Le-Quang, T.; Zanoli, S.; Wasmer, K.; Shevchik, S. A.: Adaptive Laser Welding Control: A Reinforcement Learning Approach. IEEE Access 8 (2020), S. 103803–103814 DOI:10.1109/ACCESS.2020.299805210.1109/ACCESS.2020.2998052Suche in Google Scholar
11 Deng, J.; Sierla, S.; Sun, J.; Vyatkin, V.: Reinforcement Learning for Industrial Process Control – A Case Ctudy in Flatness Control in Steel Industry. Computers in Industry 143 (2022) 103748 DOI:10.1016/j.compind.2022.10374810.1016/j.compind.2022.103748Suche in Google Scholar
12 Gamal, O.; Mohamed, M. I. P.; Patel, C. G.; Roth, H.: Data-Driven Model-Free Intelligent Roll Gap Control of Bar and Wire Hot Rolling Process Using Reinforcement Learning. International Journal of Mechanical Engineering and Robotics 10 (2021) 7, S. 349–356 DOI:10.18178/ijmerr.10.7.349-35610.18178/ijmerr.10.7.349-356Suche in Google Scholar
© 2023 Walter de Gruyter GmbH, Berlin/Boston, Germany
Artikel in diesem Heft
- Inhalt
- Editorial
- Produktionssystem: Resilienz und neue Technologien
- Interview
- Aktuelle Trends in der Robotik
- Fabrikplanung
- Szenarienevaluation zur Wirtschaftlichkeitsanalyse
- Produktionssteuerung
- Prädiktionsgestützte Produktionssteuerung von kundenindividuellen Erzeugnissen
- Produktionssysteme
- Evolutionäre Selbstanpassung komplexer Produktionsprozesse und Produkte
- Prozessüberwachung
- ML-Modelle für den intelligenten Werkzeugwechsel
- Schlanke Produktion
- Die ziehende Werkstatt
- Hybride Arbeitskonzepte
- Zukunftsfähige Produktion in der postpandemischen Arbeitswelt
- Additive Fertigung
- Produktionssynergien der Zukunft
- Baumstützstrukturen in der additiven Fertigung
- Werkzeugmaschinen
- Eingangsdatenanalyse für thermo-elastische Fehlermodelle
- Energieeffizienz
- Maßnahmen zur Energieeffizienzsteigerung in der Prozessindustrie durch dynamische Simulation
- Digitalisierung
- Verkürzte Planungszeiten durch Digitalen Schatten
- Digitaler Zwilling
- Der Requirement Twin von Brownfield-Industrieumgebungen
- Künstliche Intelligenz
- KI-gestütztes Informationsmanagement in der Unikatfertigung
- Laserschweissen
- Anomalieerkennung bei der Li-Ionen-Zellkontaktierung
- Qualitätsregelkreis
- Ein flexibles Framework für Reinforcement Learning
- Vorschau
- Vorschau
Artikel in diesem Heft
- Inhalt
- Editorial
- Produktionssystem: Resilienz und neue Technologien
- Interview
- Aktuelle Trends in der Robotik
- Fabrikplanung
- Szenarienevaluation zur Wirtschaftlichkeitsanalyse
- Produktionssteuerung
- Prädiktionsgestützte Produktionssteuerung von kundenindividuellen Erzeugnissen
- Produktionssysteme
- Evolutionäre Selbstanpassung komplexer Produktionsprozesse und Produkte
- Prozessüberwachung
- ML-Modelle für den intelligenten Werkzeugwechsel
- Schlanke Produktion
- Die ziehende Werkstatt
- Hybride Arbeitskonzepte
- Zukunftsfähige Produktion in der postpandemischen Arbeitswelt
- Additive Fertigung
- Produktionssynergien der Zukunft
- Baumstützstrukturen in der additiven Fertigung
- Werkzeugmaschinen
- Eingangsdatenanalyse für thermo-elastische Fehlermodelle
- Energieeffizienz
- Maßnahmen zur Energieeffizienzsteigerung in der Prozessindustrie durch dynamische Simulation
- Digitalisierung
- Verkürzte Planungszeiten durch Digitalen Schatten
- Digitaler Zwilling
- Der Requirement Twin von Brownfield-Industrieumgebungen
- Künstliche Intelligenz
- KI-gestütztes Informationsmanagement in der Unikatfertigung
- Laserschweissen
- Anomalieerkennung bei der Li-Ionen-Zellkontaktierung
- Qualitätsregelkreis
- Ein flexibles Framework für Reinforcement Learning
- Vorschau
- Vorschau
