Transfer und Reinforcement Learning in der Produktionssteuerung
-
Lennart Steinbacher
Lennart Steinbacher, M. Sc., geb. 1993, studierte Wirtschaftsingenieurwesen an der RWTH Aachen und ist seit 2018 Wissenschaftlicher Mitarbeiter am BIBA – Bremer Institut für Produktion und Logistik GmbH an der Universität Bremen. Zu seinen Forschungsschwerpunkten gehören die Modellierung, Simulation und Analyse von Produktions- und Logistiksystemen sowie die Konzeption und Entwicklung von Anwendungen im Bereich des Maschinellen Lernens.
,
Espen Pering
Espen Pering, M. Sc., geb. 1998, studierte Systems Engineering an der Universität Bremen. Zu seinen Forschungsinteressen gehören Maschinelles Lernen in der Anwendung für Produktion und Logistik.
Prof. Dr.-Ing Michael Freitag, geb. 1969, studierte an der BTU Cottbus Elektrotechnik mit den Schwerpunkten Automatisierungs- und Kommunikationstechnik und promovierte an der Universität Bremen mit einer Arbeit zur Nichtlinearen Dynamik von Produktionssystemen. Nach verschiedenen Tätigkeiten in Wissenschaft und Industrie übernahm er 2014 die Professur Planung und Steuerung produktionstechnischer und logistischer Systeme im Fachbereich Produktionstechnik der Universität Bremen und ist seit 2015 Direktor des BIBA – Bremer Institut für Produktion und Logistik GmbH. Er beschäftigt sich mit der Modellierung, Simulation und Optimierung von komplexen Produktions- und Logistiksystemen, mit der Entwicklung von Planungs- und Steuerungsmethoden und mit der Automatisierung logistischer Prozesse durch Roboter und flexible Transportsysteme.
Abstract
Stetig steigende Komplexität und wachsende Informationsdichten in Produktionssystemen eröffnen Potentiale zur Anwendung von Methoden des maschinellen Lernens. Reinforcement Learning ist besonders geeignet, autonome agentenbasierte Steuerungen umzusetzen. Allerdings wird dessen Anwendung bei sich wandelnden Produktionssystemen erschwert. Es wird erstmalig gezeigt, dass der Transfer-Learning-Ansatz für Produktionssteuerungen mit Reinforcement Learning zu einem verbesserten Trainingserfolg führen kann.
Abstract
Constantly increasing complexity and growing information densities in production systems open up potentials for the application of machine learning methods. So-called reinforcement learning is particularly suitable for implementing autonomous agentbased control systems. However, the application of this becomes more difficult in changing production systems. It is shown for the first time that the transfer learning approach is useful for production control systems with reinforcement learning.
Hinweis
Bei diesem Beitrag handelt es sich um einen von den Mitgliedern des ZWF-Advisory Board wissenschaftlich begutachteten Fachaufsatz (Peer-Review).
About the authors
Lennart Steinbacher, M. Sc., geb. 1993, studierte Wirtschaftsingenieurwesen an der RWTH Aachen und ist seit 2018 Wissenschaftlicher Mitarbeiter am BIBA – Bremer Institut für Produktion und Logistik GmbH an der Universität Bremen. Zu seinen Forschungsschwerpunkten gehören die Modellierung, Simulation und Analyse von Produktions- und Logistiksystemen sowie die Konzeption und Entwicklung von Anwendungen im Bereich des Maschinellen Lernens.
Espen Pering, M. Sc., geb. 1998, studierte Systems Engineering an der Universität Bremen. Zu seinen Forschungsinteressen gehören Maschinelles Lernen in der Anwendung für Produktion und Logistik.
Prof. Dr.-Ing Michael Freitag, geb. 1969, studierte an der BTU Cottbus Elektrotechnik mit den Schwerpunkten Automatisierungs- und Kommunikationstechnik und promovierte an der Universität Bremen mit einer Arbeit zur Nichtlinearen Dynamik von Produktionssystemen. Nach verschiedenen Tätigkeiten in Wissenschaft und Industrie übernahm er 2014 die Professur Planung und Steuerung produktionstechnischer und logistischer Systeme im Fachbereich Produktionstechnik der Universität Bremen und ist seit 2015 Direktor des BIBA – Bremer Institut für Produktion und Logistik GmbH. Er beschäftigt sich mit der Modellierung, Simulation und Optimierung von komplexen Produktions- und Logistiksystemen, mit der Entwicklung von Planungs- und Steuerungsmethoden und mit der Automatisierung logistischer Prozesse durch Roboter und flexible Transportsysteme.
Danksagung
Dieser Beitrag entstand im Rahmen des Projekts „INSERT - KI-basiertes Assistenzsystem zur Konzeptplanung in Produktion und Logistik“, das von der BAB - Bremer Aufbaubank unter dem Kennzeichen FUE0626B mit Mitteln des Europäischen Fonds für regionale Entwicklung (EFRE) gefördert wird.
Literatur
1 Herrera Vidal, G.; Coronado Hernández, J. R.: Complexity in Manufacturing Systems: A Literature Review. Production Engineering 15 (2021) 3–4, S. 321–333 DOI: 10.1007/s11740-020-01013-310.1007/s11740-020-01013-3Search in Google Scholar
2 Zhou, T.; Tang, D.; Zhu, H.; Wang, L.: Reinforcement Learning with Composite Rewards for Production Scheduling in a Smart Factory IEEE Access 9 (2020), S. 752–766 DOI: 10.1109/ACCESS.2020.304678410.1109/ACCESS.2020.3046784Search in Google Scholar
3 Panzer, M.; Bender, B.: Deep Reinforcement Learning in Production Systems: A Systematic Literature Review. International Journal of Production Research (2021), S. 1–26 DOI: 10.1080/00207543.2021.197313810.1080/00207543.2021.1973138Search in Google Scholar
4 Hofmann, C.; Krahe, C.; Stricker, N.; Lanza, G.: Autonomous Production Control for Matrix Production Based on deep Q-Learning. Procedia CIRP 88 (2020), S. 25–30 DOI: 10.1016/j.procir.2020.05.00510.1016/j.procir.2020.05.005Search in Google Scholar
5 Zhu, Z.; Lin, K.; Zhou, J.: Transfer Learning in Deep Reinforcement Learning: A Survey (Version 4). arXiv (2009), 07888Search in Google Scholar
6 Sutton, R.; Bach, F.; Barto, A.: Reinforcement Learning. MIT Press Ltd., Massachusetts 2018Search in Google Scholar
7 Fernández, F.; Garca, J.; Veloso, M.: Probabilistic Policy Reuse for Inter-task Transfer Learning. Robotics and Autonomous Systems 58 (2010) 7, S. 866–871 DOI: 10.1016/j.robot.2010.03.00710.1016/j.robot.2010.03.007Search in Google Scholar
8 Liu, C.-L.; Chang, C.-C.; Tseng, C.-J.: Actor-Critic Deep Reinforcement Learning for Solving Job Shop Scheduling Problems. IEEE Access 8 (2020), S. 71752–71762 DOI: 10.1109/ACCESS.2020.298782010.1109/ACCESS.2020.2987820Search in Google Scholar
9 Zhou, L.; Zhang, L.; Horn, B. K. P.: Deep Reinforcement LearningBased Dynamic Scheduling in Smart Manufacturing. Procedia CIRP 93 (2020), S 383–388 DOI: 10.1016/j.procir.2020.05.16310.1016/j.procir.2020.05.163Search in Google Scholar
10 Lee, S.; Cho, Y.; Lee, Y. H.: Injection Mold Production Sustainable Scheduling Using Deep Reinforcement Learning. Sustainability 12 (2020) 20, 8718 DOI: 10.3390/su1220871810.3390/su12208718Search in Google Scholar
11 Kuhnle, A.; Kaiser, J.-P.; Theiß, F.; Stricker, N.; Lanza, G.: Designing An Adaptive Production Control System Using Reinforcement Learning. Journal of Intelligent Manufacturing 32 (2020), S. 855–876 DOI: 10.1007/s10845-020-01612-y10.1007/s10845-020-01612-ySearch in Google Scholar
12 Feldkamp, N.; Bergmann, S.; Strassburger, S.: Simulation-based Deep Reinforcement Learning for Modular Production Systems.In: Proceedings of the Winter Simulation Conference (WSC 20), December 2020, S. 1596–1607 DOI: 10.1109/WSC48552.2020.938408910.1109/WSC48552.2020.9384089Search in Google Scholar
13 Rinciog, A.; Meyer, A.: Towards Standardising Reinforcement Learning Approaches for Production Scheduling Problem. Procedia CIRP 107 (2022), S. 1112–1119 DOI: 10.1016/j.procir.2022.05.11710.1016/j.procir.2022.05.117Search in Google Scholar
© 2022 Walter de Gruyter GmbH, Berlin/Boston
Articles in the same Issue
- Inhalt
- Editorial
- Mensch und Maschine vereint
- Produktionsnetzwerke
- Entscheidungsfindung in der Gestaltung und Koordination von globalen Produktionsnetzwerken
- Nachhaltigkeit
- Effiziente Druckluftnutzung in der automatisierten Produktion
- Nachhaltigkeitsgetriebene Transformation von globalen Produktionsnetzwerken
- Reifegradmodelle der ökologischen Nachhaltigkeit
- Wirtschaftlichkeit
- Ökonomische Bewertung nachhaltiger Wärmeerzeuger
- Produktivitätssteigerung bei der Inline-Erwärmung
- Krisenmanagement
- Bioinspirierte Erkennung von Abweichungen
- Kennzahlen
- Systematik für Kennzahlen in der Produktion
- Traceability
- Automatische Identifikation mittels RFID
- Batterieproduktion
- Automatisierter Stapelprozess zur Herstellung von Festkörperbatterien
- Ablaufplanung
- Ablaufoptimierung in einer Halbleiterfertigung
- Prozesssteuerung
- Adaptive Steuerungssoftware für die frei verkettete Montage
- Kommissionierung
- Vorgehensmodell zur Einführung von Pick-by-Scan
- Energieeffizienz
- Optimierung einer Materialflusssteuerung zur Energieeffizienzerhöhung in der Produktion
- Künstliche Intelligenz
- Industrielles Transferlernen
- Digitalisierung
- Leitfaden zur Einführung digitaler Produkte im Maschinenbau
- Digitale Erfassung von Energieverbräuchen in der Produktion
- Maschinelles Lernen
- Transfer und Reinforcement Learning in der Produktionssteuerung
- Vorschau
- Vorschau
Articles in the same Issue
- Inhalt
- Editorial
- Mensch und Maschine vereint
- Produktionsnetzwerke
- Entscheidungsfindung in der Gestaltung und Koordination von globalen Produktionsnetzwerken
- Nachhaltigkeit
- Effiziente Druckluftnutzung in der automatisierten Produktion
- Nachhaltigkeitsgetriebene Transformation von globalen Produktionsnetzwerken
- Reifegradmodelle der ökologischen Nachhaltigkeit
- Wirtschaftlichkeit
- Ökonomische Bewertung nachhaltiger Wärmeerzeuger
- Produktivitätssteigerung bei der Inline-Erwärmung
- Krisenmanagement
- Bioinspirierte Erkennung von Abweichungen
- Kennzahlen
- Systematik für Kennzahlen in der Produktion
- Traceability
- Automatische Identifikation mittels RFID
- Batterieproduktion
- Automatisierter Stapelprozess zur Herstellung von Festkörperbatterien
- Ablaufplanung
- Ablaufoptimierung in einer Halbleiterfertigung
- Prozesssteuerung
- Adaptive Steuerungssoftware für die frei verkettete Montage
- Kommissionierung
- Vorgehensmodell zur Einführung von Pick-by-Scan
- Energieeffizienz
- Optimierung einer Materialflusssteuerung zur Energieeffizienzerhöhung in der Produktion
- Künstliche Intelligenz
- Industrielles Transferlernen
- Digitalisierung
- Leitfaden zur Einführung digitaler Produkte im Maschinenbau
- Digitale Erfassung von Energieverbräuchen in der Produktion
- Maschinelles Lernen
- Transfer und Reinforcement Learning in der Produktionssteuerung
- Vorschau
- Vorschau
