Effective Methods for Reinforcement Learning in Large Multi-Agent Domains (Leistungsfähige Verfahren für das Reinforcement Lernen in komplexen Multi-Agenten-Umgebungen)
-
Martin Riedmiller
Summary
Robotic soccer requires the ability of individually acting agents to cooperate. The simulation league of RoboCup therefore offers an ideal testbed for evaluating multi-agent methods. In this paper we discuss how Reinforcement Learning (RL) methods can be succesfully applied within the scenario of learning to cooperatively score a goal. Due to the complexity of the task, enhanced methods of learning have to be applied. We discuss several approaches from literature and also present an own approach. All approaches are evaluated on a discretized version of robotic soccer, which we call gridworld soccer.
Zusammenfassung
Eine wichtige Voraussetzung für erfolgreiches (Roboter-)Fußballspiel ist die Fähigkeit der einzelnen Agenten zur Kooperation. Damit stellt die RoboCup-Simulationsliga ein ideales Testszenario zur Evaluation von Multi-Agenten Lernverfahren dar. Dieser Artikel zeigt Möglichkeiten auf, wie Reinforcement Lernen erfolgreich eingesetzt werden kann, um den Agenten das gemeinsame Tore schießen beizubringen. Die hohe Komplexität dieser Aufgabe erfordert den Einsatz leistungsfähiger Lernmethoden. Im Artikel werden verschiedene aus der Literatur bekannte Ansätze diskutiert und ein neuer Algorithmus vorgestellt. Alle diese Verfahren werden in einer vereinfachten, diskretisierten Version des Roboterfußballs evaluiert.
© Oldenbourg Verlag
Articles in the same Issue
- Autonomous Robotic Soccer
- Effective Methods for Reinforcement Learning in Large Multi-Agent Domains (Leistungsfähige Verfahren für das Reinforcement Lernen in komplexen Multi-Agenten-Umgebungen)
- Reinforcing the Driving Quality of Soccer Playing Robots by Anticipation (Verbesserung der Fahreigenschaften von fußballspielenden Robotern durch Antizipation)
- Robot Localization through Region Tracking (Ortung eines Roboters durch Verfolgen homogener Farbregionen)
- From Perception to Action in the Sony Four-Legged Robot League (Von der Wahrnehmung zur Aktion in der Sony Four-Legged Robot League)
- The VolksBot Concept – Rapid Prototyping for real-life Applications in Mobile Robotics (Das VolksBot Konzept – Ein Baukastensystem für anwendungsnahes Rapid-Prototyping mobiler Roboter)
- Simultanous Mapping and Localization of Rescue Environments (Gleichzeitiges Kartieren und Lokalisieren von Rescue-Umgebungen)
- Humanoid Soccer Robots (Humanoide Fußballroboter)
- Agenten: Technologie für den Mainstream? (Agents: Technology for the Mainstream?)
- Data Mining: The Next Generation (Data Mining: Die nächste Generation)
- … ist zuhören gar nicht so einfach!
Articles in the same Issue
- Autonomous Robotic Soccer
- Effective Methods for Reinforcement Learning in Large Multi-Agent Domains (Leistungsfähige Verfahren für das Reinforcement Lernen in komplexen Multi-Agenten-Umgebungen)
- Reinforcing the Driving Quality of Soccer Playing Robots by Anticipation (Verbesserung der Fahreigenschaften von fußballspielenden Robotern durch Antizipation)
- Robot Localization through Region Tracking (Ortung eines Roboters durch Verfolgen homogener Farbregionen)
- From Perception to Action in the Sony Four-Legged Robot League (Von der Wahrnehmung zur Aktion in der Sony Four-Legged Robot League)
- The VolksBot Concept – Rapid Prototyping for real-life Applications in Mobile Robotics (Das VolksBot Konzept – Ein Baukastensystem für anwendungsnahes Rapid-Prototyping mobiler Roboter)
- Simultanous Mapping and Localization of Rescue Environments (Gleichzeitiges Kartieren und Lokalisieren von Rescue-Umgebungen)
- Humanoid Soccer Robots (Humanoide Fußballroboter)
- Agenten: Technologie für den Mainstream? (Agents: Technology for the Mainstream?)
- Data Mining: The Next Generation (Data Mining: Die nächste Generation)
- … ist zuhören gar nicht so einfach!
