KI in der Kommissionierung

Einleitung und Motivation

Im globalen Wettbewerbsumfeld müssen Hochlohnländer ihre Abläufe verstärkt rationalisieren, um konkurrenzfähig zu bleiben. Dieser Druck zwingt Unternehmen zur gezielten Optimierung von Prozessen, u. a. der manuellen Kommissionierung. Die manuelle Kommissionierung wird weiterhin besonders stark in volatilen Geschäftsbereichen und bei hoher Variantenvielfalt genutzt. Mit bis zu 55 Prozent der Lagerlogistikkosten, die auf die Kommissionierung entfallen, existiert hier ein erhebliches Optimierungspotenzial [1]. Trotz dieser Möglichkeiten sehen sich viele Unternehmen weiterhin mit ineffizienten Prozessen konfrontiert, da Aufträge häufig manuell oder durch veraltete Algorithmen an die Arbeitsplätze zugewiesen werden. Vor diesem Hintergrund bieten die Technologien der KI vielfältige Möglichkeiten, innovative Wege zu beschreiten und neue Ansätze für die Auftragszuteilung zu entwickeln [2].

Ausgangssituation

Dieser Beitrag präsentiert die Umsetzung eines KI-gestützten Zuordnungssystems für Schichtleiter zur effizienten Auftragszuweisung an verfügbare Arbeitsplätze. Der Ansatz beruht auf einem realen Szenario, welches schematisch in Bild 1 zu sehen ist, und berücksichtigt automatisierte sowie manuelle Zuordnungselemente. Die Hauptoptimierungsziele sind die Minimierung der Bearbeitungszeit, die gleichmäßige Arbeitsverteilung und die Einhaltung der Termintreue.

Bild 1

Ist-Situation des Anwendungsfalls

Der klassische Kommissionierprozess im Dienstleistungssektor der Logistik beginnt in der Regel mit der Erfassung und Einlagerung kundenspezifischer Waren und Leergüter. Die Einlagerung erfolgt dabei meist unabhängig vom konkreten späteren Kommissionierauftrag. Parallel zum Wareneingang treffen kontinuierlich neue Aufträge ein, die im Auftragspool gesammelt werden. Der Schichtleiter ordnet die Aufträge im Auftragspool den entsprechenden Arbeitsplätzen der Kommissionierung zu, wodurch ein sogenannter Zuweisungsplan entsteht. Kommt es während der Abarbeitung dieses Zuweisungsplans zu neuen Aufträgen durch den Kunden in Form von „Eilaufträgen“, muss der bestehende Zuweisungsplan regelmäßig überarbeitet und optimiert werden. Der eigentliche Kommissionierprozess beginnt, sobald das Material eines offenen Auftrags verfügbar ist. Dies umfasst die Umlagerung von Kleinladungsträgern und die Verpackung der Zielpalette mit kundenspezifischen Etiketten. Die gesamte Kommissionierzeit wird üblicherweise durch das Scannen der Auftragspapiere erfasst und durch Start- und Endzeitstempel dokumentiert.

Die Entwicklung eines digitalen und KI-gestützten Zuordnungssystems hat das Potenzial einer schnelleren Sortierung, Verteilung und Bearbeitung der Aufträge, wodurch Schichtleiter zeitlich entlastet werden, aber auch zur Erkennung von besonders zeitkritischen Terminvorgaben, um diese zu priorisieren.

Stand der Wissenschaft und Technik

Das interdisziplinäre Fachgebiet Operations Research (OR) zielt darauf ab, Entscheidungsprozesse systematisch zu unterstützen. Dabei werden häufig Methoden aus den Bereichen Mathematik, Wirtschaftswissenschaften und Informatik eingesetzt. Obwohl die methodischen Grundlagen überwiegend in der Mathematik und Informatik verankert sind, findet OR Anwendung in zahlreichen Bereichen, einschließlich der Ingenieurwissenschaften. Besonders bei der Auftragszuweisung gewinnen die Prinzipien des OR eine besondere Bedeutung, da eine effiziente Verteilung von Aufträgen einen wesentlichen Einfluss auf den betrieblichen Erfolg ausübt [3].

Als wichtigstes Teilgebiet des OR ist die mathematische Optimierung, insbesondere die gemischt-ganzzahlige Optimierung (siehe Abschnitt Mixed Integer Programmierung), zu benennen. Darüber hinaus stehen im OR, je nach Aufgabenstellung und Modellbildung, eine breite Palette an weiteren Methoden zur Verfügung, um betriebliche Entscheidungsprozesse zu unterstützen. Zu diesen Verfahren zählen unter anderem:

1. Simulationsmethoden,

2. Entscheidungsbaum-Analysen,

3. lineare, quadratische, nichtlineare und weitere mathematische Optimierungsverfahren,

4. spieltheoretische Modelle und Methoden

5. Modelle der Warteschlangentheorie sowie

6. heuristische Verfahren.

Jedes dieser Verfahren bietet spezifische Ansätze zur Lösung komplexer betrieblicher Fragestellungen und trägt zur Verbesserung der Entscheidungsfindung bei.

Diesen Verfahren und Methoden des OR stehen im Hinblick zu dem aktuellen Stand der Wissenschaft und Technik der breitgefächerte Bereich der künstlichen Intelligenz (KI) gegenüber. In den folgenden beiden Abschnitten werden exemplarisch ein Verfahren der gemischten-ganzzahligen Optimierung sowie ein prominenter Ansatz des maschinellen Lernens (siehe Abschnitt Reinforcement Learning) präsentiert und erläutert. Dabei wird die Balance zwischen schnellen, effizienten Lösungen und den damit verbundenen Herausforderungen bezüglich Flexibilität und Anpassungsfähigkeit näher beleuchtet.

Reinforcement Learning

RL ist ein Ansatz des maschinellen Lernens, bei dem ein Agent mit seiner Umwelt interagiert, um bestimmte Ziele zu erreichen. Durch Beobachtungen, eigenständige Entscheidungen und Aktionen verändert der Agent den Zustand seiner Umgebung und erhält Rückmeldungen in Form von Belohnungen. Diese unterstützen die Entwicklung einer geeigneten Strategie zur Zielerreichung. Der Lernprozess umfasst Exploration für neue Erfahrungen und Exploitation für bereits erlerntes Wissen. Das Ziel besteht darin, die kumulative Belohnung zu maximieren. Wie in Bild 2 zu erkennen, handelt es sich um ein iteratives Verfahren. RL findet in vielen Bereichen Anwendung, wobei es sich besonders in komplexen und dynamischen Umgebungen, wie z. B. der Auftragszuweisung, durch die Entwicklung effizienter Entscheidungsstrategien auszeichnet [8, 9].

Bild 2

Prinzip des Reinforcement Learnings

Q-Learning-Algorithmus

Q-Learning beschreibt einen speziellen Lernalgorithmus des RL, der verwendet wird, um optimale Aktionswerte in einem Umfeld zu berechnen. Er basiert auf der Vorhersage des Werts aus Zustands-Aktions-Paaren. Der Algorithmus lernt schrittweise die Vorteile bestimmter Aktionen in bestimmten Zuständen auszuführen, indem er die aktuellen Belohnungen und zukünftigen Werte berücksichtigt. Dies wird durch die Q-Funktion dargestellt, die mit einer Lernrate aktualisiert wird. Die Q-Tabelle (Tabelle 1), welche Zustände und Aktionen miteinander verknüpft und entsprechende Werte der Q-Funktion speichert, wird während des Lernprozesses kontinuierlich aktualisiert [10].

Tabelle 1

Pseudo-Implementierung von Q-Learning

Entwicklung eines Reinforcement-Learning-Ansatzes zur optimierten Auftragszuweisung

Im Folgenden wird ein Ansatz zur Anwendung von RL als Lösungsverfahren für die Auftragszuweisung vorgestellt. Der nachfolgende Ansatz steht dabei im Kontrast zu den klassischen Verfahren. Diese bieten zwar schnelle und gute Lösungen, jedoch sind sie in der Regel aufgrund ihrer Limitierungen an Flexibilität und Anpassungsfähigkeit eingeschränkt. Durch die Entwicklung eines RL-Ansatzes wird das Ziel verfolgt, Limitierungen, z. B. des MIP, zu überwinden und das System agiler zu gestalten. Im konkreten Anwendungsfall liegt der Fokus auf:

1. Optimierung bzw. Minimierung der Packzeiten,

2. gleichverteilte Packzeiten bzw. gleichmäßige Auslastung an den Packplätzen sowie

3. Einhaltung der Termintreue.

Der RL-Ansatz soll dem System ermöglichen, aus Erfahrungen zu lernen und seine Entscheidungen kontinuierlich zu verbessern. Dadurch kann es sich an sich ändernde Anforderungen anpassen und optimale Auftragszuweisungen vornehmen. Gleichzeitig sollte sichergestellt sein, dass die Mitarbeitenden in den Entscheidungsprozess eingebunden werden können. Das bedeutet, dass ihre individuellen Erfahrungen und Rückmeldungen mit in die Entscheidungsfindung einfließen.

Gleichverteilte Zeiten als Lernansatz

Effiziente Arbeitsabläufe und eine gleichmäßige Auslastung der Ressourcen sind entscheidend für die Maximierung von Produktivität und Leistungsfähigkeit in der Kommissionierung. Die Einbeziehung dieser Aspekte in die Auftragszuweisung des RL-Systems ermöglicht die gleichmäßige Verteilung der Zeiten und optimale Ressourcennutzung. Die Implementierung dieses Lernziels erfordert die Anpassung der Belohnungsfunktion (R_x) des Systems. Um ein solches Belohnungssystem zu entwickeln, wurde eine Arbeitszeit x von 8 Zeitstunden zugrunde gelegt, was einer Nettoarbeitszeit von 6,5 bis 7,5 Stunden entspricht. Grafisch zeigt sich die Funktion (siehe Formel 1) dann wie in Bild 3.

Bild 3

Belohnungsfunktion für gleichmäßige Auslastung

Innerhalb des Bereiches der Nettoarbeitszeit (6,5 bis 7,5 h) bleibt die Belohnung konstant bei -10, um stabile Lernbedingungen zu schaffen und eine übermäßige oder unzureichende Auslastung gleichwertig zu vermeiden. Der gewählte konstante Wert unterstützt das RL-System dabei, eine konsistente Auslastung anzustreben, ohne extreme Abweichungen zu bevorzugen. Außerhalb des definierten Arbeitsbereichs sinkt die Belohnung polynomial, um größere Abweichungen entsprechend zu bestrafen. Obwohl der Exponent einen Einfluss auf die Bestrafung von Abweichungen hat, zeigten Tests, dass dessen Erhöhung nur geringe Effekte auf die Verteilung der Arbeitszeiten hatte. Diese Ergebnisse verdeutlichen, dass eine konstante Belohnung innerhalb des Arbeitsbereichs wichtiger für das Lernverhalten des Systems ist als die Stärke der Bestrafung außerhalb dieses Bereichs.

Formel 1 R x = − 10 f  ür  6.5 ≤ x ≤ 7.5 − | x − 6.5 | n − 10 f  ür  x < 6.5 m i t n ∈ N − | x − 7.5 | n − 10 f  ür  x > 7.5 m i t n ∈ N

Dieser Ansatz sorgt für eine ausgewogene Nutzung der Ressourcen, da das System lernt, die Arbeitszeiten optimal zu verteilen. So entsteht ein dynamisches Auftragszuweisungssystem, das flexibel auf veränderte Anforderungen reagieren und gleichzeitig eine konsistente Arbeitsbelastung aufrechterhalten kann.

Zusammenfassung und Ausblick

RL präsentiert sich als entscheidende Komponente zur Optimierung von Logistikprozessen. Der vorgestellte RL-Ansatz zur Optimierung hebt sich im Vergleich zu herkömmlichen Methoden wie dem MIP hervor. Während MIP sehr schnelle Lösungen bietet, stößt es auf Limitationen hinsichtlich Flexibilität und Anpassungsfähigkeit. Im Gegensatz dazu ermöglicht RL eine flexible Gestaltung des Systems. Die Kombination von objektorientierter Programmierung sowie zielgerichteter Belohnung legt einen längerfristigen Grundstein für agile und innovative Prozesse in der Logistikoptimierung. Durch die Implementierung zeigt das System die Fähigkeit zur adaptiven Anpassung an wandelnde Prioritäten und dynamische Anforderungen. Dies wird auch durch das stabile Lernverhalten des Systems verdeutlicht (Bild 4).

Bild 4

Kumulatives Lernverhalten des Systems

Für Nutzende des Systems liegt der Mehrwert der RL-Variante in ihrer Fähigkeit, Arbeitsabläufe zu vereinfachen und Prozesse flexibel an wechselnde Bedingungen anzupassen. Die kontinuierliche Verbesserung und Anpassungsfähigkeit des Systems entlasten die Mitarbeitenden, da das System selbstständig lernt und optimale Entscheidungen trifft, wodurch Fehlbelastungen und Überlastungen minimiert werden. Die Mitarbeiter können sich stärker auf wertschöpfende Tätigkeiten konzentrieren und profitieren von einer besseren Planbarkeit und Zuverlässigkeit des Systems. Gleichzeitig wird die Einbindung ihrer Rückmeldungen ermöglicht, was den Entscheidungsprozess verfeinert und die Akzeptanz der Technologie erhöht.

Darüber hinaus bietet in Zukunft die Anwendung einer Pareto-Optimierung die Möglichkeit, unterschiedliche Belohnungsziele geschickt zu kombinieren und somit eine Optimierung in Bezug auf mehrere Kriterien zu erreichen. Eine einfache Möglichkeit, dies zu realisieren, ist es, eine gewichtete Summe mehrerer Belohnungen zu bilden. Für zwei Belohnungen reward₁ und reward₂ würde dies in einer Gesamtbelohnung reward_total = a · reward₁ + (1 - a) · reward₂ resultieren, wobei a ∈ [0;1]. Dies könnte ebenfalls analog auf mehrere Ziele ausgeweitet werden. Für diese Addition ist es wichtig, darauf zu achten, dass die einzelnen Belohnungen sich in einem ähnlichen Werteintervall bewegen, da sonst einzelne Ziele automatisch ausschlaggebender sind als andere und die Bewertung weiterer Kriterien somit hinfällig wird.

Die Integration von Techniken wie Heuristiken, Multi-Agenten-Systemen und Deep Reinforcement Learning verspricht zusätzlich eine Steigerung der Leistungsfähigkeit des Systems und performantere Ergebnisse in dynamischen Umgebungen.