Wie Maschinen das Lernen lernen

Selbstlernende „Agenten“ sollen helfen, jedem Container den optimalen Lagerplatz zuzuweisen. Die Berater der HHLA-Tochter HPC Hamburg Port Consulting setzen auf die modernste Form künstlicher Intelligenz. Sie haben das Konzept bereits erfolgreich simuliert.

Wie können 2.400 Container in einem automatisierten Lagerblock mit 600 „Slots“ in vier Lagen sinnvoll übereinander gestapelt werden? Auf den ersten Blick erscheint diese Aufgabe einfach zu lösen. Aber die Stahlboxen verlassen den Hafen in ganz anderer Reihenfolge, als sie eingetroffen sind.

Manche werden schnell mit einem Hamburger Lkw abgeholt, andere müssen auf ein Feederschiff warten, das sie weiter in einen Ostseehafen bringt. Beim Einlagern weiß also noch niemand, wann der Lagerkran die Container wieder aus dem kompakten Block herausholen muss. Deshalb müssen viele mehrfach umgestapelt werden.

Könnte man sie nicht so optimal aufstellen, dass der Lagerkran sie möglichst nur einmal anfassen und nicht umstapeln muss? Diese Herausforderung ist mit gesundem Menschenverstand allein nicht zu bewältigen. „Selbst wenn das Lager lediglich zu 80 Prozent ausgelastet ist, gibt es bei nur 100 unterschiedlichen Verweildauern rechnerisch 1001900 Möglichkeiten, die Container in dem Lager zu stapeln“, sagt Jan Niklas Sikorra.

Der Senior Consultant des auf Hafen-, Logistik- und Transportthemen spezialisierten HHLA-Beratungsunternehmen HPC Hamburg Port Consulting sucht deshalb nach ganz neuen Möglichkeiten. Gefunden hat Sikorra das „Reinforcement Learning“. Bei dieser modernsten Variante der Künstlichen Intelligenz (KI) verfolgt das KI-Modul nicht mehr starr ein vorgegebenes Ziel. Programmierte „Agenten“ bewegen sich in einer virtuellen Trainingsumgebung und optimieren sich selbst anhand einer Belohnungsfunktion.

Kurz gesagt: Sie bringen sich selbst die optimale Lösung einer Aufgabe und den Weg dorthin bei. In diesem Fall sollen sie die Stecknadel der optimalen Stellplatz-Kombination im schier unübersichtlichen Container-„Heuhaufen“ finden. Gemeinsam mit weiteren HPC-Fachleuten nutzt Sikorra dieses Prinzip, um eine intelligenten Blocklager-Steuerung zu entwickeln. Eine KI, die sich selbstständig dafür trainiert, die beste Reihenfolge für jede Container-Einlagerung zu finden.

Verschiedene Anwendungen, die unter dem Begriff Künstliche Intelligenz zusammengefasst werden, kommen schon heute auf den HHLA-Terminals Altenwerder (CTA) und Burchardkai (CTB) zum Einsatz. Meist geht es um eine optimalen Ablauf der Transport- und Lagerprozesse, aber auch um die Erstellung zuverlässiger Prognosen zu Lebensdauer und erwartbaren Schäden an der Anlagentechnik.

Im Steuerungssystem der Terminals schließen KI-Module Lücken in den verfügbaren Informationen über die umgeschlagenen Container. Bei jedem zweiten Behälter, der von an Land gesetzt wird, ist die Verweildauer auf dem Terminal unbekannt. Zu jeder zehnten Box gibt es zudem keine Informationen, ob sie mit dem Schiff, der Bahn oder einem Truck weitertransportiert werden soll.

Bevor sie Unterstützung durch die KI-Module bekamen, mussten die Terminal-Logistiker auf ihre Erfahrung vertrauen. Jetzt vergleicht ein KI Modul 30 bekannte Daten des betreffenden Containers mit Informationen über früher umgeschlagene Ladung und prognostiziert daraus die wahrscheinliche Verweildauer sowie den Verkehrsträger. Mit hoher Treffsicherheit wird so ein optimaler Stellplatz gefunden.

Das System gehört weltweit zu den modernsten Verfahren in der Hafenlogistik - und hat dennoch ein Handicap. Das möchte Sikorra für die Zukunft beseitigen: „Das aktuelle System zur Lagersteuerung basiert auf sehr komplexen Algorithmen und das KI-Modul bedarf einer regelmäßigen Aktualisierung.“

Die Grundidee des neuen Ansatzes ist es, dass das Modul selbstständig lernt und erkennt, wie die optimale Lösung aussieht. Das HPC-Konzept greift die Vision auf, „Elektronengehirne“ könnten eines Tages so agieren wie Menschen und selbstständig aus Versuch und Irrtum lernen.

Jahrzehntelang blieb es angesichts mangelnder Leistungsfähigkeit der Computer bei einem Traum. Doch die Rechnerkapazitäten wuchsen exponentiell. Unterstützt von leistungsstarken Frameworks und Methoden, um Informationen zu analysieren und Netzwerke zu trainieren, erschließen Methoden wie das „reinforcement learning“  mittlerweile neue Dimensionen Künstlicher Intelligenz.

Mittlerweile hat Sikorra das reinforcement-learning-Prinzip so weit an den realen Terminalbetrieb angepasst, dass er es in eine Modellversion implementieren konnte. Hierzu ließ er seine virtuellen Logistik-Agenten 800 Container auf 100 Stapel verteilen. Sie lernten dabei, Stellplätze so zu wählen, dass die Zahl der Umstapel-Bewegungen eines Containers zwischen Ein- und Auslagerung minimiert wurden. Als nächstes möchte der Hamburger die lernenden Agenten in einem Rahmen agieren lassen, der den realen Bedingungen auf einem Containerterminal entspricht.

Wie lang mag der Weg bis dahin sein? Das ist angesichts der hohen Anforderungen an ein solches System nur schwer abzuschätzen. Aber der erste entscheidende Schritt zu einem Quantensprung in der Organisation der Hafenabläufe ist jetzt getan.