O+P Fluidtechnik 11-12/2023

FORWARDER-ASSISTENZSYSTEM HOLZERNTE MIT KÜNSTLICHER INTELLIGENZ Die Nutzung von Methoden der künstlichen Intelligenz (KI) wird derzeit in vielen Anwendungen erforscht, so auch am Institutsteil Mobile Arbeitsmaschinen (Mobima) des Karlsruher Instituts für Technologie KIT. Entwickelt wurde hier ein System zur automatischen Erkennung und zum Greifen von Baumstämmen. Die zukunftsweisende Forwarder- Anwendung war ein Forschungsprojekt im Bereich der Forsttechnik. MOBILE MASCHINEN Ein Fachkräftemangel ist heute in allen Bereichen der Industrie zu beobachten, so auch in der Forstwirtschaft. Zudem hat sich gezeigt: Ein Fahrer eines Forwarders (Tragschlepper) muss neun Monate angelernt werden, bevor er produktiv mit der Maschine arbeiten kann [1]. Auch wenn das Laden von Baumstämmen einfach aussieht, so stellt es doch hohe Anforderungen an den Maschinenbediener. Es darf beispielsweise nicht in den Boden gegriffen werden oder der Schwerpunkt der Stämme muss getroffen werden. Es ist daher naheliegend, den Fahrer bei dieser Aufgabe zu unterstützen. Möglich wird dies durch den Einsatz von Methoden der KI, konkret mit Verfahren aus der Bilderkennung. KI LERNT AN REALEN EINSCHLAGSSZENARIEN In einem ersten Schritt war es notwendig, liegende Baumstämme erkennen zu können und deren exakte Schwerpunktlage zu bestimmen. Um Objekte sicher erkennen zu können, muss die KI Prof. Dr.-Ing. Marcus Geimer, Institutsleiter am Karlsruher Institut für Technologie (KIT), Institutsteil Mobile Arbeitsmaschinen (Mobima) Dr.-Ing. Chris Geiger hat 2022 am KIT zu dem Thema promoviert mit einer Vielzahl von Bildern trainiert werden, das gilt insbesondere für KI-Methoden zur Bilderkennung. Eine solche Anzahl von Bildern aufzunehmen und zu annotieren, würde sehr viel Zeit kosten; Bildannotation heißt Zuordnen von Informationen zu einem Bild. Deshalb wurde im Forschungsprojekt ein auf dem öffentlichen COCO-Datensatz (330.000 Bilder) vortrainiertes Netz genutzt, und zwar das YOLACT++ mit einem ResNet-101 als Backbone. Dieses erkennt heute zuverlässig Gegenstände des Alltags. Wie aber kann das Netz nun zur Erkennung von Baumstämmen genutzt werden? Hier wurde sich der Methode des Transfer-Learning bedient: Die letzten Layer des Netzes wurden mit dem am KIT erzeugten, forstspezifischen Datensatz MobimaLogs neu trainiert, der 2.200 Bilder aus realen Einschlagsszenarien im Forst umfasst. Dies war möglich, da die ersten Layer aus den Bildern Merkmale, wie z. B. Linien, Kreise oder ähnliches extrahieren. Erst in den letzten Layern wird dann die Wahrscheinlichkeit für das Vorhandensein eines speziellen Objektes ermittelt, etwa eines am Boden liegenden Stamms oder eines stehenden Baumes. Wie erfolgreich ein solches Training ist, zeigt Bild 01. Die von dem KI-System erkannten Objekte sind darin markiert. Durch das neuronale Netzwerk findet eine Instanzsegmentierung statt. Es ist ersichtlich, dass nicht nur die Baumstämme selbst erkannt und klassifiziert werden, sondern auch eine Identifikation jedes 48 O+P Fluidtechnik 2023/11-12 www.oup-fluidtechnik.de

MOBILE WISSENSCHAFT zu einem spezifischen Objekt (bspw. Baum oder Stamm) gehörenden Bildpixels stattfindet. So ist es möglich, aus einem 2D- Kamerabild für jedes Pixel die Zugehörigkeit zu einem bestimmten Objekt zu ermitteln. KI BESTIMMT SCHWERPUNKT FÜR AUTOMATISCHEN GREIFER Neben der 2D-RGB-Kamera wurde im Projekt eine weitere 3D- Messung durchgeführt. Durch ein Matchen der 2D-Punkte mit den 3D-Messungen konnte die 3D-Punktwolke für einen spezifischen Baumstamm ermittelt werden. Diese Punkte wurden, wie in Bild 02 gezeigt, extrahiert, sodass die 3D-Informationen eines Baumstammes vorlagen. Mithilfe von mathematischen Ausgleichsfunktionen konnten daraufhin die Stammachse, der Stammdurchmesser und die Stammlänge bestimmt werden. Auf diese Weise war es möglich, die Position des Schwerpunktes eines Baumstammes zu bestimmen, der dann Grundlage für die Entwicklung einer automatisierten Greifsteuerung war. Der gegriffene Baumstamm wurde anschließend automatisiert gewogen. Hieraus lassen sich Schlüsse über den Zustand des Stammes sowie dessen Eigenschaften bestimmen: Ist der Stamm gesund oder ist er hohl, um was für eine Baumart handelt es sich? Die Ermittlung des Stammgewichts erfolgte dabei auch mittels Methoden aus der Bilderkennung, wie im Folgenden näher erklärt. MASCHINENDATEN INS BILD GESETZT In einem ersten Schritt war es notwendig, Messdaten nach dem Anheben des Stamms in Bilddaten umzuwandeln. Hierbei bedient man sich eines Tricks, bei dem eine gewisse Anzahl von Messwerten, in diesem Fall waren es 200 Stück, aufgenommen werden und die erste Dimension eines Bildes bilden. Die Messgrößen selbst bilden dann die zweite Dimension des Bildes. Hier wurden 18 unterschiedliche Messdaten aufgenommen. Dies war vor allem der Druck im Hauptarmzylinder des Krans sowie dessen Kinematik. Die Höhe der Messwerte selbst bildete einen Grauwert des dazugehörigen Pixels im so aufgebauten Bild. Ein solches Bild ist beispielhaft unten in Bild 03 dargestellt. Auch hier hat sich die Stärke von Bilderkennungsverfahren gezeigt: Mithilfe von wenigen hundert Trainingsdaten war es möglich, das Gewicht des Stammes mit einer Toleranz von ±10 % vorherzusagen. Die Vorhersage war dabei statistisch um das tatsächliche Gewicht verteilt, sodass eine Toleranz von ± 1 % für die gesamte Beladung eines Forwarders erreicht werden konnte. Dieses System ist daher geeignet, eine Überladung des Fahrzeugs sicher zu erkennen. AUTOMATISIEREN MIT KI UND MACHINE VISION Zusammenfassend lässt sich schlussfolgern: Mithilfe von KI-Methoden können Informationen für eine Automatisierung von Maschinen gewonnen werden, die sonst nur sehr schwer zu beschaffen sind. Insbesondere Methoden der Bildverarbeitung halten die Autoren für interessant. Daten müssen dazu teilweise gewandelt werden, wie das Beispiel der Messdatenwandlung in Bilddaten gezeigt hat. Literaturhinweise: [1] Pagnussat, M.; Silva Lopes, E. und Seidler, R.: Behavioural profile effect of forestry machine operators in the learning process. In: Journal of Forest Science 65.No. 4 (2019), S. 144–149. [2] Geiger, C.; Weißenböck, M. und Geimer, M.: Assistance System for an Automatic Loading Process, in: Proceedings of The Joint Annual 43rd Annual 01 Beispiel für die Stammerkennung: Die Ergebnisse basieren auf YOLACT++, einem mit 300.000 Bildern vortrainierten Netz, und auf MobimaLogs mit 2.200 Bildern, einem forstspezifischen Datensatz 2D – RGB Image Object Detection and Instance Segmentation Estimation of log position 02 Methode zur Stammerkennung 03 Erzeugung von Bilddaten zur Gewichtsbestimmung, wobei das Graustufenbild Ergebnis einer Messdatenwandlung u. a. des Drucks im Hauptarmzylinder des Krans in Bilddaten darstellt Meeting of Council on Forest Engineering (COFE) & the 53rd International Symposium on Forestry Mechanization (FORMEC), Online, 2021, pp. 5–7. [3] Geiger, C.: Assistenzsystem für einen teilautomatisierten Ladeprozess bei Forwardern, Dissertation, Karlsruher Institut für Technologie, 2023, doi: 10.5445/ IR/1000157328. Bilder: KIT, Chris Geiger, Image‘in – stock.adobe.com www.kit.edu X Y Z 3D – Point Cloud Data Point Cloud of detected log Estimation of log diameter and length www.oup-fluidtechnik.de O+P Fluidtechnik 2023/11-12 49