Detektion der Auflagestege von Flachbett-Laserschneidmaschinen mittels Nahinfrarot-Beleuchtung

1 Einleitung

Das vorherrschende Maschinenkonzept zum Laserschneiden von Blechen ist die Laser-Flachbettmaschine (LFM). Bei diesem Maschinenkonzept ruht das zu bearbeitende Blech auf vielen Auflagestegen, die aus einzelnen Auflagespitzen bestehen (siehe Abbildung 1). Diese Lagerung ist zum einen der Tatsache geschuldet, dass unter dem Blech möglichst viel freier Raum zur Verfügung stehen muss, um das Schneidgas und die Schlacke abführen zu können. Zum Anderen muss die Lagerung so robust sein, dass sie der widrigen Umgebung unter dem Blech während des Schneidens standhalten kann.

Abb. 1

Auflagestege einer TRUMPF TruLaser Laserschneidmaschine.

Die Auflagestege erfüllen diese Kriterien sehr gut. Trotzdem sorgen sie für Verbesserungsmöglichkeiten, insbesondere bei der Prozesssicherheit von LFMn. Bedingt durch die Auflagestege verkippen kleinere Teile nach dem Schneiden durch den Schneidgasdruck. Die verkippten Teile können mit dem Schneidkopf zu einem späteren Zeitpunkt kollidieren. Mögliche Maßnahmen zur Verhinderung solcher Kollisionen bestehen in der Anpassung der Verfahrbewegungen des Schneidkopfs, sodass in der Nähe kippgefährdeter Teile keine Bewegung mehr stattfindet [5] oder in der Änderung des Layouts der zu schneidenden Teile [11]. Für beide Maßnahmen ist es aber wichtig zu wissen, wo ein zu schneidendes Teil durch einen Steg gelagert ist, denn nur dann lässt sich eine genaue Vorhersage zum Kippverhalten treffen. Deshalb ist eine Vermessung der Auflagestege und eine Vermessung der Lage des Blechs auf den Auflagestegen zur Steigerung der Prozesssicherheit notwendig.

Bisher vorgeschlagene Verfahren haben jeweils spürbare Nachteile. Während die Lasertriangulation sehr hohe räumliche Auflösung bietet, dauert der notwendige Scanvorgang mehrere Sekunden [12]. Bei Verfahren mit einzelnen Bildern ist es hingegen nur möglich, die Anwesenheit bzw. das Fehlen eines Steges mit hoher Wahrscheinlichkeit zu erkennen, aber Aussagen zum Zustand einzelner Spitzen sind nicht möglich. Dies liegt an der großen Varianz der Bilder, die vor allem auf die Verschlackung der Stege, unkontrollierte Lichtbedingungen und Restbleche im Hintergrund zurückzuführen ist.

Die Beleuchtung ist für viele Anwendungen der automatischen Sichtprüfung entscheidend für Robustheit und Geschwindigkeit der Auswertung [7]. Die Kernidee hinter einer NIR-Dunkelfeldbeleuchtung ist die Reduktion der störenden Fremdeinflüsse bei Einzelbildern, insbesondere des unkontrollierten Umgebungslichts. Dadurch sollten auch Aussagen über den Zustand einzelner Spitzen möglich werden, während gleichzeitig die Auswertungsgeschwindigkeit steigt. Da nicht die gesamte Form der Stege, sondern nur die Position der Spitzen von Interesse für die Messaufgabe ist, ist ein Bild der Palette denkbar, das im Hintergrund vollständig schwarz ist und nur die Spitzen als weiße Punkte in geraden Linien zeigt. Dies ist das Ziel der vorgeschlagenen NIR-Dunkelfeldbeleuchtung. Die Auswertung eines solchen Bildes ist offensichtlich mit einfachen Algorithmen möglich.

Das nächste Kapitel zeigt den Stand der Technik der Vermessung der Auflagestege von LFMn. Außerdem werden bekannte Methoden zur Schmalbandbeleuchtung und Arbeiten mit Nah-Infrarot in anderen Anwendungen vorgestellt. In Kapitel 3 wird die im Rahmen dieser Arbeit entstandene Beleuchtung vorgestellt. Die Bildverarbeitungsmethoden zur Auswertung der Bilder werden in Kapitel 4 betrachtet. In Kapitel 5 werden die Ergebnisse des Aufbaus präsentiert, bevor das letzte Kapitel den Inhalt der Arbeit kurz zusammenfasst und einen Ausblick auf weitere Arbeitsgebiete gibt.

2 Stand der Technik

Die Inspektion der Auflagestege von LFMn ist in der Literatur bisher nur wenig beschrieben. Ein vom Grundsatz her geeignetes Verfahren ist die Aufnahme eines einzelnen Bildes der gesamten leeren Palette der LFM. Der Vorteil liegt im Vergleich zu scannenden Messverfahren in der sehr geringen Aufnahmezeit, sodass sich die Nebenzeit der Maschine praktisch nicht verlängert. Eine vorhergehende Arbeit der Autoren hat gezeigt, dass sich mehrere Probleme bei der Aufnahme als Grauwertbild im sichtbaren Spektrum ergeben. Der unterschiedliche Verschleiß der Stege, die nicht kontrollierbare Beleuchtung und mögliche Gegenstände unter der Palette führen zu sehr heterogenen Bildern (siehe Abbildung 2). Template Matching und Kanten- oder Eckendetektoren liefern aus diesem Grund keine guten Ergebnisse. Auf Grund der Regelmäßigkeit des Abstandes zwischen den Stegen und den einzelnen Spitzen erzielen Verfahren, die nach einer Fourier-Transformation bestimmte Frequenzen des Bildes filtern, die besten Ergebnisse mit bis zu 96% Genauigkeit bei der Stegdetektion.

Abb. 2

Die leere Palette einer TRUMPF TruLaser Laserschneidmaschine. Die zweite Palette, auf der das rechte Blech liegt, befindet sich darunter. Das linke Blech befindet sich auf dem Boden.

Die Vermessung der Stege durch Lasertriangulation ist erheblich genauer. Zu Fehldetektionen von Stegen oder Stegspitzen kommt es nicht. Die Genauigkeit ist trotz metallischer Reflexionen bei Aufnahmen mit Standardkameras mit ± 0,8 mm sehr hoch. Es lassen sich auch Fehlerfälle wie verbogene oder geschmolzene Spitzen, sowie die Verschlackung an den Stegseiten erfassen [12]. Der größte Nachteil der Lasertriangulation sind die zusätzlichen Nebenzeiten, die durch das Scannen der leeren Palette entstehen.

Die Dunkelfeldbeleuchtung ist in der automatischen Sichtprüfung ein oft benutztes Inspektionsverfahren [1, 3]. Hierbei wird die Beleuchtung in einem sehr flachen Winkel zur zu überprüfenden Oberfläche platziert, über der senkrecht die Kamera steht. Das meiste Licht wird nicht zur Kamera geleitet, sondern in einem flachen Winkel von der Beleuchtung weg, wodurch ein dunkles Bild entsteht. Defekte in der Oberfläche streuen das Licht, das so verstärkt in die Kamera geleitet wird. Defekte erscheinen also heller als ihre Umgebung.

In [1] wird diese Beleuchtungsart gewählt, um Defekte in Stoffgeweben vor der Produktion feststellen zu können. In einer anderen Studie wurde die Dunkelfeldbeleuchtung gewählt, um ein dünnes Gewebe zu erfassen und daraus die besten Schneidwege des Werkzeugs zu bestimmen [2]. Ein ebenfalls flächiges Ausgangsmaterial, nämlich ein Separator für Lithium-Ionen-Batterien, wurde in [9] betrachtet. Hier wird neben der Dunkelfeldaufnahme auch eine Hellfeldaufnahme durchgeführt und die gewonnene Information hinterher zur Defektdetektion zusammengeführt.

Andere Studien benutzen die Dunkelfeldbeleuchtung auch im nicht sichtbaren Spektrum. In [6] werden Bilder von Composit-Materialien mit Röntgen-Strahlung aufgenommen. Die Proben wurden vorher starker mechanischer Belastung unterzogen, um die Kollision eines Bauteils mit einem Gegenstand zu simulieren. Die entstanden Bilder können genutzt werden, um Defekte im Composit-Material, die durch die mechanische Belastung ausgelöst wurden, zu detektieren.

Die Unterdrückung von Fremdlichteinflüssen bei automatischen Sichtprüfungsaufgaben ist ein breit erforschtes Gebiet. In [10] wurde zur Unterdrückung von Fremdlichteinflüssen im sichtbaren Spektrum bei der Gesichtserkennung eine schmalbandige Aufnahme und eine Beleuchtung im nahen Infrarot (NIR) benutzt. Der Vorteil einer NIR-Beleuchtung ist, dass die Unterdrückung von Fremdlichteinflüssen durch Sonnenlicht oder künstliche Beleuchtung auch ohne Einhausung sichergestellt werden kann.

Für die Assistenzsysteme von Automobilen sind NIR-Beleuchtungen ebenfalls betrachtet worden. So kann durch eine aktive NIR-Beleuchtung eine recht genaue Sichtweitenschätzung erreicht werden, ohne dabei durch Sonnenlicht gestört zu werden oder nachts durch sichtbare Beleuchtung die Verkehrsteilnehmer zu stören [4].

3 Konstruktion einer schmalbandigen Dunkelfeldbeleuchtung

Der Aufbau einer schmalbandigen Dunkelfeldbeleuchtung an einer LFM soll vor allem zwei Probleme lösen. Erstens soll mittels der schmalbandigen NIR-Komponente Fremdlicht sehr gut unterdrückt werden, sodass eine Dunkelfeldbeleuchtung ohne Einhausung ermöglicht wird. Zweitens soll durch die Dunkelfeldbeleuchtung die Analyse der Bilder sehr viel einfacher und dadurch auch schneller möglich werden. Die angestrebte Aufnahme ist zum Großteil schwarz und zeigt die Spitzen eines Steges als helle Punkte.

Die Umsetzung einer schmalbandigen NIR-Beleuchtung ist relativ einfach durch eine entsprechende Beleuchtung und Filter vor dem Kameraobjektiv möglich. Um eine möglichst gute Fremdlichunterdrückung zu erzeugen, sind die Wellenlängen 850 nm und 940 nm besonders geeignet, da sie auf der Erdoberfläche Bandlücken im Spektrum des Sonnenlichts sind. Dies hängt mit Reaktionen von Wassermolekülen in der Atmosphäre zusammen [8]. Deshalb sind diese Wellenlängen auch in der Sicherheitstechnik verbreitet und entsprechende Filter einfach verfügbar.

Die Konstruktion einer Dunkelfeldbeleuchtung für die Palette einer LFM unterliegt mehreren Anforderungen. Die Kamera muss an der Rückwand der Maschine angebracht werden, da die drei anderen Seiten, sowie der Raum überhalb der Palette für Be- und Entladeprozesse der Maschine zur Verfügung stehen müssen. Die Lichtquelle muss zum einen oberhalb der Stegspitzen positioniert werden, damit reflektiertes Licht nach oben zur Kamera geleitet wird. Zum anderen darf die Lichtquelle nicht in einem zu steilen Winkel von oben auf die Palette gerichtet sein, da sonst Gegenstände, die sich unter der Palette befinden, beleuchtet werden könnten.

Außerdem darf die Lichtquelle nicht die der Kamera zugewandte Seite der Stege beleuchten. Sonst entstehen Bilder, die Bildern aus dem sichtbaren Spektrum sehr ähnlich sind und entsprechend auch die in Kapitel 2 angesprochenen Probleme bei der Auswertung haben.

Die Beleuchtung muss also seitlich, in einem flachen Winkel von oben und hinten erfolgen. Tests haben gezeigt, dass es zu teilweise starken Blendenflecken kommt, wenn Licht direkt von der Beleuchtung in die Kameraoptik gelangen kann. Dies ist vor allem dann der Fall, wenn sich die Beleuchtung auf der der Kamera gegenüberliegenden Seite der Palette befindet. Die Beleuchtung muss dann mit entsprechenden Abdeckungen versehen werden.

4 Bildverarbeitungsmethoden

Durch die Position der Kamera sind die Aufnahmen perspektivisch verzerrt. Stege und Stegspitzen, die weiter vorne auf der Palette sind und damit im Bild weiter unten erscheinen, sind größer dargestellt als Stege und Stegspitzen weiter hinten. Die nötige Entzerrung kann mit einer Homografie durchgeführt werden. Dazu müssen manuell vier Punkte im Bild bestimmt werden, die die Ecken eines Rechtecks sind. Diese Punkte sind durch die Stegspitzen sehr einfach manuell zu finden. Da alle Bilder aus der selben Perspektive aufgenommen werden, muss dies nur einmal geschehen und kann danach auf alle Bilder übertragen werden. Beim gerichteten Bild sind sowohl die Abstände zwischen zwei Stegen, als auch die Abstände zwischen zwei Spitzen bei verschiedenen Stegen nahezu konstant.

Ob ein Steg eingelegt worden ist, lässt sich leicht mittels Parallelprojektion bestimmen. Die Grauwerte werden dabei Reihenweise (von links nach rechts in Abbildung 3) addiert und es entsteht ein diskreter Verlauf der Helligkeitswerte im Bild. Stege stellen in diesem Signal ein lokales Maximum dar. Die Maxima lassen sich mit einfachsten Methoden erkennen. So reicht es Maxima durch den Vergleich mit den zwei direkten Nachbarn zu identifizieren. Aus dieser recht umfänglichen Liste werden dann alle Maxima entfernt, deren Differenz zwischen ihrem Wert und dem Wert des nächsten lokalen Minimums einen definierten Schwellwert nicht erreicht. Zusätzlich werden so lange kleinere Maxima entfernt, bis alle Maxima eine gewisse Mindestdistanz zueinander haben. Die verbleibenden Maxima werden als Stege gewertet.

Abb. 3

Ein Beispiel einer gerichteten NIR-Dunkelfeldaufnahme von Auflagestegen einer LFM.

Auf Grund von Punktreflexionen (siehe Abbildung 4) kann es mit diesem Verfahren zu Fehldetektionen kommen. Um ihre Anzahl zu senken, kann außerdem für jede als Steg klassifizierte Reihe geprüft werden, wie stark die Grauwerte entlang der Reihe fluktuieren. Dazu wird im Abstand von zehn Pixeln der Wert der Parallelprojektion bestimmt und jeweils die Differenz zum Vorgänger gebildet. Wenn der Durchschnitt dieser Differenzen über einem definierten Schwellwert liegt, handelt es sich um einen Steg. In den in Kapitel 3 beschriebenen Aufnahmen dieser Arbeit ergaben sich zwischen den korrekten und fehlerhaften Detektionen zwei klare Cluster, weshalb ein Schwellwert einfach bestimmt werden konnte.

Abb. 4

Ein Beispiel von zwei der manchmal auftretenden Punktreflexionen zwischen drei Stegen.

Wenn dies nicht der Fall ist, handelt es sich um eine Fehlklassifikation, die aus der Liste der detektierten Stege gelöscht wird.

Aus dem extrahierten Steg können auch die einzelnen Spitzen detektiert werden, indem wieder eine Parallelprojektion durchgeführt wird. Dazu werden nur die Reihen berücksichtigt, die zuvor als Stege erkannt wurden. Die Projektion wird diesmal in Richtung der Spalten durchgeführt, wodurch wie zuvor bei den Stegen auch ein diskretes Signal entsteht, in dem jede Stegspitze ein lokales Maximum darstellt. Wie bei der Stegerkennung zuvor wird auch hier bei der Detektion von Maxima erstens ein minimaler Abstand zwischen zwei Maxima und zweitens eine minimale Differenz zum nächsten lokalen Minimum gefordert.

5 Versuch und Ergebnisse

5.1 Versuchsaufbau und Aufnahmen

Der Aufbau wurde wie in Kapitel 3 beschrieben an einer LFM der Serie TRUMPF TruLaser 5000 realisiert (siehe Abbildung 5). Die verwendete Kamera war eine FLIR Blackfly S mit Computar M0824-MPW2 Objektiv mit 8 mm Brennweite. Die eingesetzten Schmalbandfilter haben eine maximale Durchlässigkeit von über 90% bei 850 nm bzw. 940 nm ± 5 nm. Als Beleuchtung wurde eine breitbandige Rotlicht-Infrarot-Lampe aus dem medizinischen Gebrauch genutzt. Die Lampen waren dabei so weit hinter und über den Stegen positioniert, dass der Einfallswinkel von hinten zwischen 15° und 20° und bei ca. 15° von oben lag. Die Testmaschine war eine Maschine der TRUMPF TruLaser 3000 Serie. Die Stegesteckplätze sind bei dieser Maschine ungefähr 33 mm von einander entfernt. Der Abstand zwischen zwei Spitzen beträgt ungefähr 15 mm.

Abb. 5

Der Versuchsaufbau am Palettenwechsler einer LFM. Die Beleuchtung ist eine breitbandiger Strahler, weshalb eine deutliche Rotfärbung zu sehen ist.

Die Kamera wurde mit dem verbreiteten Schachbrettmusterverfahren intrinsisch kalibriert [13]. Vor Beginn der Aufnahmen wurde durch Aufnahmen ohne NIR-Beleuchtung sichergestellt, dass in den Räumen kein NIR-Licht vorhanden ist, das die Ergebnisse beeinflussen könnte. Die Stege können in den Aufnahmen klar erkannt werden (siehe Abbildung 3).

Um verschiedene Bedingungen abbilden zu können, wurden Stege mit verschiedenen Materialien, nämlich Baustahl, Edelstahl und Kupfer, getestet. Außerdem waren manche Stege neu, während andere nur gealtert waren, was einen Einfluss auf die Oberfläche der Stege hat, oder starke Verschlackung aufwiesen. Bei letzteren waren auch geschmolzene Spitzen vorhanden und einzelne Spitzen wurden absichtlich verbogen, um das vorgeschlagene Messsystem auch in der Detektion einzelner Spitzen testen zu können. Insgesamt wurden 20 unterschiedliche Bilder mit jeweils 12 Stegsteckpositionen im Sichtfeld der Kamera aufgenommen.

5.2 Ergebnis und Diskussion

Die Ergebnisse der Auswertungen wurden manuell überprüft. Von den insgesamt 240 aufgenommenen Stegsteckpositionen waren 150 belegt und 90 nicht belegt. Da eine leichte Klassenimbalance vorliegt, soll neben der Accuracy (siehe (1)), auch die Balanced Accuracy (siehe (2)) betrachtet werden. Im Folgenden sollen die Klassifikationsergebnisse mit ihren Anfangsbuchstaben abgekürzt werden, sodass z.B. RP für „richtig positiv“ und FN für „falsch negativ“ steht.

(1)Accuracy=RP+RNRP+FP+FN+RN

(2)Balanced Accuracy=12⋅RPRP+FN+12⋅RNFP+RN

Ohne Korrektur von Punktreflexionen werden alle 150 eingelegten Stege erkannt, zusätzlich aber 31 falsch positiv klassifiziert. Die Accuracy beträgt somit 87,1 %, die Balanced Accuracy 91,4 %. Bei Korrektur der Punktreflexionen gibt es keine Fehlklassifikationen.

Wenn auf Basis dieser korrigierten Stegerkennung außerdem jede einzelne Stegspitze erkannt werden soll, kommt es wie zu erwarten war zu leicht schlechteren Ergebnissen. Da die Stege nicht symmetrisch sind, sind von einem Steg entweder 45 oder 46 Spitzen im Sichtfeld der Kamera. Insgesamt wurden 6870 mögliche Stegspitzen aufgenommen, davon waren 6616 tatsächlich vorhanden. Die erreichte Accuracy beträgt 98,7% und die Balanced Accuracy 93,1 %. In diesem Fall ist die Letztere aussagekräftiger, da die Klassenimbalance recht stark ist.

Es treten ungefähr doppelt so viele falsch positive Erkennungen auf wie falsch negative. Die falsch positiven Erkennungen kommen sehr oft dadurch zustande, dass eine halb abgeschmolzene Spitze trotzdem sehr hell erscheint, teilweise auch, weil der Hintergrund sehr schwarz ist. Ein Beispiel dafür findet sich in Abbidlung 6 links. Man könnte diese Fehldetektion mit den bestehenden Algorithmen lösen, wenn man die Höhe des zur Detektion der Spitzen benutzten Teilbildes verringern würde. Dadurch wird aber das aus der Parallelprojektion entstehende Signal verrauschter.

Abb. 6

Zwei Ausschnitte mit teilweise korrekt (grün eingekreist) und teilweise falsch (rot eingekreist) erkannten Spitzen. Links ein Beispiel einer falsch positiv erkannten Spitze, rechts ein Beispiel für zwei falsch negativ und eine falsch positiv erkannte Spitzen.

Falsch negative Erkennungen treten vor allem dann auf, wenn die Umgebung der Spitze verrauscht ist. So kam es teilweise durch einen der beiden Querträger der Palette (siehe auch Abbildung 2) zu Fehlerkennungen, da dieser dann beleuchtet wird, wenn mehrere Stege fehlen. Ein Beispiel ist in Abbidlung 6 rechts zu sehen. Da einzelne Spitzen ja einen Mindestabstand haben müssen, werden die beiden Spitzen rechts und links des Querträgers nicht erkannt, da dieser aufgrund der Helligkeit als Spitze gewertet wird.

6 Zusammenfassung

Zur Detektion der Auflagestege und Auflagespitzen einer LFM wurde in diesem Beitrag eine schmalbandige NIR-Dunkelfeldbeleuchtung eingesetzt. Dadurch lassen sich deutliche Steigerungen der Robustheit und Genauigkeit im Vergleich zur Auswertung eines Grauwertbildes im sichtbaren Spektrum erreichen. Während bisherige Ansätze nicht über 96% Genauigkeit hinauskommen, konnte mit dem vorgestellten Verfahren eine fehlerfreie Detektion von Auflagestegen erreicht werden. Bei der Detektion der einzelnen Auflagespitzen konnte eine Balanced Accuracy von 93,1% erreicht werden.

Gleichzeitig ist das vorgeschlagene Verfahren bei der Auswertung schneller als die Analyse von Grauwertbildern im sichtbaren Spektrum. Die beiden erhofften Vorteile der NIR-Dunkelfeldbeleuchtung, nämliche höhere Genauigkeit und schnellere Analyse konnten somit bestätigt werden.

In zukünftigen Arbeiten sollte untersucht werden, ob mit komplizierteren Verfahren eine exakte Detektion der Stegspitzen auf den NIR-Bildern dieser Arbeit möglich ist. Möglich wäre beispielsweise der Einsatz künstlicher neuronaler Netze.

Außerdem ist eine spannende offene Frage, inwiefern sich durch eine große Datenbasis künstliche neuronale Netze zur Detektion der Stege und Spitzen auf Bildern aus dem sichtbaren Spektrum eignen. Unter Umständen besteht damit die Möglichkeit, auf eine Beleuchtung zu verzichten und gleichzeitig nur wenig Genauigkeit und Robustheit zu verlieren.

Nicht zuletzt können weitere Einsatzgebiete einer NIR-Beleuchtung an einer LFM erforscht werden, zum Beispiel zur Vermessung der Blechlage außerhalb des Maschinenkörpers oder zur Detektion verkippter Teile nach dem Schneidvorgang. Letzteres ist wichtig, um Kollisionen von automatisierten Absortieranlagen zu verhindern.