Integration of Artificial Intelligence into Metallography: Area-wide Analysis of Microstructural Components of a Jominy Sample

2.1 ML – approach for analysing microstructure components

2.1.1 Data set

The basis for providing reliable and accurate results from a trained neural network is the size and quality of the data set. The dataset used in this work contains over two million metallographic images that were used to train the AI. This dataset contains representative images of low-alloy carbon steels, which ensures the presence of as many types of microstructural constituents as possible. Table 1 shows the range of proportions of alloying elements contained in the steels used. A total of 26 steels with five different heat treatment states were used. Specific time-temperature cycles were carried out in the dialatometer to set these heat treatment states.The dilatometer samples were held at a temperature of 1000 °C for five minutes. This austenitisation led to the homogenisation of the austenite grains and the dissolution of the carbides. After holding, the samples were cooled at different rates from 0.01 to 100 Ks^-1 to obtain different microstructures and a mixture of phases and microstructure components (ferrite, pearlite, bainite, martensite).

Table 1

Contents of the individual elements of the steels contained in the data set

Tabelle 1. Gehalte der einzelnen Elemente der im Datensatz enthaltenen Stähle

Element	wt.%
C	0.02–0.74
Si	0.0–0.5
Mn	0.2–2.0
P	0.0–0.04
Cr+Ni+Mo	0.1–1.5
Ti+V+Nb	0.0–0.22

All images were taken with Keyence microscopes at 2000× magnification. As the two microscopes used are from different generations, the database contains images with different resolutions. Therefore, pre-processing was first carried out by reducing the images to 1200 × 1600 px in order to achieve the same image quality. Figure 1 shows some images as examples of different microstructures contained in the database. In addition, different images with different etching times (10 s, 30 s and 60 s) were added to the database. All experimental procedures, including heat treatment, sample preparation and the acquisition of metallographic images, were carried out in the laboratory of the Institute of Metal Forming at the TU Bergakademie Freiberg.

Fig. 1

Various microstructure images from the MiViA data set

Bild 1. Verschiedene Mikrostrukturaufnahmen aus dem Datensatz von MiViA

2.1.2 Deep Convolutional Neural Networks

The development of MiViA’s DCNN model is based on the accumulated experience of the work of Mulewicz et al. [11] and was trained with the new microstructure data set described in chapter 2.1.1.

The data used was specially developed for the microstructure identification of low-alloy steels and trained in an auto-encoder with a DCNN architecture in order to identify the relevant features of the microstructure.

With the help of a so-called bottleneck architecture (see Figure 2), the images were encoded so that a representative parameter set is created in the centre of the network, which describes an area of the image of 52 × 52 px. By analysing the individual image areas, the structural components could be identified. The activated filters were then back-calculated to determine the exact position of the microstructure features, the feature layers. By further processing the segmentation generated in this way, corresponding labels were created for each image.

Fig. 2

Auto-encoder for unsupervised learning to generate the labeling

Bild 2. Autoencoder für das Unsupervised Learning zur Generierung der Label

Thanks to the approach described above (unsupervised learning), pairs of original images and result images have been created. These are trained in a classic U-Net, so that faster and computationally easier AI applications are created. This means that supervised learning was used in the second step, which made it possible to obtain the assignment of the individual structure types as a result [12]. The results can then be created and evaluated using conventional image analysis algorithms (e. g. microstructure components or grain size).

No pre-trained layers from the freely accessible models (e. g. VGG) were used. Instead, three techniques were used for both networks (autoencoder and U-Net) to extract the features sought in the hidden layers from the high resolution of the images. A nor-malisation of the output values between the layers (batch normalisation) was carried out. The dropout method (0.8) was used to avoid overfitting (an accurate prediction for the training data used, but not for the validation data). Individual output values from the DCNN layers were set to 0. In addition, a max-pool function was used to extract maximum output values in a kernel area for the purpose of information reduction (resolution).

The accuracy of 96 % oft the U-Net was achieved after training the DCNN model based on 80 % of the classified images – blurred images were excluded from the dataset. This accuracy (mean square error) was determined by a pixel-to-pixel comparison, with 99.7 % of the maximum distances being within the sigma environment according to the selected 3-σ rule. The remaining 20 % of the metallographic images were used to validate the model.

4.1 Determination of the microstructure components via the distance to the face quenching surface

In the Jominy test, rapid cooling occurs on the quenched surface, while the rest of the bar is cooled more slowly, which leads to the formation of different microstructures. As a result, the hardness decreases along the bar. This clear drop in hardness can be seen in Figure 4c. The Jominy test as a simple standard test therefore makes it possible to produce different types of microstructures in one specimen, whereby martensite formation is only to be expected in the first millimetres of the Jominy specimen.

Fig. 4

The microstructure is shown at four selected distances (1.5 mm; 5 mm; 13 mm; 30 mm) (a), the relationship between the microstructure distribution determined with MiViA (b) and the hardness curve (c) over the distance d to the face quenching surface of the sample

Bild 4. An vier ausgewählten Abständen (1,5 mm; 5 mm; 13 mm; 30 mm) ist die Mikrostruktur abgebildet (a), Zusammenhang der Gefügebestandsverteilung ermittelt mit MiViA (b) und des Härteverlaufs (c) über den Abstand d zur Stirnabschreckfläche der Probe

After the hardness measurement, the panoramic image of the sample was analysed using MiViA “Segmentierung”. For this purpose, each row of pixels was measured over the entire cross-section of the sample. The percentage of microstructure components determined over the distance to the end face of the sample is also shown in Figure 4b.

When comparing Figures 4c and 4b, it can be seen that the martensitic microstructure mainly forms at the first 2 mm of the quenched end of the bar and the martensite content then decreases drastically. This corresponds to the course of the determined hardness near the end face. The subsequent ferrite/pearlite microstructure can be recognised along the length of the bar and thus indicates the lower hardness values at a longer distance from the end face. Bainite only appears in the decreasing area of the hardness curve. Fluctuations in the results from a distance of approx. 7 mm can be influenced by several aspects such as base material, preparation and etching conditions. The scattering of the results, which is shown with the dotted line, is discussed in chapter 4.2.

Selected light microscope images (see Figure 4a) at distances of 1.5 mm, 5 mm, 13 mm and 30 mm show a clear progression of the microstructure. Brown areas at a distance of 1.5 mm show martensitic areas, whereby these disappear almost completely at 5 mm and a mixed structure of pearlite, bainite and ferrite forms. From 13 mm, a two-phase structure of ferrite and pearlite is present according to light microscopic assessment.

In the following paragraph, the agreement and deviations of the manually determined microstructural components in the light microscopic images (4a), as shown in Table 3, are discussed with the results of the AI analysis from Figure 4b.

Table 3 presents the percentages of microstructure components (martensite, bainite, pearlite, ferrite) in the light micrographs from Figure 4a. A comparison of these data with the AI analysis results shown in Figure 4b shows a general agreement of the microstructure proportion tendencies at the different distances (1.5 mm, 3 mm, 13 mm and 30 mm) to the face quenching surface. At a distance of 1.5 mm, a high martensite content with admixtures of bainite was found. The distances of 3 mm and 13 mm show a mixed microstructure of bainite, pearlite and ferrite, while at 30 mm, similar to Figure 4b, a two-phase microstructure of pearlite and ferrite was identified. The deviations observed, especially at 1.5 mm, could be due to heavily over-etched areas in the microstructure images, which make it difficult for the AI to correctly distinguish between martensite and pearlite. In addition, the differences between the manually determined values and the AI analyses could be partly due to the measurement uncertainty of the manual methodology, but could also indicate the need for further training of the AI in order to better deal with challenges such as highly over-etched microstructures.

Figure 5 shows SEM images of the microstructure from the centre of the Jominy sample at various distances. The microstructure components can be determined qualitatively better than with pure light microscopic assessment on the basis of the different characteristics of the etching. While the bainite formation at a distance of 1.5 mm from the quenched surface can only be observed at the former austenite grain boundaries, the martensite is present within the grain (see Figure 5a). At 5 mm, a combination of bainite, ferrite (deeper levels) and degraded pearlite (lamellar structure) and small areas of martensite can be recognised (Figure 5b), which confirms the statement of the light microscopic images. The martensite content deviates from the light microscopic examination, but can be correlated with the hardness curve (see Figure 3) and reflects the martensite curve (Figure 4b). At 15 mm (Figure 5c) from the quenched edge, a ferrite-pearlite distribution and very small traces of martensite can be seen. Due to the small amounts of martensite, the hardness curve does not yet drop to the plateau of 200 HV and thus also reflects the higher martensite content in the evaluation with MiViA.

Fig. 5

The microstructure of the Jominy sample at different distances: a) 1.5 mm, b) 5 mm, c) 15 mm, d) 30 mm

Bild 5. Die Mikrostruktur der Jominy-Probe in verschiedenen Abständen: a) 1,5 mm, b) 5 mm, c) 15 mm, d) 30 mm

At a distance of 30 mm from the quenched edge, the microstructure consists only of pearlite and ferrite (Figure 5d). Ultimately, the decreasing martensite content and the increasing ferrite content coincide with the course of the hardness curve determined in Figure 4c and with the microstructure component distribution determined by MiViA in Figure 4b.

The results of MiViA can be confirmed with the statements of the hardness curve and the SEM images based on selected distances from the face quenching surface. The differences to the manual measurement could be due to measurement uncertainties of the manual analysis method. This means that a comparable statement regarding a manual analysis of the distribution of the microstructural components of an entire panoramic sample with simple light microscopic images is already possible with this training state of the AI. MiViA therefore offers an extension of the measurement method for determining microstructural components in light microscope images in terms of reducing the time required. This means that the sample can be examined over a large area, allowing the statistical parameters of the measurement methods to be calculated.

4.2 The scattering of the microstructure components over the cross-section

The comparison of the results between the MiViA analysis system (Figures 4b) and the microstructure investigations show good agreement. However, the scattering of the results in Figure 4b (dotted line) shows that the prediction of an exact proportion of the microstructure components could be a challenge. One reason for such scattering could be the Mn segregation in the material measured using energy-dispersive X-ray spectroscopy (EDX), which can lead to an inhomogeneous microstructure. On the other hand, the cooling rates may have been uneven. This could be due to an inhomogeneous thermal gradient and correspondingly inhomogeneous cooling rates in the radial direction.

Figure 6 can be used to assess the scattering. In this figure, the distribution of the phases over the panoramic sample is shown in colour, with the colours changing from blue to red. In addition to the results obtained by autonomously analysing the microstructure and mapping the microstructure components formed along the bar, a linear pattern can be observed within the microstructure. This indicates segregation in the material and proves the sensitivity of the system.

Fig. 6

The images show a location-dependent distribution of the microstructure components which has an influence on the standard deviation; from left to right: martensite, bainite, pearlite, ferrite (evaluation of a panoramic image (52,000 images, all 127 μm) within one hour with MiViA)

Bild 6. Die Bilder zeigen eine ortabhängige Verteilung der Gefügebestandteile welche Einfluss auf die Standardabweichung hat.; v.l.n.r. Martensit, Bainit, Perlit, Ferrit (Auswertung eines Panoramabildes (52.000 Bilder, alle 127 μm) innerhalb einer Stunde mit MiViA)

With these results, statements can be made about the distribution of the microstructure components of an entire microstructure surface, which react highly sensitively to the condition and influences of the microstructure.

2.1 ML – Ansatz zur Analyse von Gefügebestandteilen

4.1 Bestimmung der Gefügebestandteile über den Abstand zur Stirnabschreckfläche

Beim Jominy-Test erfolgt an der abgeschreckten Oberfläche eine rasche Abkühlung, während der Rest des Stabes langsamer abgekühlt wird, was zur Bildung verschiedener Gefüge führt. Infolgedessen nimmt die Härte entlang des Stabes ab. Dieser deutliche Härteabfall ist im Bild 4c zu erkennen. Die Jominy-Prüfung als einfache Standardprüfung ermöglicht es daher, verschiedene Arten von Gefügen in einer Probe zu erzeugen, wobei die Martensitbildung nur in den ersten Millimetern der Jominy-Probe zu erwarten ist.

Nach der Härtemessung wurde die Panoramaaufnahme der Probe mit der MiViA „Segmentierung“ ausgewertet. Hierzu wurde jede Pixelreihe über den gesamten Querschnitt der Probe vermessen. Der ermittelte prozentuale Anteil der Bestandteile des Gefüges über den Abstand zur Stirnfläche der Probe wird ebenfalls in Bild 4b dargestellt.

Beim Vergleich von Bild 4c und 4b ist zu sehen, dass sich das martensitische Gefüge hauptsächlich an den ersten 2 mm des abgeschreckten Endes des Stabes bildet und der Martensitgehalt danach drastisch abnimmt. Dies entspricht dem Verlauf der ermittelten Härte in der Nähe der Stirnfläche. Die anschließende Ferrit/Perlit-Mikrostruktur ist entlang der Stablänge zu erkennen und weist damit auf den geringeren Härtewerte bei höherem Abstand zu Stirnfläche hin. Bainit erscheint nur im abfallenden Bereich der Härtekurve. Schwankungen der Ergebnisse ab einem Abstand von ca. 7 mm können von mehreren Aspekten wie Grundwerkstoff, Präparation und Ätzbedingungen beeinflusst werden. Die Streuung der Ergebnisse, welche mit der gepunkteten Linie dargestellt wird, wird im Kapitel 4.2 diskutiert.

Anhand ausgewählter lichtmikroskopischer Bilder (Bild 4a) in Abständen von 1,5 mm, 5 mm, 13 mm und 30 mm kann ein deutlicher Verlauf des Gefüges dargestellt werden. Braune Bereiche bei einem 1,5 mm Abstand zeigen martensitische Bereiche, wobei diese bei 5 mm fast vollständig verschwinden und sich ein Mischgefüge aus Perlit, Bainit und Ferrit ausbildet. Ab 13 mm liegt laut lichtmikroskopischer Beurteilung ein zweiphasiges Gefüge aus Ferrit und Perlit vor.

Im folgenden Absatz wird die Übereinstimmung und die Abweichungen der manuell, ermittelten Gefügebestanteile in den lichtmikroskopischen Aufnahmen (4a), wie in Tabelle 3 dargestellt, mit den Ergebnissen der KI-Analyse aus Bild 4b diskutiert.

Tabelle 3 präsentiert die prozentualen Anteile der Gefügebestandteile (Martensit, Bainit, Perlit, Ferrit) in den lichtmikroskopischen Aufnahmen aus Bild 4a. Ein Vergleich dieser Daten mit den in Bild 4b dargestellten KI-Analyseergebnissen zeigt eine generelle Übereinstimmung der Gefügeanteilstendenzen in den verschiedenen Abständen (1,5 mm, 3 mm, 13 mm und 30 mm) zur Stirnabschreckfläche. Bei einem Abstand von 1,5 mm wurde ein hoher Martensitanteil mit Beimengungen von Bainit festgestellt.

Die Abstände von 3 mm und 13 mm zeigen ein Mischgefüge aus Bainit, Perlit und Ferrit, während bei 30 mm, ähnlich wie in Bild 4b, ein zweiphasiges Gefüge aus Perlit und Ferrit identifiziert wurde. Die festgestellten Abweichungen, insbesondere bei 1,5 mm, könnten auf stark überätzte Bereiche in den Mikrostrukturbildern zurückzuführen sein, die eine korrekte Unterscheidung zwischen Martensit und Perlit durch die KI erschweren. Zudem könnten die Differenzen zwischen den manuell ermittelten Werten und den KI-Analysen teilweise auf die Messunsicherheit der manuellen Methodik zurückgehen, aber auch auf die Notwendigkeit eines weiteren Trainings der KI hinweisen, um besser mit Herausforderungen wie stark überätzten Gefügestrukturen umgehen zu können.

Bild 5 zeigt REM-Aufnahmen des Gefüges jeweils aus der Mitte der Jominy-Probe in verschiedenen Abständen. Anhand der unterschiedlichen Ausprägung der Ätzung können die Gefügebestandteile qualitativ besser als mit der reinen lichtmikroskopischen Beurteilung bestimmt werden. Während die Bainitbildung bei einem Abstand von 1,5 mm von der abgeschreckten Oberfläche nur an den ehemaligen Austenitkorngrenzen zu beobachten ist, liegt der Martensit innerhalb des Korns vor (Bild 5a). Bei 5 mm ist eine Kombination aus Bainit, Ferrit (tiefere Ebenen) und degradierten Perlit (lamellenartige Struktur) und kleine Bereiche an Martensit zu erkennen (Bild 5b). Der Martensitanteil weicht von der lichtmikroskopischen Untersuchung ab, aber kann mit dem Härteverlauf (Bild 3) korreliert werden und spiegelt den Martensitverlauf (Bild 4b) wieder. In 15 mm (Bild 5c) von der abgeschreckten Kante ist eine Ferrit-Perlit-Verteilung zu erkennen und ganz geringe Spuren an Martensit. Durch die geringen Mengen an Martensit sinkt die Härtekurve noch nicht auf das Plateau von 200 HV ab und spiegelt damit auch den höheren Martensitgehalt bei der Auswertung mit MiViA wieder.

Bei 30 mm Entfernung von der abgeschreckten Kante besteht das Gefüge nur aus Perlit und Ferrit (Bild 5d). Letztendlich deckt sich der abnehmende Martensitgehalt und der zunehmende Ferritgehalt mit dem Verlauf der ermittelten Härtekurve in Bild 4c sowie mit der von MiViA ermittelten Gefügeverteilung in Bild 4b.

Die Ergebnisse von MiViA können mit den Aussagen des Härteverlaufs und der REM-Aufnahmen anhand ausgewählter Abstände von der Stirnabschreckfläche bestätigt werden. Die Unterschiede zur händischen Messung könnten sich auf Messunsicherheiten des manuellen Analyseverfahrens zurückführen lassen Damit ist eine vergleichbare Aussage im Bezug auf eine manuelle Analyse über die Verteilung der Gefügebestandteile einer ganzen Panoramaprobe mit einfachen lichtmikroskopischen Aufnahmen bereits mit diesem Trainingszustand der KI möglich. MiViA bietet also hinsichtlich der Reduktion des Zeitaufwands eine Erweiterung der Messmethode zur Bestimmung von Gefügebestandteile in lichtmikroskopischen Aufnahmen. Daraus ergibt sich, dass die Probe großflächig untersucht werden können, wodurch die statistischen Parameter der Messverfahren berechnet werden.

4.2 Die Streuung der Gefügebestandteile über den Querschnitt

Der Vergleich der Ergebnisse zwischen dem MiViA-Analysesystem (Bild 4b) und den Mikrostrukturuntersuchungen zeigen eine gute Übereinstimmung. Die Streuung der Ergebnisse in Bild 4b (gepunktete Linie) zeigt jedoch, dass die Vorhersage eines genauen Anteils der Gefügebestandteile eine Herausforderung darstellen könnte. Gründe für eine solche Streuung können zum einen die mit Energiedispensiver Röntgenspektroskopie (EDX) gemessenen Mn-Seigerungen im Material sein, wodurch es zu einem inhomogenen Gefüge kommen kann. Zum anderen können die Abkühlgeschwindigkeiten ungleichmäßig erfolgt sein. Dies könnte auf einen inhomogenen thermischen Gradienten und dementsprechend inhomogene Abkühlungsraten in radialer Richtung zurückzuführen sein.

Zur Beurteilung der Streuung kann Bild 6 hinzugezogen werden. In diesem Bild wird die Verteilung der Gefügebestandteile über die Panoramaprobe farblich dargestellt, wobei die Farben von blau zu rot übergehen. Zusätzlich zu den Ergebnissen, die durch die autonome Analyse des Gefüges und das Bild der gebildeten Gefügebe-standteile entlang des Stabes erzielt wurden, kann ein linienförmiges Muster innerhalb der Mikrostruktur beobachtet werden. Dies deutet auf eine Seigerung im Material hin und beweist die Sensibilität des Systems.

Mit diesen Erkenntnissen können Aussagen zur Verteilung der Gefügebestandteile einer ganzen Mikrostrukturfläche getroffen werden, welche hoch sensibel auf den Zustand und Einflüsse der Mikrostruktur reagieren.