For THEY do not know what THEY are doing

1.1 Question mark number 1: Knowledge

What do we know for sure or what do we at least believe to be assured knowledge?

Since the beginning of humanity, we can rely on the circle of day and night and the course of the stars. In ancient times already, certain celestial phenomena were predicted by calculation.

Humans have also gained knowledge of the seasons or the behavior of many species and drawn their conclusions. But variations already exist in these fields and when natural disasters (droughts, floods, …), which could not be explained, occurred on top, they were attributed to a higher power, one or several deities. The religions thus play an important role since they gave meaning to such events and thus conveyed a certain sense of safety to mankind.

With the development of script, events and acquired knowledge could be recorded for future generations. However, in the early days of written records, pieces of writing were already used for manipulation by describing past events inaccurately or by producing questionable documents.

Another significant breakthrough in the dissemination of knowledge was the invention of printing, making information available to a much larger group of people.

With the advent of electronic communication, first via sound (radio broadcasting), then via images (television, video) and now over the Internet, the dissemination of information and knowledge has reached a new dimension.

1.2 Science

At the very beginning, science involved good observation skills, attempts to make or build something and the oral transfer of knowledge that had been acquired. Archaeological research has shown that active trade relations existed in Europe as early as in the Neolithic period, effecting the exchange of knowledge as well. It is known that in the Bronze Age, copper was smelted in very similar furnaces across the entire Alpine region and it is thought that the tin that was required came from Cornwall, England.

With the development of mathematics, enabling for example the prediction of certain phenomena (e. g., solar eclipses), science quite likely gained its most important instrument.

The next step was the combination of practical experiments and mathematics, laying the cornerstone for modern physics from which classical mechanics, optics, etc. are derived. At the end of the 19_th century, it seemed that there would be nothing new to discover in physics until Max Planck eventually started the era of quantum physics, soon to be followed by Albert Einstein’s theory of relativity, Werner Heisenberg’s uncertainty principle, Erwin Schrödinger’s quantum mechanics, etc.

Modern physics is also characterized by the fact that phenomena which cannot be examined through practical experiments, e. g., the structure of elementary particles in physics, the structure of atomic orbitals in chemistry, or the existence of “black holes” in astronomy, can be explained by mathematical models, mostly relying on probability theory.

Modern data processing and large data centers now enable the calculation and graphic representation of the most different phenomena from various fields. At this point, however, “Schrödinger’s cat” should be mentioned. With this thought experiment, Schrödinger has shown that statistical interpretations of quantum mechanics have to be viewed critically when applied to everyday “objects”.

1.3 Question mark number 2: THEY and THEY

Who or what are THEY?

In fact, THEY (plural) could also be replaced with I, you, he, she, it (singular).

Also, the first and second THEY do not have to refer to the same group of people.

Considering the human level, there are already so many possible variations which fall within the scope of psychology though.

The phrasing “For I do not know what I am doing” already suggests that psychology is called upon to find suitable explanations. In the case of “For I do not know what YOU are doing” explanations are already impossible to find due to the complexity of the human mind. Rationally speaking, it is an interaction between two independent cognitive and physical systems whose communication is not predictable. We all have confidence in the fact that human behavior is understandable and predictable to us, although this may change abruptly due to unforeseeable events.

Given that it is impossible to make accurate predictions about human behavior in human interaction, nothing much can be expected from “For THEY do not know that THEY are doing”.

On a purely material level, one could say that stones do not communicate with each other. On the other hand, however, we expect that devices, machines, computers, etc. exchange and/or process data. We need an electronics engineer to repair faulty circuits, we need a computer scientist to troubleshoot faulty software. In “artificial intelligence”, do we need a psychologist specializing in “artificial intelligence” or an artificial psychologist?

2.1 Black boxes used for data collection

A black box system is characterized by its beautiful design and easy handling. Figure 1a is a schematic of the internal workings of such a black box. The reality as seen by the user is shown in Fig. 1b. A “scientific problem” is fed into the black box, followed by automatic signal detection and data calculation and finally, a good-looking, colorful result is produced. It is impossible to validate potentially false results, especially when the colorful results produced by the black box are uncritically accepted.

Figure 1a and b:

Schematic of a black box. (a) Its internal workings and (b) the reality as seen by the user.

Bild 1a und b: Das “Black Box”-Gerät. (a) Interner Aufbau, (b) Die Realität für den Nutzer.

2.2 Sources of error in data collection using black boxes

Technical defects in the device may lead to incorrect data, which should be detectable when using suitable measurement standards. In the context of round robin tests, however, it has often been found that data may in fact vary even if measurements were performed with devices of the same kind, but in different laboratories. This text cannot provide answers as to why that is, but the possibility of this kind of error should also be considered when interpreting the results.

Another issue is the use of unsuitable samples. Each measuring device (black box) is optimized for specific measurement tasks based on the measurement principle used and is therefore unsuitable for other types of measurement. For this reason, the black box operator should only measure suitable samples. With unusual samples, it can be difficult to decide whether to perform a measurement or not, but the result should be viewed critically at least.

If the operator (human) does not know the measurement principle of the measuring device at all or does not know it sufficiently well, measurements of unsuitable samples may occur and the measuring device will produce incorrect data which will be considered correct due to the way in which they are presented.

2.3 Data processing and knowledge acquisition

Why should there be a problem? There is a manual, giving a detailed description of the black box. Handling is generally easy and safe. The device, however, is incapable of deciding whether a correct sample is entered or not and which data are correct or not, respectively. It merely provides the measured and processed values and shows them graphically, avoiding any semblance of error so to speak and, unfortunately, lulling the user into a false sense of security.

How to assess incorrect data outputs in terms of the knowledge that was expected to be gained?

The ultimate responsibility should lie with the scientists who assign the measurements. At the same time, it is impossible for them to be experts for any type of black box.

And thus, disaster takes its course. Due to incorrect data, false hypotheses are formulated which are then published and made available to the public.

3.1 Application of unsuitable analysis methods

As has been described above, the use of unsuitable measuring devices will lead to false results. And the more complex the black box used for the measurements is, the bigger the problem will become.

In material characterization, errors can be found relatively easily. Scanning electron microscopes equipped with energy-dispersive X-ray analysis (SEM-EDS) are commonly used. It should be noted that the analysis volume also comprises sub-surface regions, with the concentrations of light elements showing a high error rate. It is thus not advisable to quantify carbon, nitrogen or oxygen in materials by EDS.

X-ray diffraction, on the other hand, is only suitable for crystalline materials while also capable of detecting very small crystal sizes. Amorphous phases and low-concentration phases cannot be detected, however. It is therefore impossible to characterize the exact phase composition of a material since certain amounts cannot be detected during the measurement.

3.2 False bibliographical references

How does one decide which data from the literature are reliable? Does a renowned journal, a prestigious, possibly multi-award winning author, an internationally recognized research center automatically imply certainty and accuracy?

Again, everyone is invited to point to literature in their own academic field that they do not trust, even though it has been published in a renowned journal, for example.

I would like to note at this point that there have been errors in publications before. In 1982, I was assigned the subject of my Diploma thesis due to an implausible hypothesis in a publication. My professor at the time did not trust this publication and initiated a more comprehensive study (my Diploma thesis), resulting in the formulation of a new hypothesis. The original publication still exists, however.

Additional selection criteria are electronic search engines, open access and non-digital literature. It is no longer fashionable to browse journals in a library, looking for a specific paper. Anything that is not digitized has apparently been forgotten about and is non-existent for scientists in search of information.

Unfortunately, the situation is getting worse and worse due to the amount of new publications that come flooding in. In fact, it is no longer possible to get an overview of most publications in one’s own academic field. Once you have worked in an academic field long enough, implausible publications should be identifiable rather quickly, however.

Unfortunately, it follows that junior researchers might encounter problems or already have when dealing with the literature.

3.3 Intentional publication of false data

You will certainly agree with me on the fact that a scientist is unworthy of intentionally publishing false data. Why this still happens is incomprehensible. Once data have been published, however, they cannot be erased from the collective scientific memory.

3.4 Mathematics

Mathematics is a science, originating from the study of geometric shapes and the calculation with numbers. There is no generally accepted definition of mathematics. Today, it is usually described as a science using logic to examine abstract structures, which are self-created through logical definitions, for their properties and patterns according to the German Wikipedia entry [1].

Basic arithmetic operations with small natural numbers can certainly be considered accurate. When calculating with large numbers and decimal numbers, however, the question of accuracy or “rounding errors” respectively, will come up. Due to error propagation, more and more imprecise results will be obtained which are especially difficult to assess when computer-based calculation tools are used.

In statistics and probability theory, precise statements are not to be expected as the names of these disciplines already suggest. In this case as well, error propagation resulting from the use of various computer programs might lead to more or less false results.

There are academic fields in which the most bizarre calculations are performed which barely have consequences or significance for our lives, e. g., in astronomy when “black holes” that are millions of light years away are calculated or in quantum physics when individual atoms, quarks or strings are calculated. Errors occurring in medical, biological or climate research, however, will almost certainly impact our lives with very different intensities.

1.1 Fragenzeichen Nummer 1: Wissen/wissen

Was wissen wir sicher oder glauben zumindest, dass es gesichertes Wissen ist?

Seit den Anfängen der Menschheit können wir uns auf Tag und Nacht und den Lauf der Gestirne verlassen. Bereits in der Antike wurden durch Berechnungen gewisse Himmelserscheinungen vorhergesagt.

Die Menschen haben auch Erkenntnisse etwa über die Jahreszeiten oder das Verhalten vieler Tierarten gewonnen und daraus Rückschlüsse gezogen. Doch bereits in diesen Bereichen treten Schwankungen auf. Und wenn dann noch z. B. Naturkatastrophen (Dürre, Überschwemmungen, …) auftraten, für die man keine Erklärung fand, so wurden diese einer höheren Gewalt, einer oder mehreren Gottheiten zugeschrieben. Die Religionen spielen somit eine wichtige Rolle, da sie den Menschen durch entsprechende Deutungen eine gewisse Sicherheit vermitteln.

Mit der Entwicklung der Schrift konnten Ereignisse und erworbenes Wissen für künftige Generationen festgehalten werden. Doch bereits in der Frühzeit der schriftlichen Aufzeichnungen wurden Schriftstücke zur Manipulation verwendet, indem vergangene Ereignisse nicht der Realität entsprechend dargestellt oder fragwürdige Urkunden ausgestellt wurden.

Ein bedeutender Durchbruch für die Verbreitung von Wissen erfolgte durch die Erfindung des Buchdrucks, wodurch Informationen einem deutlich größeren Personenkreis zugänglich gemacht wurden.

Mit dem Beginn der elektronischen Nachrichtenübermittlung, zunächst mittels Ton (Hörfunk), später dann mittels Bildern (Fernsehen, Video) und mittlerweile via Internet hat die Nachrichten- und Wissensverbreitung eine neue Dimension erreicht.

1.2 Wissenschaft

Am Beginn der Wissenschaft standen gute Beobachtungsgabe, Versuche, etwas herzustellen, und die mündliche Überlieferung des erarbeiteten Wissens. Archäologische Forschungen zeigen, dass bereits im Neolithikum rege Handelsbeziehungen in Europe bestanden, was auch einen Austausch von Wissen bewirkte. Aus der Bronzezeit ist bekannt, dass die Kupfergewinnung im gesamten Alpenraum in sehr ähnlichen Öfen durchgeführt wurde und man vermutet, dass das benötigte Zinn aus Cornwall/England stammte.

Durch die Mathematik, die etwa die Vorhersage von Ereignissen (z. B. Sonnenfinsternis) ermöglichte, erhielt die Wissenschaft ihr wahrscheinlich wichtigstes Instrument.

Der nächste Schritt war die Verknüpfung von Experiment und Mathematik, was den Grundstein für die heutige Physik legte. Die klassische Mechanik, Optik usw. konnten dadurch abgeleitet werden. Ende des 19. Jahrhunderts schien es, dass in der Physik nichts Neues mehr zu entdecken wäre. Bis schließlich mit Max Planck das Zeitalter der Quantenphysik eröffnet wurde. Es folgten Albert Einsteins Relativitätstheorie, Werner Heisenbergs Unschärferelation, Erwin Schrödingers Quantenmechanik, usw.

Die moderne Physik ist dadurch gekennzeichnet, dass über mathematische Modelle, die überwiegend auf Wahrscheinlichkeitsrechnungen basieren, Phänomene erklärt werden können, die über praktische Experimente nicht erfassbar sind, wie z. B. in der Physik der Aufbau der Elementarteilchen, in der Chemie der Aufbau der Atomorbitale, in der Astronomie die Existenz von „Schwarzen Löchern“.

Mit der modernen Datenverarbeitung und den Großrechenzentren ist es nun möglich, aus den verschiedensten Fachgebieten die unterschiedlichsten Phänomene zu berechnen und graphisch darzustellen. Hier sei allerdings „Schrödingers Katze“ erwähnt. Schrödinger zeigt mit diesem Gedankenexperiment, dass die Anwendung von statistischen Interpretationen der Quantenmechanik auf „Gegenstände“ des täglichen Lebens, kritisch zu bewerten ist.

1.3 Fragenzeichen Nummer 2: SIE und SIE

Wer oder was ist beziehungsweise sind SIE?

Eigentlich kann dieses SIE (Mehrzahl) auch durch ich, du, er, sie, es (Einzahl) ersetzt werden.

Darüber hinaus muss das erste SIE nicht mit dem zweiten SIE identisch sein.

Betrachtet man die menschliche Ebene, so sind viele Variationsmöglichkeiten möglich, deren Betrachtungen aber in den Bereich der Psychologie fallen.

Bereits bei der Formulierung „Denn ICH weiß nicht, was ICH tue“ ist die Psychologie gefordert, geeignete Antworten zu finden. Bei „Denn ICH weiß nicht, was DU tust“ sind Antworten aufgrund der Komplexität des menschlichen Geistes bereits unmöglich. Nüchtern betrachtet handelt es sich um die Wechselwirkung von zwei unabhängigen geistigen und körperlichen Systemen, deren Kommunikation nicht vorhersehbar ist. Wir vertrauen darauf, dass das Verhalten von Menschen für uns nachvollziehbar und vorhersehbar ist. Das kann sich jedoch schlagartig durch unvorhersehbare Ereignisse ändern.

Wenn bei der Interaktion von zwei Menschen bereits präzise Vorhersagen bezüglich deren Verhalten unmöglich sind, ist bei „Denn SIE wissen nicht, was SIE tun“ nicht mehr viel zu erwarten.

Betrachtet man die rein stoffliche Ebene, so könnte man anmerken, dass Steine nicht miteinander kommunizieren, aber es gibt auch Geräte, Maschinen, Computer, usw., von denen wir erwarten, dass sie Daten austauschen und/oder verarbeiten. Wenn Schaltkreise fehlerhaft sind, benötigen wir einen Elektroniker, bei fehlerhafter Software einen Informatiker. Benötigen wir für das Fachgebiet der „künstlichen Intelligenz“ einen Psychologen für „künstliche Intelligenz“ oder einen künstlichen Psychologen?

2.1 „Black Box“-Geräte zur Datenerfassung

Die „Black-Box-Ausstattung“ zeichnet sich durch ein schönes Design und eine einfache Handhabung aus. Bild 1a beschreibt schematisch den internen Aufbau einer solchen „Black-Box-Ausrüstung“. Die Realität für einen Bediener ist in Bild 1b dargestellt. Eine Problemstellung wird in die Black Box eingeführt, die Signalerkennung und die Berechnung der Daten werden automatisch ausgeführt und es wird ein gut aussehendes, farbenfrohes Ergebnis erzielt. Es ist nicht möglich, falsche Ergebnisse zu überprüfen, insbesondere, wenn wir den farbenfrohen Ergebnissen der „Black Box“ unkritisch zustimmen.

2.2 Fehlerquellen bei der Datenerfassung mit „Black Box“-Geräten

Durch technische Defekte des Gerätes können fehlerhafte Daten auftreten, was aber durch die Verwendung geeigneter Mess-Standards erkannt werden sollte. Wie bei Rundlauf-Verfahren (Round Robin) aber oft festgestellt wird, ist es durchaus möglich, dass Daten variieren, selbst dann, wenn sie auf gleichartigen Geräten, jedoch in verschiedenen Laboratorien gemessen werden. Woran dies liegt, kann hier nicht beurteilt werden, aber auch diese Fehlermöglichkeit sollte bei der Interpretation der Ergebnisse berücksichtigt werden.

Eine weitere Problematik stellt die Verwendung ungeeigneter Proben dar. Jedes Messgerät („Black Box“) ist aufgrund des verwendeten Messprinzips für bestimmte Messaufgaben optimiert und somit für andere Messungen ungeeignet. Der Betreiber der „Black Box“ sollte somit nur geeignete Proben messen. Bei exotischen Proben ist die Entscheidungsfindung – Messung ja oder nein – schwierig, das Ergebnis sollte jedoch zumindest kritisch betrachtet werden.

Wenn der Betreiber (Mensch) das Messprinzip des Messgeräts jedoch nicht oder nicht ausreichend kennt, so können ungeeignete Proben gemessen werden. Das Messgerät gibt dann falsche Daten aus, die aufgrund der Darstellung als richtig angesehen werden.

2.3 Datenverarbeitung und Erkenntnisgewinn

Warum sollte es ein Problem geben? Es gibt ein Handbuch, das die „Black Box“ ausführlich beschreibt. Die Handhabung ist grundsätzlich einfach und sicher. Das Gerät kann allerdings nicht entscheiden, ob eine korrekte Probe eingeführt wurde und welche Daten richtig beziehungsweise falsch sind. Es liefert nur die gemessenen und verarbeiteten Messwerte, die anschaulich aufbereitet sind. Der Anschein von Fehlern wird damit gleichsam unterbunden. Man wiegt sich in einer, leider trügerischen, Sicherheit.

Wie sind falsche Daten in Bezug auf einen erwarteten Erkenntnisgewinn zu bewerten?

Die endgültige Verantwortung sollte bei dem Wissenschaftler liegen, der die Messungen bestellt hat. Doch auch ihm ist es unmöglich, ein Experte für jede „Black Box“ zu sein.

Somit nimmt das Verhängnis seinen Lauf. Aufgrund falscher Daten werden falsche Hypothesen aufgestellt, die dann publiziert werden und somit öffentlich zugängig sind.

3.1 Anwendung falscher Analysenmethoden

Wie oben beschrieben führt die Verwendung nicht geeigneter Messgeräte zu falschen Ergebnissen. Dieses Problem nimmt mit der Komplexität der für die Messungen verwendeten „Black Box“ zu.

Bei der Materialcharakterisierung können die Fehler relativ leicht gefunden werden. Die Rasterelektronenmikroskopie wie etwa die energiedispersive Röntgenanalyse (REM-EDX) ist weit verbreitet. Es ist zu berücksichtigen, dass das Analysevolumen auch unter die Oberfläche geht und die Konzentration der leichten Elemente einen hohen Fehler aufweist. Es ist daher nicht ratsam, die Konzentrationen von Kohlenstoff, Stickstoff oder Sauerstoff in Materialien durch EDX zu quantifizieren.

Röntgenbeugung wiederum ist nur für kristalline Materialien geeignet und die nachweisbaren Kristallgrößen können auch sehr klein sein. Amorphe Phasen und Phasen mit geringer Konzentration können jedoch nicht nachgewiesen werden. Aus diesem Grund ist es unmöglich, die exakte Phasenzusammensetzung eines Materials zu beschreiben, da gewisse Anteile bei der Messung nicht erfasst werden.

3.2 Falsche Literaturangaben

Wie entscheidet man nun, welche Literaturdaten vertrauenswürdig sind? Bedeutet eine renommierte Zeitschrift, ein angesehener, womöglich mehrfach ausgezeichneter Autor, eine international anerkannte Forschungsstätte automatisch Sicherheit und Richtigkeit?

Wiederum ist jeder eingeladen, Literatur aus seinem eigenen wissenschaftlichen Bereich zu nennen, der er nicht vertraut, obwohl sie beispielsweise in einer angesehenen Zeitschrift publiziert wurde.

Ich möchte hier anmerken, dass es auch schon früher Fehler in Publikationen gegeben hat. Bereits 1982 habe ich mein Diplomarbeitsthema aufgrund einer unglaubwürdigen Hypothese in einer Publikation zugeteilt bekommen. Mein Professor hat dieser Publikation nicht vertraut und eine umfangreichere Untersuchung angeregt (meine Diplomarbeit). Es wurde danach eine neue Hypothese aufgestellt, aber die ursprüngliche Publikation existiert noch immer.

Zusätzliche Selektionskriterien stellen elektronische Suchmaschinen, Open Access und nicht digitalisierte Literatur dar. Es ist nicht mehr zeitgemäß in einer Bibliothek Zeitschriften zu durchsuchen, um einen bestimmten Artikel zu finden. Was nicht digitalisiert ist, ist anscheinend vergessen und existiert nicht, hat für suchende Wissenschaftler somit nie existiert.

Leider wird die Situation mit der gegenwärtigen Publikationsflut immer schlimmer. Es ist eigentlich schon nicht mehr möglich, den Großteil der Publikationen aus dem eigenen Fachgebiet zu überblicken. Wenn man jedoch lange genug auf einem Fachgebiet gearbeitet hat, sollten unglaubwürdige Publikationen dennoch rasch zu erkennen sein.

Daraus folgt aber leider, dass der wissenschaftliche Nachwuchs Probleme mit dem Umgang mit der Literatur bekommen könnte, beziehungsweise schon hat.

3.3 Absichtlich falsch publizierte Daten

Sie werden mir sicher zustimmen, dass absichtliches Publizieren von falschen Daten eines Wissenschaftlers unwürdig ist. Warum auch immer dies dennoch geschieht, ist unverständlich. Wenn allerdings Daten einmal veröffentlicht sind, können sie aus dem kollektiven wissenschaftlichen Gedächtnis nicht mehr gelöscht werden.

3.4 Mathematik

„Die Mathematik ist eine Wissenschaft, die aus der Untersuchung von geometrischen Figuren und dem Rechnen mit Zahlen entstand. Für Mathematik gibt es keine allgemein anerkannte Definition; heute wird sie üblicherweise als eine Wissenschaft beschrieben, die durch logische Definitionen selbstgeschaffene abstrakte Strukturen mittels der Logik auf ihre Eigenschaften und Muster untersucht.“ Wikipedia [1]

Einfache Rechenoperationen mit kleinen natürlichen Zahlen können sicher als exakt angesehen werden. Bei großen Zahlen und Dezimalzahlen stellt sich hingegen durchaus die Frage nach der Genauigkeit bzw. nach dem „Fehler durch Runden“. Durch die Fehlerfortsetzung erhält man dann ungenauere Resultate, die vor allem bei der Verwendung von computergestützten Rechenprogrammen nur schwer abzuschätzen sind.

Bei den Bereichen Statistik und Wahrscheinlichkeitsrechnung deuten bereits die Namen darauf hin, dass exakte Aussagen nicht zu erwarten sind. Auch hier könnte bei der Verwendung verschiedener Computerprogramme eine Fehlerfortsetzung zu mehr oder weniger falschen Ergebnissen führen.

Es gibt Wissenschaftsbereiche, in denen die abenteuerlichsten Berechnungen durchgeführt werden, die allerdings kaum Konsequenzen bzw. Bedeutung für unser Leben haben, wie z. B. in der Astronomie, wenn „Schwarze Löcher“ in Millionen Lichtjahren Entfernung oder in der Quantenphysik einzelne Atome, Quarks oder Strings berechnet werden. Fehler bei medizinischen, biologischen oder klimatischen Fragestellungen haben hingegen ziemlich sicher Auswirkungen von unterschiedlicher Intensität auf unser Leben.