Der Einfluss der DIN EN ISO 15189 auf die Ergebnissicherheit in der Virusdiagnostik

Interne und externe Qualitätssicherung

Run-Kontrollen

Ergebnisse aus den Experteninterviews

In der DIN EN ISO 15189 wird empfohlen, neben testinternen Kontrollen des Herstellers zusätzliche Qualitätskontrollmaterialien (Run-Kontrollen) mitzuführen [20]. Durch diese Kontrollen kann die Robustheit des Untersuchungsverfahrens sowie die Reproduzierbarkeit der Ergebnisse überprüft werden [25]. Keines der befragten Laboratorien verwendete in sämtlichen Verfahren Run-Kontrollen. Ein Laboratorium setzte überhaupt keine ein. Die meisten Laboratorien verwendeten Run-Kontrollen mit unterschiedlicher Häufigkeit und in unterschiedlichen Tests (Abbildung 1). Der Einsatz der Run-Kontrollen hängt von der individuellen Risikoeinschätzung für falsche Messwerte und dem Aufwand bei der Einführung dieser Kontrollen ab. Die meisten befragten Experten sind sich einig, dass die Run-Kontrollen die Testqualität erhöhen können.

Abbildung 1:

Verwendete Run Kontrollen in 10 befragten Laboratorien.

Ergebnisse aus der experimentellen Datenanalyse

Seit vielen Jahren wird im Institut für Virologie des Max von Pettenkofer-Instituts in der HIV-Diagnostik mittels Combo-ELISA eine zusätzliche, selbst hergestellte Antigenkontrolle verwendet. Als Antigenkontrolle dient ein Viruslysat aus dem Zellkulturüberstand einer HIV-1 Gruppe M Subtyp B-Viruskultur die auf HUT78-Zellen [26] passagiert wird. Der verdünnte Virusüberstand wird so eingestellt, dass die Extinktion im Combo-ELISA bei etwa dem zweifachen des Grenzwertes liegt. Anschließend wurden von dieser Verdünnung Aliquots für mehrere Jahre abgefüllt und bei –20 °C gelagert, von denen wöchentlich ein Röhrchen aufgetaut und in den ca. 5 Testen pro Woche verbraucht wird. Während dieser Zeit lagert das angebrochene Röhrchen bei 2–8 °C ohne erkennbare Änderung der jeweiligen Extinktion. Dank der Stabilität dieses Kontrollmaterials sind damit chargenbedingte Änderungen der Grundsensitivität des Suchtests nachweislich gut erkennbar.

Die Messwerte (S/Co Extinktion Sample zu Extinktion Cut-Off einer Charge im Mittelwert dargestellt) dieser zusätzlichen Antigenkontrolle korrelieren stark mit den Antigensensitivitätsgrenzen der einzelnen Assay-Chargen. Über fünf Jahre lag der Pearsonsche Korrelationskoeffizient bei 0,83 (s. Abbildung 2). Die Gerade veranschaulicht, wie gut die Werte korrelieren. Eine verringerte Sensitivität beim Antigennachweis wird daher rasch erkannt. Die Antigensensitivitätsgrenze einer Charge kann zwar separat beim Hersteller angefordert werden, die Mittestung dieser laborinternen Kontrolle gibt aber zusätzlich Informationen, wenn Schwächen in der Antigensensitivität des jeweiligen, tagesaktuellen Tests vorliegen. Dabei spielen äußere Faktoren wie u. a. Transport, Lagerung und Handhabung der testinternen Kontrollen eine Rolle. Selbsthergestellte Run-Kontrollen haben folglich eine gute Aussagekraft und prädiktive Wertigkeit. In 0,4‰ der Tests (1 von 2210 Tests) wurde durch diese zusätzliche Kontrolle ein Fehler im Testverfahren aufgedeckt. Im realen Fall war die Positivkontrolle falsch verdünnt worden der daraus berechnete Cut-Off, der sich aus dieser Kontrolle berechnete, zu hoch. Während die Positivkontrolle noch im vorgegebenen Bereich lag, war die selbst hergestellte Antigenkontrolle außerhalb der Akzeptanzgrenzen (1 – 3-fache des Cut-Offs), sodass der Testlauf nicht freigegeben wurde.

Abbildung 2:

S/Co-Mittelwerte der Antigenkontrolle in Abhängigkeit von der Antigensensitivitätsgrenze (pg/μL).

Dargestellt sind die einzelnen Chargen des HIV-Combo-Tests; Punkte repräsentieren jeweils die Mittelwerte einer Charge; insgesamt 727 Einzelmessungen; es zeigt sich eine starke Korrelation.

Die vom Hersteller beim Combo-ELISA mitgelieferten, testinternen Kontrollen betreffen darüber hinaus ausschließlich den Antikörpernachweis und vernachlässigen den Antigennachweis. Die Kontrolle für den Antigennachweis wurde demnach durch diese zusätzliche Run-Kontrolle etabliert.

Aufgrund der oben genannten Erfahrungen wurden Run-Kontrollen auch für weitere Tests etabliert.

Bedeutung und Aussagekraft der testinternen Kontrolle

Ergebnisse aus der experimentellen Datenanalyse

Auch wenn die testinternen Qualitätskontrollen im Sollbereich liegen, können systematische Fehler und Abweichungen auftreten. Abbildung 3 zeigt die Häufigkeitsverteilung der Anti-HBs Sensitivitätsgrenzen der einzelnen Chargen. Sie wurden in die Gruppen <8 IU/L (wie es der Hersteller vorgibt), 8,1 bis 9,9 IU/L, 10 U/L (internationale Immunitätsgrenze) sowie >10 IU/L zusammengefasst. Die häufig bei >10 IU/L liegende Sensitivitätsgrenze erscheint problematisch, da immune Patienten hier falsch negative Ergebnisse erhalten können. Dieser Sachverhalt hatte neben einer Beschwerde beim Testhersteller eine laborinterne Korrekturmaßnahme zur Folge. Die Testplatte wurde nun an einem separaten Gerät abgearbeitet, was die Standzeiten der Reaktionsansätze verringerte. Dadurch war die Extinktion der Negativkontrolle und somit die daraus berechnete Sensitivitätsgrenze niedriger.

Abbildung 3:

Verteilung der Anti-HBs Sensitivitätsgrenze in sechs fortlaufenden Chargen.

Die Kontrollseren des Testherstellers waren stets valide; 6* Charge ist Charge 6 nach institutsinterner Korrekturmaßnahme, die zu einer Zunahme der Sensitivität führt: im Bereich 8,1 bis 9,9 IU/L von 2,9% zu 63,3%.

In 42 von 858 Läufen erreichte die Sensitivitätsgrenze nicht die internationale Immunitätsgrenze von 10 IU/L. Die Werte der testinternen Kontrollen lagen jedoch immer im vorgegebenen Bereich. Auch wenn die Herstellerkontrollen in den angegebenen Toleranzgrenzen liegen, ist nicht immer die erwartete Qualität des Tests garantiert.

Ergebnisse aus den Experteninterviews

Die Interviews ergaben, dass nicht alle Experten mit dem oben beschriebenen Sachverhalt vertraut waren. Zwei Experten aus Laboratorien berichteten, noch nie eine solche Situation erlebt zu haben. Einer der Industrievertreter konnte sich den Fall nicht vorstellen.

Sind interne Qualitätskontrollen eines Tests nicht im Sollbereich, können Testergebnisse in Ausnahmefällen trotzdem freigegeben werden, wenn dies entsprechend begründet und dokumentiert wird („Sonderfreigaben“). Wie Abbildung 4 zeigt, treten diese Sonderfreigaben bei 5 der befragten Laboratorien mindestens einige Male pro Jahr auf.

Abbildung 4:

Sonderfreigaben in den 10 befragten Laboratorien.

Die DIN EN ISO 15189 fordert, dass bei «klinisch bedeutsamen, fehlerhaften Untersuchungsergebnissen» und im Fall der Verletzung der Regeln der Qualitätskontrolle Messungen von Patientenproben wiederholt werden müssen [20]. Auch fordert die Norm einen dezidierten Mechanismus der Ergebnisfreigabe durch autorisiertes, fachkompetentes Personal.

Viele Institute verwenden selbstentwickelte Tests (z. B. Adenoviren-PCR, Parvovirus B19-PCR), d. h. sie generieren auch die Sollbereiche für die Kontrollen selbst. Bei engen Grenzen werden Trends frühzeitig erkannt, denn Kontrollprobenergebnisse liegen bei Abweichungen schneller außerhalb der Sollbereiche. Im Gegensatz dazu sind bei käuflichen Tests die vom Hersteller vorgegebenen Bereiche oft sehr weit, so dass die Kontrollen selten außerhalb der vom Hersteller festgelegten Grenzen liegen. Weiterhin ist es in manchen Fällen offensichtlich, warum die Ergebnisse der Kontrollen nicht im Sollbereich sind, z. B. bei nachvollziehbaren Abarbeitungsfehlern, die nur eine der Kontrollen betreffen.

Wie die Interviews ergaben, werden die Ergebnisse zweistufig freigegeben: Die technische Assistenz führt eine technische Validation durch. Danach werden die Ergebnisse dem befundenden Arzt oder qualifizierten Naturwissenschaftler zur unabhängigen Überprüfung und medizinischen Validation übergeben. Die Ergebnisfreigabe ist dann eine Einzelfallentscheidung, die vom Test, den Rohwerten der Kontrollen, dem Gesamtbild des Assays und der Stabilität der Ergebnisse über die Zeit abhängig ist.

Die Anwendung der DIN EN ISO 15189 bedingt also, dass hinsichtlich der Kontrollen problematische Testergebnisse genau überprüft werden und nur Testergebnisse mit hoher Ergebnissicherheit und damit Patientensicherheit freigegeben werden.

Messunsicherheit

Validierung und Verifizierung

Ergebnissicherheit

Interne und externe Qualitätssicherung

Die Normkriterien zur Sicherstellung der Qualität der Untersuchungsverfahren (Abschnitt 5.6 der Norm) gehören zu den zentralen Anforderungen der DIN EN ISO 15189 [20].

Die Basis der Qualitätssicherung bilden testinterne Kontrollen des Herstellers. Diese müssen gemäß den Herstellervorgaben in einem definierten Bereich liegen. Die DIN EN ISO 15189 fordert bei klinisch bedeutsamen Fehlern eine Wiederholung der Probenanalyse. Unter bestimmten Voraussetzungen kann das Testergebnis mit entsprechender Begründung gesondert freigegeben werden. Diese Sonderfreigabe wird in ca. 5 der befragten Laboratorien einige Male im Jahr und bis zu einige Male pro Woche durchgeführt (s. Abbildung 4).

Auch wenn die Rohdaten der Kontrollen im Sollbereich liegen, können Testfehler, wie bei Anti-HBs gezeigt, vorliegen. Die Sensitivität des Anti-HBs-Tests errichte nicht in allen Läufen die internationale Immunitätsgrenze von 10 IU/L. Auch wenn quantitative Antikörpernachweise schwanken [28], existiert bei Anti-HBs eine internationale Immunitätsgrenze [29, 30]. Valide testinterne Kontrollen, die vom Hersteller bereitgestellt werden, wiegen den Anwender teilweise in zu großer Sicherheit.

Die Norm DIN EN ISO 15189 hebt die Relevanz der Verwendung von Qualitätskontrollmaterialien einer „unabhängigen Drittstelle“ für die Qualitätssicherung hervor und empfiehlt die Anwendung solcher Kontrollmaterialien zusätzlich oder anstelle der vom Hersteller mitgelieferten Kontrollen [20].

Zur Verbesserung der Ergebnissicherheit wurden daher solche zusätzlichen Kontrollen, sogenannte Run-Kontrollen, von den Laboratorien nach eigenem Ermessen in einem oder mehreren Verfahren eingesetzt. Die Anzahl und die Zweckbestimmung der Assays mit Run-Kontrollen waren in den einzelnen Laboratorien unterschiedlich. Die Wertigkeit von Run-Kontrollen konnte in dieser Studie anhand von Daten zur Bestimmung der HIV-Antigenkontrolle gezeigt werden, die im HIV-Combo-Test auch den Antigennachweis prüft, was die Kontrollen des Herstellers nicht leisten.

Die externe Qualitätssicherung – größtenteils in Form von Ringversuchen angewendet – bietet den Laboratorien ein effizientes Hilfsmittel, um – neben einer Evaluierung der Durchfüührungsperformance im Labor – die Qualität der angewendeten Tests zu prüfen und gegebenenfalls zu verbessern [31]. Sechs der befragten Laboratorien benutzten dieses Hilfsmittel jedoch, um ihre internen Standards in der Molekularbiologie an Ringversuchsergebnissen zu „kalibrieren“. Dies ist kritisch zu sehen, weil das am meisten verwendete Verfahren hier dominiert. In der Molekularbiologie wird der zugewiesene Wert im Ringversuch aus dem Konsensuswert aller eingesandten Ergebnisse ermittelt. Dieser schließt die Ergebnisse der Sollwertlaboratorien ein. Es besteht das Risiko einer nationalen „Standardisierung“ durch den meistverwendeten Test. In diesem Zusammenhang ist es bedeutsam, dass die für Anbieter von Eignungsprüfungen relevante Norm DIN EN ISO/IEC 17043 [24] zur Konsensuswertbestimmung fordert, dass der Ringversuchsanbieter dokumentieren und begründen muss, auf welcher Basis die Konsensus-Methode ausgewählt wurde.

Die nach DIN EN ISO 15189 geforderte Teilnahme an Ringversuchen trägt durch die periodische, externe Kontrolle zur Erhöhung der Ergebnissicherheit bei. Die in einigen Laboratorien gängige Praxis, ihre Standards den Ringversuchsergebnissen anzupassen, ist nicht normkonform und widerspricht den Prinzipien der Kalibrierung von Untersuchungsverfahren.

Im Gegensatz zur RiliBÄK, die nach Teil B3 eine Beteiligung an Ringversuchen bisher nur für eine begrenzte Auswahl von virologischen Parametern fordert, stellt die DIN EN ISO 15189 und vor allem die Akkreditierung nach dieser Norm die Relevanz von Ringversuchen für sämtliche von einem Laboratorium angebotenen Untersuchungsverfahren deutlich heraus.

Validierung, Verifizierung und Messunsicherheit von Untersuchungsverfahren

Rabenau et al. stellten seinerzeit fest, dass es Defizite bei der Validierung (In-Haus-Verfahren) und Verifizierung (kommerzielle Tests) in der Virusdiagnostik gab. So fehlten oft Daten zur Intra- und Interassaypräzision sowie zur Reproduzierbarkeit [32]. Die Vorgaben zur Validierung und Verifizierung werden in der DIN EN ISO 15189 nur konzeptionell beschrieben, ohne spezifische Anforderungen einzelner Fachbereiche darzustellen [12]. Wie die Experteninterviews gezeigt haben, arbeiten daher fast alle Laboratorien innerhalb der Klinischen Virologie in Deutschland nach dem Leitfaden von GfV und DVV [25], der die Forderungen der Norm ergänzt und konkretisiert. Da die Norm keine genauen Anweisungen im Hinblick darauf, wie viele Proben für die Validierung bzw. Verifizierung getestet und wie oft diese untersucht werden sollten, enthält, stellen die klaren Vorgaben im Leitfaden eine sinnvolle Ergänzung dar. Allerdings sind weder in der Norm noch im Leitfaden Grenzwerte für die Leistungsmerkmale, wie z. B. für Präzision, Spezifität, Sensitivität definiert. Die Laboratorien müssen dies parameter- und verfahrensspezifisch nach dem aktuellen Stand der Technik selbst tun.

Schlussfolgernd werden durch die Norm DIN EN ISO 15189 zwar Grundsätze und Konzepte zur Verifizierung und Validierung von Untersuchungsverfahren vorgegeben, aber detaillierte Kriterien einschließlich derjenigen für spezifische Fachbereiche fehlen bisher.

Stattdessen legt die DIN EN ISO 15189 bei der Einführung neuer Untersuchungsverfahren einen Schwerpunkt auf die Planung, Evaluierung und Dokumentation der erforderlichen und tatsächlich vorliegenden Leistungsmerkmale einschließlich einer autorisierten Freigabe der Validierungsunterlagen. Das Risiko, dass qualitativ minderwertige Untersuchungsverfahren mit schlechter Ergebnissicherheit in der Routinediagnostik eingesetzt werden, soll damit reduziert werden.

Im Rahmen der Abschätzung und periodischen Überprüfung der Messunsicherheit von Untersuchungsverfahren bestätigen die Ergebnisse dieser Studie den anhaltenden Verbesserungsbedarf medizinischer Laboratorien auf diesem Gebiet. Von zukünftiger Bedeutung dürfte sich hier das aktuelle ISO-Normungsvorhaben mit dem Arbeitstitel „Medical laboratories – Practical guide for the estimation of measurement of uncertainty“ erweisen [33]. In dem zuständigen Normungsgremium ISO Technical Committee (TC) 212 wird derzeit ein internationaler Leitfaden für medizinische Laboratorien zur Abschätzung der Messunsicherheit erarbeitet. Der Leitfaden wird auch Beispiele zur Messunsicherheitsbestimmung für Untersuchungsverfahren unterschiedlicher Fachdisziplinen einschließlich der Virologie enthalten.

Vollständigkeit der Norm

Die Interviewpartner betrachteten die Inhalte der DIN EN ISO 15189 für ihre Zweckbestimmung als ausreichend. Die Ergänzung der Norm um weitere, für die Virologie spezifische Anforderungen wurde weitgehend als unnötig angesehen. Durch den Leitfaden für Validierung und Verifizierung der GfV und DVV [25], der vom nationalen Sektorkomitee „Medizinische Laboratorien“ für die Akkreditierung obligatorisch zur Anwendung vorgesehen wurde, ist die Norm auf nationaler Ebene sinnvoll ergänzt worden. Daneben gibt es in Deutschland noch die sog. Fachbereichschecklisten, die für die Virologie aus dem Jahr 2004 datieren und zurzeit überarbeitet werden [34]. Zudem sind die Anforderungen der RiliBÄK ebenfalls ein obligatorischer Bestandteil der Akkreditierungskriterien. Seit 2001 existieren darüber hinaus auch in den MIQs – Qualitätsstandards in der mikrobiologisch-infektiologischen Diagnostik – Vorgaben für die Nukleinsäure-Amplifikationstechniken [35].

Auf internationaler Ebene wurde aber bereits mit der Veröffentlichung der englischen Fassung der ISO 15189 im Jahre 2012 die Notwendigkeit zur interpretativen Ergänzung der Normanforderungen erkannt. Neben dem o. g. Leitfaden zur Messunsicherheitsabschätzung wird vom ISO TC 212 derzeit eine sog. „Technische Spezifikation“ zum Fehler- und Risikomanagement mit Anwendungsbeispielen in verschiedenen Disziplinen der Laboratoriumsdiagnostik [36] sowie eine neue Norm zur Validierung von Untersuchungsverfahren in der molekularbiologischen Infektionsdiagnostik erarbeitet [37]. Auf europäischer Ebene wurden bereits Spezifikationen zu präanalytischen Anforderungen für die Extraktion von Nukleinsäuren aus verschiedenen Geweben mit dem Ziel der weiteren molekularbiologischen Analyse veröffentlicht [38].

Diese Normungsvorhaben belegen den Bedarf an weiterführenden und spezifischen Hinweisen für verschiedene Teilarbeitsgebiete der medizinischen Laboratorien.

Ergebnissicherheit

Bei den Aussagen der Befragten zur Ergebnissicherheit sollte berücksichtigt werden, dass die Etablierung eines QM-Systems auf der Grundlage der RiliBÄK [39] in Deutschland schon seit dem Jahr 2008 verbindlich ist. Trotzdem bringt ein überwiegender Teil der befragten Laboratorien zum Ausdruck, dass durch die Anwendung der DIN EN ISO 15189 die Qualität der medizinischen Untersuchungsergebnisse gestiegen sei. Sowohl die experimentellen Daten als auch die qualitative Inhaltsanalyse der Experteninterviews dieser Studie bestätigen diese Aussage. Die Studien von Rabenau et al. [40] und Allen [41], die ebenfalls eine Erhöhung der Qualität der Labordiagnostik durch den Einfluss der DIN EN ISO 15189 darlegen, konnten in dieser Arbeit bestätigt und weitergeführt werden.