Ein KI-System soll Nebenwirkungen einer Krebstherapie direkt aus Gesprächen zwischen Patienten und Behandlungsteam erfassen und nach ihrem Schweregrad einstufen. In einer ersten Studie erreichte VOICE-AE eine Übereinstimmung, die nahe an der Bewertung menschlicher Experten lag. Für schwerere Nebenwirkungen fehlen allerdings noch ausreichend Daten.
Nebenwirkungen einer Krebstherapie systematisch zu dokumentieren, kostet Zeit und ist nicht frei von subjektiven Unterschieden. Forschende der Mayo Clinic haben deshalb untersucht, ob sich die entsprechenden Informationen automatisch aus ohnehin stattfindenden Arzt-Patienten-Gesprächen gewinnen lassen. Das System VOICE-AE kombiniert automatische Spracherkennung, die Zuordnung einzelner Gesprächsbeiträge zu den jeweiligen Sprechern und Large Language Models (LLM). Anschließend ordnet die KI erwähnte Beschwerden nach den Common Terminology Criteria for Adverse Events (CTCAE) ein. Dieses international verwendete System klassifiziert unerwünschte Ereignisse nach Art und Schweregrad. Die Ergebnisse sind im npj Digital Medicine veröffentlicht.
KI wertet Gespräche nach der Behandlung aus
Für die Studie wurden 31 Patienten mit Prostatakrebs während einer Strahlentherapie einbezogen. Insgesamt zeichneten die Forschenden 39 klinische Gespräche auf. VOICE-AE sollte daraus zehn typische Nebenwirkungen aus dem urogenitalen und gastrointestinalen Bereich identifizieren und nach CTCAE einstufen. Zum Vergleich bewerteten sechs verblindete menschliche Gutachter dieselben Gesprächstranskripte unabhängig voneinander. Daraus entstand ein Referenzstandard für insgesamt 390 Kombinationen aus Gespräch und möglicher Nebenwirkung. Beim exakten CTCAE-Schweregrad stimmte VOICE-AE in 82,6 Prozent der Bewertungen mit der Referenz überein. Lag eine Abweichung um maximal einen Schweregrad noch innerhalb des akzeptierten Bereichs, betrug die Übereinstimmung 99,2 Prozent. Diese hohen Werte benötigen allerdings eine Einordnung: Bei 76,9 Prozent aller untersuchten Kombinationen lag überhaupt keine Nebenwirkung vor. Ein einfaches System, das stets „Grad 0“ ausgegeben hätte, wäre deshalb bereits auf eine exakte Trefferquote von 76,9 Prozent gekommen.
Bei relevanten Nebenwirkungen sinkt die Genauigkeit
Aussagekräftiger ist daher der Blick auf tatsächlich vorhandene Beschwerden. Bei der bloßen Erkennung einer Nebenwirkung erreichte VOICE-AE eine Sensitivität von 77,8 Prozent und eine Spezifität von 89,0 Prozent. Der positive Vorhersagewert lag bei 68 Prozent. Deutlich wurde zudem, dass die Leistung bei den klinisch relevanteren Schweregraden abnahm. Für Nebenwirkungen vom Grad 1 erreichte das System einen F1-Wert von 0,58, für Grad 2 von 0,57. Im direkten Vergleich mit einer Gruppe von drei besonders konsistent bewertenden Experten lag die gewichtete Übereinstimmung der KI bei 0,666. Die Übereinstimmung der Experten untereinander betrug 0,681. Damit bewegte sich VOICE-AE knapp innerhalb des Bereichs, in dem auch menschliche Bewertungen voneinander abweichen können.
Der Ansatz erweitert das Konzept sogenannter Ambient-AI-Systeme. Diese erfassen Gespräche im Behandlungszimmer bislang vor allem, um daraus automatisch Dokumentationen oder Arztbriefe zu erstellen. VOICE-AE versucht dagegen, aus der Unterhaltung zusätzlich strukturierte klinische Informationen abzuleiten. Gerade in der Onkologie könnte dies interessant sein. Nebenwirkungen müssen regelmäßig dokumentiert und hinsichtlich ihrer Schwere bewertet werden. Eine automatisierte Voranalyse könnte diese Aufgabe unterstützen und Informationen aus dem Gespräch unmittelbar für die weitere Dokumentation aufbereiten. Von einem autonomen System zur Erkennung von Therapierisiken ist VOICE-AE jedoch noch weit entfernt. Die Studie umfasst nur wenige Patienten einer einzelnen Tumorerkrankung und konzentriert sich auf zehn typische Nebenwirkungen während einer Strahlentherapie. Besonders die zuverlässige Erkennung schwererer Toxizitäten ab CTCAE-Grad 2 ist nach Einschätzung der Forschenden noch nicht belegt.
