Der Parkinson-Chatbot jAImes schnitt bei der automatisierten Bewertung von mehr als 2.000 realen Gesprächen überwiegend gut ab. Eine zusätzliche ärztliche Stichprobe entdeckte jedoch klinisch kritische Fehler, die das Prüfsystem übersehen hatte. Die Würzburger Studie zeigt damit vor allem, warum medizinische KI auch nach dem Start kontinuierlich kontrolliert werden muss.
Wie sicher arbeitet ein medizinischer Chatbot, wenn er nicht mit Testfragen, sondern von realen Nutzerinnen und Nutzern konfrontiert wird? Forschende des Universitätsklinikums Würzburg haben dafür die ersten 2.035 Gespräche mit 6.146 Nachrichten des Parkinson-Chatbots jAImes ausgewertet. Die prospektive Beobachtungsstudie umfasst die ersten 129 Betriebstage zwischen dem 11. November 2025 und dem 20. März 2026. Die Ergebnisse sind in The Lancet Regional Health – Europe erschienen.
Automatisierte Prüfung bewertet rund 90 Prozent als gut
jAImes ist ein öffentlich zugänglicher Informationsassistent der Parkinson Stiftung. Das System kombiniert ein Sprachmodell mit einer kuratierten Wissensbasis und soll allgemeine, evidenzbasierte Informationen zu Parkinson bereitstellen. Diagnosen, Dosierungsempfehlungen oder individuelle Therapieänderungen gehören ausdrücklich nicht zum vorgesehenen Einsatz. Für die Sicherheitsüberwachung entwickelten die Forschenden das Verfahren CARE-LLM. Dabei werden zunächst sämtliche Gespräche automatisiert bewertet. Auffällige Dialoge werden anschließend von medizinischen Experten geprüft; zusätzlich werden Stichproben aus den vermeintlich unauffälligen Gesprächen kontrolliert. Von den 2.035 Gesprächen wurden 1.803 beziehungsweise 88,6 Prozent als gut, 224 beziehungsweise 11,0 Prozent als teilweise angemessen und acht beziehungsweise 0,4 Prozent als unangemessen eingestuft.
Ärztliche Kontrolle entdeckt übersehene Fehler
Die automatisierte Bewertung allein reichte jedoch nicht aus. Von den auffälligen Gesprächen wurden 45 einer vertieften fachärztlichen Beurteilung unterzogen. Dabei bestätigten die Neurologen fünf klinisch kritische Ereignisse. Noch aufschlussreicher war die zusätzliche Kontrolle von 100 zufällig ausgewählten Gesprächen, die das automatisierte System zuvor als gut bewertet hatte. In vier davon fanden die Ärzte ebenfalls klinisch kritische Fehler. Dazu gehörten eine Medikamentenverwechslung, eine falsche Angabe zur Wirkdauer eines Levodopa-Präparats und problematische Angaben zu Medikamenten bei Parkinson-Demenz beziehungsweise Tremor. Die Autoren warnen ausdrücklich davor, daraus eine allgemeine Fehlerquote von vier Prozent abzuleiten. Die Zahl beschreibt ausschließlich die untersuchte Stichprobe innerhalb der zuvor als gut eingestuften Gespräche. Wie häufig kritische Fehler insgesamt in allen 2.035 Dialogen auftraten, lässt sich mit dem Studiendesign nicht bestimmen.
Suizidgedanken lösen nicht immer Krisenreaktion aus
Besonders relevant waren drei Gespräche, in denen Nutzer ausdrücklich Suizidgedanken äußerten. In zwei Fällen stellte der Chatbot zwar Notfallinformationen bereit, die Reaktion entsprach nach ärztlicher Bewertung aber nicht ausreichend dem vorgesehenen Krisenprotokoll. In einem weiteren Gespräch erkannte das System die Situation nicht als Notfall und gab weder Krisenkontakte noch direkte Hinweise auf Unterstützung aus. Nach Angaben der Forschenden wurde das Krisenprotokoll anschließend überarbeitet; beim erneuten Test des konkreten Falls reagierte die neue Version wie vorgesehen. Gerade dieser Vorfall zeigt die Grenze einer anonymen Anwendung: Das Behandlungsteam konnte die betroffene Person nicht nachträglich kontaktieren. jAImes greift für medizinische Fragen auf eine Wissensbasis mit 221 kuratierten Dokumenten zurück. Dazu gehören wissenschaftliche Publikationen, validierte Patienteninformationen und weitere fachlich geprüfte Quellen. Trotz dieser Begrenzung auf kuratiertes Wissen entstanden medizinisch relevante Fehlantworten. Die Studie spricht deshalb gegen die Annahme, dass Retrieval-Augmented Generation und eine geprüfte Datenbasis allein ausreichen, um einen medizinischen Chatbot zuverlässig abzusichern.
„Selbst bei einem KI-System, das auf geprüfte Informationsquellen zurückgreift, können Fehler auftreten“, fasst Jens Volkmann, Direktor der Neurologischen Klinik am UKW und Vorstandsmitglied der Parkinson Stiftung, die Konsequenz zusammen. Entscheidend sei deshalb eine kontinuierliche Überwachung realer Gesprächsverläufe.
Die Untersuchung zeigt nicht, dass jAImes die medizinische Versorgung verbessert oder Arztkontakte ersetzen kann. Sie untersucht in erster Linie Nutzung und Sicherheit eines bereits öffentlich eingesetzten Informationssystems. Auch die Bewertung stammt aus dem Umfeld des Systems selbst: Unter den Studienautoren befinden sich der technische Entwickler von jAImes sowie der Präsident der Parkinson Stiftung, die den Chatbot beauftragt und finanziert hat. Die Beurteilung der als kritisch eingestuften Einzelfälle wurde nach Angaben der Autoren jedoch ausschließlich von Klinikern vorgenommen, die weder zum Entwickler noch zur Stiftung eine finanzielle oder organisatorische Verbindung haben. jAImes ist zudem nach Angaben der Parkinson Stiftung kein Medizinprodukt im Sinne der MDR. Der Chatbot soll informieren, nicht diagnostizieren oder individuelle Therapieentscheidungen treffen.
