Christoph Keese • mednic.de - News aus Medizin, Digital Health & IT

Warum KI-Funktionen im Gesundheitswesen nur dann sinnvoll sind, wenn sie echte Probleme lösen – und was ein lachendes Kind in der Kinderarztpraxis damit zu tun hat. Ein Gastbeitrag von Susanne Dubuisson, Product Director bei Doctolib Die Debatte um Künstliche Intelligenz (KI) im Gesundheitswesen dreht sich häufig um das, was technisch machbar ist. Sprachmodelle, die Diagnosen vorschlagen. Algorithmen, die Bildgebung auswerten. Systeme, die Patientendaten in Echtzeit analysieren. Die entscheidende Frage lautet dabei: Schafft das einen echten Mehrwert für Menschen, die täglich damit arbeiten? In meiner Arbeit als Produktentwicklerin ist diese Frage die ausschlaggebende Leitlinie, nach der mein Team und ich entscheiden, welche Features wir umsetzen und welche nicht. Wenn eine Funktion weder Zeit spart noch ein konkretes Problem löst, dann sollte sie nicht entwickelt werden. Wenn sie das tut, machen wir uns an die Arbeit. Vom Transkript zum Protokoll: Wie der KI-Sprechstundenassistent entstand Der Ausgangspunkt für die Entwicklung des KI-Sprechstundenassistenten war naheliegend: Ärztinnen und Ärzte verbringen einen erheblichen Teil ihrer Arbeitszeit damit, im Sprechzimmer zu dokumentieren – entweder parallel zum Gespräch oder im Anschluss daran. Zeit, die an anderer Stelle fehlt. Für die Patientinnen und Patienten bedeutet dies, dass sie sich in manchen Momenten nicht ganz gehört oder gesehen fühlen, wenn die Aufmerksamkeit der Ärztin oder des Arztes geteilt ist und auf den Bildschirm gerichtet werden muss. Zunächst brauchten wir Daten, die abbilden, wie Konsultationsgespräche in den Arztpraxen wirklich ablaufen. Gemeinsam mit Medical Experts, d.h. Ärztinnen und Ärzten, die uns stetiges Feedback zu unseren Produkten geben, haben wir umfangreiche Test-Sets erstellt. Die Gespräche wurden aufgezeichnet, in ihre Bestandteile analysiert und manuell annotiert. Was ist Anamnese, was Befund, was Behandlungsplan? Diese aufwändige Arbeit war notwendig, um ein Modell zu trainieren, das nicht nur Sprache versteht, sondern auch medizinische Gesprächsstrukturen erkennt. Was ein lachendes Kind über gutes Produktdesign lehrt Nach der internen Trainingsphase folgte die Pilotierung in echten Praxen. Und hier begann das eigentliche Lernen. Ein Beispiel: Als wir den Assistenten für die Pädiatrie weiterentwickelten, stießen wir auf eine ganz neue Herausforderung. In einer Kinderarztpraxis sind nicht nur eine Ärztin und ein Patient im Raum. Es sind auch Eltern anwesend, manchmal kleine Geschwister – und Kinder schreien, weinen, lachen. Das Modell musste also lernen, aus diesen Geräuschen und dem Gespräch die medizinisch relevanten Informationen zu filtern. Es musste verstehen: Wer ist hier eigentlich der Patient? Das klingt trivial, ist es aber nicht. Für jede Fachgruppe – von der Allgemeinmedizin über die HNO bis zur Psychiatrie – gelten andere Gesprächsdynamiken, andere Fachbegriffe und andere Dokumentationsanforderungen. Solche Erkenntnisse gewinnen wir, wenn wir beobachten, wie das System in der Realität eingesetzt wird und Feedback stetig umsetzen. Wie Entscheidungen entstehen – und wer dabei mitredet Bei uns ist Produktentwicklung kein klassischer Top-down-Prozess. Product-, Engineering- und Design-Teams arbeiten in kleinen, eigenverantwortlichen Einheiten zusammen – von der ersten Idee bis zur Auslieferung. Konkret heißt das: Nutzende-Interviews, Prototypen, Feedback-Schleifen, bevor eine einzige Zeile Code geschrieben wird. Klinische Plausibilität sichern unsere Medical Experts, also Ärztinnen und Ärzte, die eng mit den Produktteams zusammenarbeiten. Prototypen werden in Pilotpraxen unter realen Bedingungen getestet. Die Rechtsabteilung ist von Beginn an dabei, damit Datenschutz und regulatorische Anforderungen keine Nachgedanken sind. Und unsere s.g. Product Champions aus Kundenservice, Key Account und Vertrieb prüfen, ob eine Funktion im Alltag wirklich funktioniert – bevor die eigentliche Entwicklung beginnt. Dieses Modell verlangsamt einzelne Schritte, beschleunigt aber das Gesamtergebnis: Fehler werden früh erkannt, bevor sie teuer werden. Datenschutz als Grundbedingung Im Gesundheitswesen ist Datenschutz kein Differenzierungsmerkmal, sondern eine Voraussetzung. Ohne die Einhaltung der deutschen und europäischen Datenschutzgesetze ist eine Marktteilnahme schlicht nicht möglich. Beim KI-Sprechstundenassistenten bedeutet das konkret, dass die Aufzeichnung eines Gesprächs nur dann beginnt, wenn die Patientin oder der Patient ausdrücklich zugestimmt hat. Die Ärztin oder der Arzt holt dies aktiv ein, ohne Zustimmung läuft nichts. Qualitätssicherung erfolgt dabei über explizites und implizites Feedback. Explizit bedeutet, dass Ärztinnen und Ärzte direkt berichten, was gut funktioniert und was nicht. Implizit erkennt das System, wenn Änderungen an den KI-generierten Protokollfeldern vorgenommen werden, ohne zu wissen, um welchen Patienten es geht oder was inhaltlich geändert wurde. Diese anonymisierten Signale zeigen, wo das Modell noch nicht präzise genug arbeitet. Wenn wir Ärztinnen und Ärzte fragen, was sich durch den Einsatz des Sprechstundenassistenten verändert hat, nennen die meisten die Zeitersparnis. Aus zweieinhalb Minuten Dokumentation werden dank der KI-Unterstützung etwa dreißig Sekunden. Das war jedoch nicht der Effekt, der uns am meisten überrascht hat. In den ersten Rückmeldungen aus den Pilotpraxen berichteten Ärztinnen und Ärzte von etwas anderem. Sie konnten ihre Patientin und Patient wieder in die Augen sehen. Sie sahen nicht auf den Bildschirm oder die Tastatur, sondern auf die Person, die ihnen gegenübersaß. Sie nahmen nonverbale Signale wieder stärker wahr, Mimik und Körpersprache. Gerade für ältere Patientinnen und Patienten, für Menschen mit wenigen sozialen Kontakten und für alle, bei denen das Gespräch selbst therapeutische Bedeutung hat, ist dieser Unterschied wichtig. Und er wirkt sich positiv auf die Qualität der Behandlung und der Dokumentation aus. Was KI im Gesundheitswesen leisten kann KI kann die Dokumentation beschleunigen, Routineaufgaben übernehmen und Muster in Daten erkennen. Dadurch wird die Ärztin bzw. der Arzt entlastet. Was sie jedoch nicht kann, ist Verantwortung zu übernehmen, eine beruhigende Hand zu geben oder den Patientinnen und Patienten in die Augen zu sehen. Die Entscheidung über die Diagnose, die angestrebte Therapie und das entsprechende Gespräch ist eine menschliche Aufgabe. Die Frage, die wir uns bei jeder neuen Funktion deshalb stellen, lautet nicht nur: Was ist technisch möglich? Sondern: Wo entsteht echter Mehrwert – für Fachkräfte, für Patientinnen und Patienten, für das System? Das ist Produktdisziplin. Und im Gesundheitswesen, in dem jede Minute Behandlungszeit zählt, ist sie Pflicht. Denn worum geht es wirklich? Es geht um den älteren Herrn, der Zuwendung braucht. Um das Kind, das weint, und die Eltern, die Antworten brauchen. Um die Frau, die ins Sprechzimmer kommt und ärztlichen Rat benötigt. Wenn KI dazu beiträgt, dass die Ärztin oder der Arzt wieder die Zeit hat, das zu geben, dann hat sie ihren Zweck erfüllt. https://www.doctolib.de Die AutorinSusanne Dubuisson ist Product Director bei Doctolib. Das europäische Healthtech-Unternehmen entwickelt seit […]

Viele Ärztinnen und Ärzte verwenden KI-Chatbots bereits in ihrem medizinischen Alltag. Warum die damit verbundenen Risiken oft unterschätzt werden und warum eine Qualitätsprüfung von KI-Chatbots in der Medizin unerlässlich ist, erläutert Dr. med. Patricia Hinske, Chief of Clinical Innovation bei AMBOSS, in ihrem Gastbeitrag. Gastbeitrag von Dr. med. Patricia Hinske Mehr als die Hälfte der Ärztinnen und Ärzte im deutschsprachigen Raum nutzen bereits KI-gestützte Sprachmodelle (sog. Large Language Models, LLMs) in ihrem Arbeitsalltag. Meist greifen sie auf generische Tools wie ChatGPT zurück, um etwa Differenzialdiagnosen abzugleichen oder Therapieoptionen zu recherchieren. Das verspricht Effizienzgewinne und schnelle Orientierung. Gleichzeitig werden die damit verbundenen Risiken bislang oft unterschätzt oder aus pragmatischen Gründen in Kauf genommen. Das zentrale Problem: Generische KI-Systeme generieren ihre Antworten auf Grundlage statistischer Wahrscheinlichkeiten und greifen dabei auf heterogene, nicht-validierte Inhalte aus dem offenen Web zurück, in denen evidenzbasierte Leitlinien neben Forenbeiträgen, veralteten Publikationen, pseudowissenschaftlichen Hypothesen oder werblichen Inhalten stehen. Die Folge sind Empfehlungen, die zwar plausibel klingen, aber fachlich unvollständig, veraltet oder kontextuell unpassend sein können. Vor diesem Hintergrund hat AMBOSS den AI Mode entwickelt. Dabei handelt es sich um eine dialogbasierte Chatfunktion zur fundierten medizinischen Wissensrecherche innerhalb der AMBOSS-Plattform. Er übernimmt die Aufgaben, die im klinischen Alltag besonders zeitaufwendig sind. Neben der Recherche sind das die Strukturierung und Kontextualisierung von medizinischen Informationen. Ziel ist es, klinisch relevante Antworten nicht nur evidenzbasiert, sondern schnell erfassbar und einfach überprüfbar bereitzustellen. Der AI Mode kombiniert hierfür Inhalte aus verschiedenen AMBOSS-Kapiteln und verbindet sie zu einer präzisen, kontextualisierten Antwort mit detaillierten Quellenverweisen. In Sekundenschnelle entsteht so ein kompakter Überblick mit passendem Tiefgang und verlässlicher Quellengrundlage. Qualitätsprüfung von KI-Chatbots in der Medizin Doch mit der Entwicklung neuer AI-Systeme stellt sich eine grundsätzliche Frage: Wie sicher sind AI-generierte Empfehlungen im klinischen Kontext überhaupt? Bisherige Evaluationsstudien konzentrierten sich meist auf medizinisches Faktenwissen oder standardisierte Prüfungsformate wie Multiple-Choice-Fragen. Offene Sprachmodelle wie ChatGPT und Co. erzielten dort solide Ergebnisse. Diese Studien zeigen jedoch primär, was KI in einer kontrollierten „Laborumgebung“ leisten kann. Doch zwischen einer korrekt beantworteten Prüfungsfrage und verantwortbaren Therapieempfehlungen in realen Patientensituationen liegt ein fundamentaler Unterschied. Genau hier setzt nun eine neue Studie namens NOHARM aus den USA an, die einen praktischen Ansatz verfolgt. „First, do no harm“ oder „Primum non nocere“, also zuerst keinen Schaden zufügen, ist ein jahrtausendealter Grundsatz der Medizin. Ärztinnen und Ärzte wollen heilen und dabei sicherstellen, dass ihre Entscheidungen den Patientinnen und Patienten keinen Schaden zufügen. Lassen sich auch KI-Systeme an diesem Grundsatz messen? Die Forschenden der Stanford University School of Medicine und der Harvard Medical School untersuchten für die Studie erstmals an 31 verschiedenen KI-Systemen, wie häufig und schwerwiegend KI-generierte Empfehlungen im klinischen Kontext potenziellen Schaden verursachen können. Im Gegensatz zu „stilisierten Fall-Vignetten“ basiert die Studie auf 100 echten elektronischen Konsultationen zwischen Hausärztinnen und Spezialisten. Diese Fälle beinhalten authentische klinische Inhalte und Unsicherheiten, die im echten ärztlichen Alltag auftreten. Die Studie unterscheidet zwischen zwei Arten von Fehlern: Entweder empfiehlt eine KI eine falsche, potenziell schädliche Behandlung, oder sie vergisst, eine wichtige Maßnahme zu erwähnen, etwa einen notwendigen Test. Schaden durch Unterlassung Die leistungsstärksten KI-Modelle schnitten bei der Sicherheitsbewertung im Durchschnitt rund zehn Prozent besser ab als Fachärztinnen und Fachärzte. Doch auch die beste KI kann Fehler machen. Während die schlechtesten Modelle bei 100 Patientenfällen im Schnitt etwa 40 schwere Fehler produzierten, reduzierten die besten Modelle diese Zahl auf ca. 12–14 schwere Fehler. Im Vergleich dazu machten Ärztinnen und Ärzte ohne KI-Unterstützung in 33 von100 Fällen potenziell schwere Fehler. Die Ergebnisse zeigen, dass die meisten gefährlichen, KI-basierten Fehler nicht durch falsche, sondern durch unvollständige Empfehlungen entstehen. Die KI-Systeme ließen also eine kritisch wichtige diagnostische oder therapeutische Maßnahme aus beziehungsweise empfahlen sie schlichtweg nicht. In der Studie machten diese Fehler über drei Viertel der schweren Fehler aus. Ergebnisse der Studie Unter den 31 evaluierten KI-Systemen erzielte die für die klinische Entscheidungsfindung entwickelte US-Version des AMBOSS AI Mode mit seinem Modell LiSA 1.0 den ersten Platz in der Gesamtwertung. In der Kategorie „Completeness“, die misst, ob alle klinisch notwendigen Maßnahmen empfohlen werden, erreichte das System den mit Abstand höchsten Wert. Der Unterschied des KI-Systems liegt nicht nur im sicheren Quellenfundament, sondern im gesamten Systemdesign. Während generische Sprachmodelle Antworten aus dem offenen Internet probabilistisch generieren, wurde der AI Mode gezielt für medizinische Fachfragen entwickelt. Die Antworten basieren ausschließlich auf leitliniengerechten, redaktionell geprüften und aktualisierten Inhalten, die im Kontext der konkreten klinischen Fragestellung strukturiert aufbereitet werden. Das System berücksichtigt beruflichen Kontext und weist auch auf Aspekte hin, die möglicherweise übersehen werden könnten. Dadurch ist nicht nur die fachliche Korrektheit sichergestellt, sondern echte Anwendbarkeit gegeben: schnell zugängliche relevante Evidenz, verdeutlichte Zusammenhänge und gleichzeitig eine transparente Grundlage für die eigenen fachlichen Entscheidungen. Doch was bedeutet da Ergebnis der Studie für Kliniken, MVZs und Praxen im DACH-Raum? Mit der rasanten Entwicklung medizinischer KI rückt auch hier eine zentrale Herausforderung in den Fokus: Wie können Kliniken, MVZs und Praxen KI so einsetzen, dass sie Fachpersonal wirksam entlastet und gleichzeitig die hohen Anforderungen an die Patientensicherheit erfüllt? Entscheidend dafür ist es auf Systeme zu setzen, die gezielt für die medizinische Informationsrecherche entwickelt wurden, auf kuratiertem Fachwissen basieren und Teil unabhängiger Evaluationen sind. Solche Lösungen können zeitintensive Aufgaben wie die medizinische Recherche übernehmen und relevante Informationen innerhalb weniger Sekunden strukturiert zusammenstellen. So kann auch hierzulande ein klarer Mehrwert für den klinischen Alltag entstehen: spürbare Entlastung für medizinisches Personal und schneller Zugang zu verlässlichen Informationen.

Tag Christoph Keese

Das bringt die conhIT 2018

KI im Sprechzimmer: Was wirklich zählt, ist klinischer Mehrwert

Telemedizin: Vom Provisorium zur Versorgungssäule

Wie sicher sind KI-Chatbots im klinischen Alltag?