Tag Fraunhofer IGB

Forschung

Strahlen für schonende Impfstoff-Produktion

DIGITAL HEALTH NEWS Newsletter

TERMINE

Keine Events

Medizin & Technik

Wie sicher sind KI-Chatbots im klinischen Alltag?

Viele Ärztinnen und Ärzte verwenden KI-Chatbots bereits in ihrem medizinischen Alltag. Warum die damit verbundenen Risiken oft unterschätzt werden und warum eine Qualitätsprüfung von KI-Chatbots in der Medizin unerlässlich ist, erläutert Dr. med. Patricia Hinske, Chief of Clinical Innovation bei AMBOSS, in ihrem Gastbeitrag. Gastbeitrag von Dr. med. Patricia Hinske Mehr als die Hälfte der Ärztinnen und Ärzte im deutschsprachigen Raum nutzen bereits KI-gestützte Sprachmodelle (sog. Large Language Models, LLMs) in ihrem Arbeitsalltag. Meist greifen sie auf generische Tools wie ChatGPT zurück, um etwa Differenzialdiagnosen abzugleichen oder Therapieoptionen zu recherchieren. Das verspricht Effizienzgewinne und schnelle Orientierung. Gleichzeitig werden die damit verbundenen Risiken bislang oft unterschätzt oder aus pragmatischen Gründen in Kauf genommen. Das zentrale Problem: Generische KI-Systeme generieren ihre Antworten auf Grundlage statistischer Wahrscheinlichkeiten und greifen dabei auf heterogene, nicht-validierte Inhalte aus dem offenen Web zurück, in denen evidenzbasierte Leitlinien neben Forenbeiträgen, veralteten Publikationen, pseudowissenschaftlichen Hypothesen oder werblichen Inhalten stehen. Die Folge sind Empfehlungen, die zwar plausibel klingen, aber fachlich unvollständig, veraltet oder kontextuell unpassend sein können. Vor diesem Hintergrund hat AMBOSS den AI Mode entwickelt. Dabei handelt es sich um eine dialogbasierte Chatfunktion zur fundierten medizinischen Wissensrecherche innerhalb der AMBOSS-Plattform. Er übernimmt die Aufgaben, die im klinischen Alltag besonders zeitaufwendig sind. Neben der Recherche sind das die Strukturierung und Kontextualisierung von medizinischen Informationen. Ziel ist es, klinisch relevante Antworten nicht nur evidenzbasiert, sondern schnell erfassbar und einfach überprüfbar bereitzustellen. Der AI Mode kombiniert hierfür Inhalte aus verschiedenen AMBOSS-Kapiteln und verbindet sie zu einer präzisen, kontextualisierten Antwort mit detaillierten Quellenverweisen. In Sekundenschnelle entsteht so ein kompakter Überblick mit passendem Tiefgang und verlässlicher Quellengrundlage. Qualitätsprüfung von KI-Chatbots in der Medizin Doch mit der Entwicklung neuer AI-Systeme stellt sich eine grundsätzliche Frage: Wie sicher sind AI-generierte Empfehlungen im klinischen Kontext überhaupt? Bisherige Evaluationsstudien konzentrierten sich meist auf medizinisches Faktenwissen oder standardisierte Prüfungsformate wie Multiple-Choice-Fragen. Offene Sprachmodelle wie ChatGPT und Co. erzielten dort solide Ergebnisse. Diese Studien zeigen jedoch primär, was KI in einer kontrollierten „Laborumgebung“ leisten kann. Doch zwischen einer korrekt beantworteten Prüfungsfrage und verantwortbaren Therapieempfehlungen in realen Patientensituationen liegt ein fundamentaler Unterschied. Genau hier setzt nun eine neue Studie namens NOHARM aus den USA an, die einen praktischen Ansatz verfolgt. „First, do no harm“ oder „Primum non nocere“, also zuerst keinen Schaden zufügen, ist ein jahrtausendealter Grundsatz der Medizin. Ärztinnen und Ärzte wollen heilen und dabei sicherstellen, dass ihre Entscheidungen den Patientinnen und Patienten keinen Schaden zufügen. Lassen sich auch KI-Systeme an diesem Grundsatz messen? Die Forschenden der Stanford University School of Medicine und der Harvard Medical School untersuchten für die Studie erstmals an 31 verschiedenen KI-Systemen, wie häufig und schwerwiegend KI-generierte Empfehlungen im klinischen Kontext potenziellen Schaden verursachen können. Im Gegensatz zu „stilisierten Fall-Vignetten“ basiert die Studie auf 100 echten elektronischen Konsultationen zwischen Hausärztinnen und Spezialisten. Diese Fälle beinhalten authentische klinische Inhalte und Unsicherheiten, die im echten ärztlichen Alltag auftreten. Die Studie unterscheidet zwischen zwei Arten von Fehlern: Entweder empfiehlt eine KI eine falsche, potenziell schädliche Behandlung, oder sie vergisst, eine wichtige Maßnahme zu erwähnen, etwa einen notwendigen Test. Schaden durch Unterlassung Die leistungsstärksten KI-Modelle schnitten bei der Sicherheitsbewertung im Durchschnitt rund zehn Prozent besser ab als Fachärztinnen und Fachärzte. Doch auch die beste KI kann Fehler machen. Während die schlechtesten Modelle bei 100 Patientenfällen im Schnitt etwa 40 schwere Fehler produzierten, reduzierten die besten Modelle diese Zahl auf ca. 12–14 schwere Fehler. Im Vergleich dazu machten Ärztinnen und Ärzte ohne KI-Unterstützung in 33 von100 Fällen potenziell schwere Fehler. Die Ergebnisse zeigen, dass die meisten gefährlichen, KI-basierten Fehler nicht durch falsche, sondern durch unvollständige Empfehlungen entstehen. Die KI-Systeme ließen also eine kritisch wichtige diagnostische oder therapeutische Maßnahme aus beziehungsweise empfahlen sie schlichtweg nicht. In der Studie machten diese Fehler über drei Viertel der schweren Fehler aus. Ergebnisse der Studie Unter den 31 evaluierten KI-Systemen erzielte die für die klinische Entscheidungsfindung entwickelte US-Version des AMBOSS AI Mode mit seinem Modell LiSA 1.0 den ersten Platz in der Gesamtwertung. In der Kategorie „Completeness“, die misst, ob alle klinisch notwendigen Maßnahmen empfohlen werden, erreichte das System den mit Abstand höchsten Wert. Der Unterschied des KI-Systems liegt nicht nur im sicheren Quellenfundament, sondern im gesamten Systemdesign. Während generische Sprachmodelle Antworten aus dem offenen Internet probabilistisch generieren, wurde der AI Mode gezielt für medizinische Fachfragen entwickelt. Die Antworten basieren ausschließlich auf leitliniengerechten, redaktionell geprüften und aktualisierten Inhalten, die im Kontext der konkreten klinischen Fragestellung strukturiert aufbereitet werden. Das System berücksichtigt beruflichen Kontext und weist auch auf Aspekte hin, die möglicherweise übersehen werden könnten. Dadurch ist nicht nur die fachliche Korrektheit sichergestellt, sondern echte Anwendbarkeit gegeben: schnell zugängliche relevante Evidenz, verdeutlichte Zusammenhänge und gleichzeitig eine transparente Grundlage für die eigenen fachlichen Entscheidungen. Doch was bedeutet da Ergebnis der Studie für Kliniken, MVZs und Praxen im DACH-Raum? Mit der rasanten Entwicklung medizinischer KI rückt auch hier eine zentrale Herausforderung in den Fokus: Wie können Kliniken, MVZs und Praxen KI so einsetzen, dass sie Fachpersonal wirksam entlastet und gleichzeitig die hohen Anforderungen an die Patientensicherheit erfüllt? Entscheidend dafür ist es auf Systeme zu setzen, die gezielt für die medizinische Informationsrecherche entwickelt wurden, auf kuratiertem Fachwissen basieren und Teil unabhängiger Evaluationen sind. Solche Lösungen können zeitintensive Aufgaben wie die medizinische Recherche übernehmen und relevante Informationen innerhalb weniger Sekunden strukturiert zusammenstellen. So kann auch hierzulande ein klarer Mehrwert für den klinischen Alltag entstehen: spürbare Entlastung für medizinisches Personal und schneller Zugang zu verlässlichen Informationen.
[…]
Mit Telemedizin gegen unerfüllten Kinderwunsch

Ein telemedizinisches Kinderwunschprogramm haben Medgate und VivoSensMedical nun gemeinsam gestartet. Lunara+ ist den Anbietern zufolge das erste Programm dieser Art in Deutschland.
[…]
Virtual-Realtiy-Training für hochkritische Thoraxeingriffe

Mithilfe von Virtual Reality lassen sich seltene Eingriffe üben, um besser auf kritische Einsatzlagen vorbereitet zu sein.
[…]

Healthcare

Telekom bringt KI in die Pflegedokumentation

Die Telekom hat eine KI-basierte Lösung für die digitale Pflegedokumentation vorgestellt. Pflegekräfte in Krankenhäusern können Behandlungsdaten direkt am Patientenbett per iPad diktieren, die Anwendung erstellt daraus strukturierte Pflegeberichte. Das Unternehmen präsentiert die neue Lösung für die digitale Pflegedokumentation auf der diesjährigen DMEA (21. bis 23. April in Berlin). Das Angebot richtet sich an Einrichtungen, die das Krankenhausinformationssystem iMedOne nutzen. Mit der neuen KI-Lösung für die Pflegedokumentation können Pflegekräfte Informationen zur Behandlung direkt am Patientenbett per Spracheingabe in ein iPad erfassen. Die diktierten Inhalte werden automatisch in strukturierte Pflegeberichte umgewandelt. Nach Unternehmensangaben erfolgt die Verarbeitung in der souveränen T Cloud Public in deutschen Rechenzentren. Pflegedokumentation vor Ort Das System soll pflegespezifische Fachsprache erkennen und internationale Mitarbeitende durch automatische Korrekturen bei Grammatik und Terminologie unterstützen. Die Dokumentation kann unmittelbar nach der Leistungserbringung erfolgen, ohne zusätzlichen Wechsel an einen stationären PC-Arbeitsplatz. Während des Diktats werden die erfassten Angaben in iMedOne Mobile angezeigt und können direkt überprüft und angepasst werden. Anschließend erstellt die Anwendung aus den finalen Informationen einen strukturierten Bericht, der nach Validierung durch die Pflegekraft im Krankenhausinformationssystem gespeichert wird. Sicherheit gewährleistet Nach Angaben der Telekom werden die Daten verschlüsselt übertragen, ausschließlich im Arbeitsspeicher verarbeitet und nach Abschluss des Berichts gelöscht. Die technische Architektur umfasst demnach Datenlokalität in deutschen Rechenzentren, ein Gateway für medizinische Spracherkennung und skalierbare Rechenressourcen. Aus Sicht des Unternehmens kann die KI in der Pflegedokumentation dazu beitragen, Pflegekräfte zu entlasten, die Dokumentationsqualität zu verbessern und revisionssichere Nachweise zu erleichtern. Darüber hinaus soll die Lösung Risiken bei Prüfungen und Qualitätskontrollen des Medizinischen Dienstes reduzieren.
[…]
Joint Venture für sichere Vernetzung von Gesundheitsdaten

Die sichere Vernetzung von Gesundheitsdaten steht im Fokus eines jetzt angekündigten Joint Ventures zwischen der Charité und Schwarz Digits.
[…]
Chatbots in der Medizin

Chatbots kommen immer häufiger in der Medizin zum Einsatz. So hat zuletzt Ankündigung von ChatGPT Health für Aufsehen gesorgt. Bislang ist dieser Bereich im ChatGPT-System, bei dem Anwenderinnen und Anwender medizinische Unterlagen oder die Daten aus Ihren Gesundheits- und Fitness-Apps hochladen können, um personalisierte Gesundheitsauskünfte zu erhalten, noch nicht in Deutschland verfügbar. Wir haben über die Entwicklung mit Dr. med. Michael Stephan-Odenthal gesprochen. Er ist ärztlicher Leiter der Uro-GmbH Nordrhein, die seit rund einem Jahr einen eigenen Chatbot anbietet. Redaktion: Was müsste geschehen, damit eine Option wie ChatGPT Health auch hierzulande eingesetzt werden könnte? Stephan-Odenthal: Es müsste transparent dargestellt werden, auf welche Quellen die Einschätzung von ChatGPT zurückgreift. Diese Quellen müssten den Anfragenden klar und deutlich mitgeteilt werden, sodass diese bei einer weiteren Beratung in der ärztlichen Praxis gegebenenfalls auf die Quellen verweisen können. Redaktion: Sie bieten bereits seit einem Jahr sehr erfolgreich mit UroBert einen Chatbot für Patienten an, der auf ChatGPT basiert. Wie funktioniert er? Was ist der Unterschied zu ChatGPT Health? Stephan-Odenthal: Der UroBert soll anonym eine Ersteinschätzung zu den genannten Problemen und Symptomen geben. Er verweist am Ende immer auf unser Praxisnetzwerk in Nordrhein, wo alle Patientinnen und Patienten fachlich zuverlässigen urologischen Rat von einer realen Person bekommen. Wir erhoffen uns davon eine gewisse Filterfunktion, die Patientinnen und Patienten auch klar machen soll, wie dringlich oder weniger dringlich ihr Problem ist, damit anschließend in einer Praxis ein entsprechender Termin gewählt werden kann – denn nicht alle benötigen sofort einen Termin. Dr. med. Michael Stephan-Odenthal ist ärztlicher Leiter der Uro-GmbH Nordrhein – ein ärztlicher Zusammenschluss, der rund 300 niedergelassene Urologinnen und Urologen vertritt. Redaktion: Was sind die Stärken von UroBert? In welchem Bereich würden Sie gerne noch nachjustieren? Stephan-Odenthal: Die Stärke liegt vor allen darin, dass er zur Beantwortung, wie bei LLM üblich, in sehr kurzer Zeit auf große Datensätze zurückgreift. Der UroBert ist außerdem so programmiert, dass er Patientinnen und Patienten beruhigen soll und in Verknüpfung mit unserem Praxisnetzwerk gleich den richtigen Behandler oder die richtige Behandlerin in der Umgebung findet. Redaktion: OpenAI versichert zwar, dass die Daten sicher sind, aber Datenschutzexperten melden Zweifel an. Wie bewerten Sie die Entwicklung? Stephan-Odenthal: Der Datenschutz ist sicherlich ein ganz wichtiger Aspekt, da Gesundheitsdaten äußerst sensibel sind. Der zweite wichtige Aspekt ist die Verantwortlichkeit. Wer ist am Ende verantwortlich für die Qualität und die Sicherheit der von ChatGPT gegebenen Antwort? Bei unserem urologischen Chatbot wird die Verantwortlichkeit am Ende einer Beratung immer an unser Netzwerk, bestehend aus mehr als 300 Urologinnen und Urologen delegiert. Die KI wird immer nur so gut sein wie die Datensätze, an denen sie trainiert wurde. Deshalb ist es wichtig, diese Datensätze transparent darzustellenMichael Stephan-Odenthal Redaktion: Welche Gefahren sehen Sie bei künstlicher Intelligenz im Gesundheitswesen? Was ist aus Ihrer Sicht zu vermeiden? Stephan-Odenthal: Die KI wird immer nur so gut sein wie die Datensätze, an denen sie trainiert wurde. Deshalb ist es wichtig, diese Datensätze transparent darzustellen. Nur so kann deren Validität nachvollzogen werden. Das bedeutet auch, die KI darf niemals als allwissend dargestellt werden, denn sie kann niemals ein Ergebnis liefern, das über den Stand der Wissenschaft hinausgeht. Redaktion: Welche Rolle wird künstliche Intelligenz Ihrer Meinung nach im Gesundheitswesen spielen? Inwiefern kann sie zur Entlastung des Systems beitragen? Stephan-Odenthal: KI wird eine zunehmende Rolle im Gesundheitssystem einnehmen, da wir in Zukunft mit einer immer weiter steigenden Zahl an medizinischem Bedarf konfrontiert werden. Diese Nachfrage kann jetzt schon nicht mehr mit den vorhandenen humanen Ressourcen abgearbeitet werden. Wir brauchen die KI als Ergänzung zur Ersteinschätzung von Beschwerden und für die Lenkung von Patientinnen und Patienten im Gesundheitssystem. Das ist UroBertDer Chatbot UroBert der Uro-GmbH Nordrhein beantwortet anonym Fragen rund um urologische Vorsorge und schambehaftete Themen. Er bietet eine niedrigschwellige digitale Anlaufstelle für Menschen, die sich bei Beschwerden im Intimbereich, zu sexueller Gesundheit oder Vorsorge unsicher fühlen.Technisch basiert UroBert auf ChatGPT und wurde fachlich von Urologinnen und Urologen geprüft. Bislang wurde das Angebot rund 5000 Mal genutzt. Der Chatbot ersetzt keinen Arztbesuch, sondern soll Hemmschwellen abbauen und zur richtigen Einschätzung von Symptomen beitragen.Seit einem Jahr ist UroBert im Einsatz und wurde nun um weitere Sprachen erweitert – darunter Arabisch, Französisch, Spanisch, Türkisch und Ukrainisch – um noch mehr Menschen zu erreichen.
[…]

Impressum
Datenschutz
AGB
Mediadaten 2026
Privatsphäre-Einstellungen ändern

X

Tag Fraunhofer IGB

Wie sicher sind KI-Chatbots im klinischen Alltag?

Mit Telemedizin gegen unerfüllten Kinderwunsch

Virtual-Realtiy-Training für hochkritische Thoraxeingriffe

Telekom bringt KI in die Pflegedokumentation

Joint Venture für sichere Vernetzung von Gesundheitsdaten

Chatbots in der Medizin