Ein neues Foundation Model für die gastrointestinale Endoskopie soll aus Bilddaten verschiedener Einrichtungen lernen können, ohne dass diese zentral zusammengeführt werden müssen. FedFound wurde für Klassifikation, Detektion und Segmentierung getestet und könnte damit einen Weg zu datenschutzfreundlicheren KI-Modellen in der Endoskopie zeigen.
Für leistungsfähige KI-Systeme in der medizinischen Bildgebung werden große und möglichst vielfältige Datensätze benötigt. Gerade in Kliniken lassen sich solche Bildarchive jedoch aus Datenschutz-, Sicherheits- und Infrastrukturgründen nicht beliebig zusammenführen. Forschende der West Virginia University, Rowan University und University of Aberdeen haben deshalb mit FedFound ein Foundation Model für gastrointestinale Endoskopiebilder entwickelt, das nach dem Prinzip des Federated Learning trainiert werden kann. Dabei verbleiben die Bilddaten an ihrem jeweiligen Standort. Ausgetauscht und zusammengeführt werden lediglich Aktualisierungen des Modells.
Training ohne zentrale Bildsammlung
Foundation Models werden zunächst mit großen Datenmengen vortrainiert und sollen dabei allgemeine visuelle Strukturen lernen. Anschließend können sie mit vergleichsweise kleineren gekennzeichneten Datensätzen für konkrete Aufgaben angepasst werden. Für FedFound nutzten die Forschenden beim Vortraining unter anderem die öffentlichen Datensätze HyperKvasir und Kvasir-Capsule. In die Vortrainingsauswahl flossen rund 88.000 Bilder aus HyperKvasir und knapp 38.000 Bilder aus Kvasir-Capsule ein. Die Datensätze unterscheiden sich unter anderem hinsichtlich Aufnahmeverfahren, Bildauflösung und dargestellten Bereichen des Gastrointestinaltrakts. Die Bilder wurden auf mehrere virtuelle Teilnehmer verteilt. Damit simulierte das Team sowohl relativ gleichartige Datenverteilungen als auch Situationen, in denen einzelne Einrichtungen unterschiedliche Bildarten und Patientenkollektive besitzen. Verglichen wurden mehrere etablierte Verfahren des Federated Learning. Dabei zeigte insbesondere das klassische FedAvg-Verfahren robuste Ergebnisse. Nach dem Vortraining wurde das Foundation Model auf unterschiedliche klinisch relevante Bildanalyseaufgaben angepasst. Dazu gehörte zunächst die Klassifikation endoskopischer Aufnahmen. Als Datensatz diente Gastrovision mit 8.000 Bildern aus 27 Klassen, darunter anatomische Strukturen, pathologische Befunde, Aufnahmen nach Polypenentfernung und Normalbefunde. Zusätzlich wurde FedFound für die Erkennung und Segmentierung krankhafter Veränderungen getestet. Dafür nutzte das Forschungsteam den EDD2020-Datensatz mit markierten Läsionen aus mehreren europäischen Kliniken. Über die drei Aufgaben Klassifikation, Detektion und Segmentierung hinweg erzielten die föderiert vortrainierten Modelle konsistente Leistungsverbesserungen gegenüber Modellen, die nur auf kleineren lokalen Datenbeständen trainiert wurden. Das zentral mit allen verfügbaren Daten trainierte Referenzmodell blieb in mehreren Vergleichen allerdings leistungsfähiger.
Mehr Daten helfen – auch ohne Datenaustausch
Der zentrale Vorteil des Ansatzes liegt darin, dass Einrichtungen gemeinsam ein leistungsfähigeres Ausgangsmodell aufbauen könnten, ohne ihre Endoskopiebilder an einen gemeinsamen Speicher übertragen zu müssen. Das ist insbesondere für Foundation Models relevant. Ihr Nutzen steigt typischerweise mit Umfang und Vielfalt der Trainingsdaten – genau diese Daten lassen sich im Gesundheitswesen aber häufig nicht zentralisieren. FedFound soll deshalb einen Mittelweg ermöglichen: Die Daten bleiben lokal, während das gemeinsame Modell Informationen aus mehreren Datenquellen aufnimmt. Die Autoren haben die vortrainierten Modelle zudem öffentlich bereitgestellt. Die veröffentlichten Modellgewichte enthalten nach Angaben des Projektteams keine Patientenbilder, Beschriftungen oder klinischen Metadaten.
Bisher kein Test im Klinikverbund
Trotz des praxisnahen Ansatzes ist FedFound noch kein klinisch validiertes System. Die föderierten Teilnehmer waren in der Studie simuliert; ein tatsächliches Training über die IT-Infrastrukturen mehrerer Krankenhäuser hinweg wurde nicht untersucht. Auch lässt sich aus den bisherigen Ergebnissen nicht ableiten, dass Federated Learning grundsätzlich bessere Modelle erzeugt als ein zentrales Training. Ein Teil des Leistungsgewinns gegenüber lokal trainierten Modellen ist darauf zurückzuführen, dass dem gemeinsamen Modell insgesamt deutlich mehr und vielfältigere Daten zur Verfügung standen.
