KI-Modell für ein besseres Verständnis unserer Erde
Mit TerraMind steht ab sofort ein neues KI-Modell als OpenSource zur Verfügung. Forschende des EOC waren an der Entwicklung beteiligt. Das Modell ist auf Erdbeobachtungsdaten spezialisiert und schlägt in Leistungstests vergleichbare Modelle um mehrere Prozentpunkte, obwohl es weniger Rechenleistung benötigt.
TerraMind kann verschiedene Arten von Daten verstehen und sinnvoll miteinander verknüpfen. Es kann die Pixel von Bildern ebenso analysieren, wie in Einheiten, sogenannte Token, zerlegte Informationen, wie z.B. Wörter oder Wortteile und kann darüber hinaus auch Sequenzen, wie z.B. Zeitreihen verarbeiten. Das macht TerraMind besonders für die Erdbeobachtung nützlich. Mit ihm lassen sich Muster und Korrelationen über unterschiedliche Datentypen und Zeiträume hinweg erkennen. Das Modell nutzt darüber hinaus ein neues Verfahren zur Selbstoptimierung. Der „Thinking-in-Modalities“ (TiM) genannte Ansatz erlaubt TerraMind selbst neue Trainingsdaten aus anderen Datentypen zu erzeugen, um seine Resultate zu verbessern.
TerraMind wurde mit 500 Milliarden Token trainiert: Daten von Satellitensensoren, Daten zur Geomorphologie oder den Oberflächeneigenschaften der Erde (wie z.B. Vegetation und Landnutzung), grundlegenden Orts- und Featurebeschreibungen (wie beispielsweise Breiten-/Längengraden sowie einfachen Textbeschreibungen). TerraMesh, der, im Projekt speziell für das Training erstellte Geodatensatz, ist der größte, verfügbare Trainingsdatensatz seiner Art.
Obwohl TerraMind mit 500 Milliarden Token trainiert wurde, ist es ein kleines, leichtgewichtiges Modell, das zehnmal weniger Rechenleistung benötigt als bisherige Standardmodelle. Dies bedeutet, dass die Benutzer es in großem Maßstab zu geringeren Kosten einsetzen können und zudem gleichzeitig der Gesamtenergieverbrauch reduziert wird.
Das neue Modell wurde mit 12 gängigen Erdbeobachtungsmodellen verglichen, um die Leistung des Modells bei realen Aufgaben wie der Klassifizierung der Bodenbedeckung, der Erkennung von Veränderungen, der Umweltüberwachung und der Multisensor- und multitemporalen Analyse zu messen. Der Test zeigte, dass TerraMind andere Modelle bei diesen Aufgaben um 8 % oder mehr übertraf.
TerraMind wurde im Rahmen der vom DLR-MF geleiteten FAST-EO-Initiative von europäischen Forscherinnen und Forschern entwickelt und mit Hilfe der Expertise des Jülich Supercomputing Centre auf der dortigen Infrastruktur trainiert. Das FAST-EO-Konsortium umfasst DLR, Forschungszentrum Jülich, IBM Research Europe and KP Labs und wird durch das ESA Φ-Lab unterstützt und finanziert. FAST-EO hat das Ziel, den Zugang zu Geo-Foundationmodellen für die Erdbeobachtungsgemeinschaft zu verbessern.
Das Modell wurde daher von IBM und ESA als OpenSource auf Hugging Face veröffentlicht, einer Plattform, die Nutzern erlaubt, Modelle und Datensätze für das maschinelle Lernen zu teilen.
Links