22. April 2024 | Large Language Models (LLMs) in der Forschung
„Natürliche“ Unterhaltung mit einem Sprachmodell
Herausforderung für die KI und ein Rateteam
In der Sendung „Drei gegen einen – Die Show der Champions“ (20.04.2024, RTL) wurde ein LLM in einer Spielrunde auf die Probe gestellt. Sophie Jentzsch und Oliver Bensch vom DLR-Institut für Softwaretechnologie haben die KI für ihren Einsatz in der Rate-Show vorbereitet und betreut. Die Sprachausgabe für die Antworten hat ein Roboter übernommen. Es ging darum, wer in einzelnen Themengebieten mehr weiß: Das Rateteam aus drei Personen oder die KI, beziehungsweise das Large Language Model (LLM).
Credit:
RTL
Das DLR-Institut für Softwaretechnologie forscht an und mit Large Language Models (LLMs).
LLMs können Informationen zusammenfassen und neue Texte erstellen, aber nicht immer liegen sie richtig.
„Ein Large Language Model ist ein Modell für maschinelles Lernen, das darauf trainiert ist, natürliche Sprache zu verstehen und zu generieren.“ So lautet ein Teil der Antwort von ChatGPT auf die Frage, was ein Large Language Model (LLM), also ein „großes Sprachmodell“ ist. ChatGPT selbst zählt auch dazu. LLMs nutzen eine riesige Menge an Daten, aus denen sie Antworten erzeugen. Ihre Fähigkeiten haben sich in letzter Zeit durch neue KI-Technologien stark verbessert. LLMs sind Gegenstand der Forschung am Deutschen Zentrum für Luft- und Raumfahrt (DLR).
„Large Language Models können inzwischen auch unterschwellig Informationen wahrnehmen. Sie interagieren wie in einem Gespräch und berücksichtigen Informationen aus dem Gesprächsverlauf. LLMs sind in der Lage, Informationen zusammenzufassen, neue Texte in allen Formen zu erstellen und sogar Programmcode zu schreiben“, erklärt Sophie Jentzsch vom DLR-Institut für Softwaretechnologie. Die Wissenschaftlerin arbeitet im Bereich Intelligente und verteilte Systeme. „Dennoch gibt es Pannen und Einschränkungen, zum Beispiel faktisch falsche Informationen, die als gültig dargestellt werden.“ LLMs sind nicht fehlerfrei.
LLMs haben ein „Verständnis“ für Sprache
Ein LLM nutzt Texte als Trainingsmaterial und entwickelt so ein „Verständnis“ für Sprache. Die Basis für dieses Verständnis ist ein neuronales Netzwerk. Ein Machine-Learning-Algorithmus erkennt Strukturen und Muster in Texten und formt aus den Trainingsdaten ein Modell. Dieses LLM kann dann angemessene Antworten erzeugen. Dazu müssen die Trainingsdaten gut sein. Außerdem müssen der Trainingsdatensatz und die Fragen zusammenpassen. Sonst kann es passieren, dass das LLM „halluziniert“: „Das heißt, die Antwort klingt im Prinzip gut, ist aber nicht richtig. Deswegen forschen wir daran, wie diese Systeme besser werden“, erklärt Oliver Bensch, Wissenschaftler im Bereich Intelligente und verteilte Systeme. „In der Luft- und Raumfahrt geht es darum, dass Systeme verlässlich arbeiten. Wenn wir eine Frage stellen, wollen wir eine korrekte Antwort – und nicht eine zu 80 oder 90 Prozent korrekte Antwort.“
KI ist (noch) weit entfernt von menschlicher Intelligenz
Das DLR-Institut für Softwaretechnologie untersucht auch, wie Sprachmodelle und ihre Fähigkeit zur Interaktion dazu verwendet werden können, auf Daten zuzugreifen. Bei neuen Forschungsthemen könnte ein Sprachmodell zum Beispiel in kurzer Zeit riesige Textdatenmengen durchforsten und anschließend in natürlicher Sprache eine Antwort liefern. Sprachmodelle „googeln“ übrigens keine Antworten. Sie werden mit Textsammlungen trainiert. Wenn die Textsammlung nicht aktuell ist, ist die Antwort auf eine Frage nach einem aktuellen Ereignis sehr wahrscheinlich falsch.
LLM sind eine Form von KI. Intelligenz, neuronale Netze, Verständnis, Lernen – alles Begriffe, die auch mit Menschen verbunden sind. „Die Analogien beschreiben das Verhalten des Systems gut, aber sie können auch irreführend sein. LLM sind bei weitem nicht auf menschlichem Niveau. Ob eine KI das jemals erreichen kann, ist aus unserer Sicht aktuell eher eine philosophische Frage“, sagt Sophie Jentzsch.
