6/2024 -Projektexplanation und Research Updates des DAPHNE-Projekts
Das DAPHNE-Projekt zielt darauf ab, eine offene und erweiterbare Systeminfrastruktur für integrierte Datenanalyse-Pipelines zu definieren und aufzubauen, die Datenmanagement und -verarbeitung, Hochleistungsrechnen (HPC) und maschinelles Lern- (ML) Training und Scoring umfasst. Das Akronym DAPHNE bezieht sich auf den Titel "integrated Data Analysis Pipelines for large-scale data management, High-performance computing, and machiNE learning".
In DAPHNE untersucht das Team des DLR-Instituts für Datenwissenschaft Operationen im Hauptspeicher, im Storage Class Memory (SCM), im Sekundärspeicher (z.B. SSDs) und im Tertiärspeicher (z.B. Tape). Moderne Speichergeräte für transiente und persistente Speicherung bieten Mittel zur datennahen Verarbeitung mit ähnlichen Abstraktionen, die es ermöglichen, unnötige Datenbewegungen entlang der Speicher- und Arbeitsspeicherhierarchien zu vermeiden, um die Leistung zu verbessern und den Energieverbrauch der Datenbewegung zu reduzieren.
Mit einen großen Konsortium internationaler Partner, u.a. Know-Center GmbH, ETH Zürich, TU Dresden, Intel Technology Poland, IT University of Copenhagen in direkter Zusammenarbeit, ist DAPHNE der Grundstein für eine Open-Source-Community für die Entwicklung einer offenen Infrastruktur für integrierte Datenanalyse Pipelines. Die Resultate des Projektes sind über Github in regelmäßigen Releases verfügbar (https://github.com/daphne-eu).
Lesen Sie mehr über das DAPHNE-Projekt auf der Projekthomepageoder hier