Der DataFinder ist eine leichtgewichtige Anwendungssoftware zur Verwaltung technisch-wissenschaftlicher Daten. Er wurde entwickelt, um große Datenmengen zu verwalten und ermöglicht die Speicherung von Daten über eine Reihe verschiedener Speicher-Schnittstellen (z.B. WebDAV, FTP, GridFTP, OpenAFS oder TSM). Die Struktur der Daten und beschreibende Metadaten werden in XML-Format auf einem zentralen Server gespeichert und können über das standardisierte Protokoll WebDAV bearbeitet werden.
Der DataFinder besitzt folgende Hauptfunktionalitäten:
Die Verwaltung der Datenstrukturen an einer zentralen Stelle und die Beschreibung der Daten mit standardisierter Meta-Information erleichtern das Auffinden von Daten wesentlich und vermeiden damit Doppelarbeit. Auch kann ein Anwender Teilergebnisse oder Eingabedaten anderer Berechnungen, die schon auf Servern vorhanden sind, für seine aktuelle Arbeit nutzen, ohne die gleichen Daten noch einmal erzeugen zu müssen. Das flexible Metadaten-Konzept erlaubt dem Anwender ferner, die auf den Servern vorhandenen Daten mit zusätzlicher Meta-Information zu versehen.
Eine Datenmanagement-Lösung mit dem DataFinder setzt serverseitig auf offene und flexible Standards wie das WebDAV-Protokoll und bleibt dadurch leicht erweiterbar und flexibel. Aktuell unterstützte WebDAV-Server sind zum einen der Tamino XML Server der Software AG als kommerzielle Lösung und der aus einem Open-Source-Projekt hervorgegangene WebDAV-Server Catacomb. Diese Server erlauben serverseitige Suche sowie die automatische Versionisierung von Dokumenten und Daten.
DataFinder für Datenmanagement im Grid
Der DataFinder kann als allgemeines einfach zu benutzendes Tool für wissenschaftliches Datenmanagement in Grids und Clouds eingesetzt werden. Er wurde im Rahmen des D-Grid Integrationsprojekts (DGI) um Schnittstellen zu Grid-Ressourcen (z.B. GridFTP und SRB) erweitert und wird im D-Grid-Projekt AeroGrid um Schnittstellen zu UNICORE 6 erweitert und als Benutzerschnittstelle für die Durchführung komplexer Simulationen im Grid eingesetzt.
Verfügbarkeit
Der DataFinder ist als Open-Source-Software unter der BSD-Lizenz verfügbar. Erweiterte und angepasste Versionen des DataFinder können auf Anfrage entwickelt bzw. bereitgestellt werden.
Links