Erneut unterwegs

Mit dem Fahrrad entlang des früheren Eisernen Vorhangs unterwegs
Mit dem Fahrrad entlang des früheren Eisernen Vorhangs unterwegs

Im letzten Jahr hatten wir unsere Tour von Helsinki nach Sopron für 14 Tage unterbrochen, um zum einen zur Hochzeit eines befreundeten Paares zu fahren und zum anderen, um an einer Sommerschule zum Thema unseres Projektes teilzunehmen.

Diese 14 Tage fehlten uns jedoch am Ende des Projektes, um  die geplante Strecke komplett erfolgreich zu befahren.

Aus diesem Grund haben wir uns entschieden, das fehlende Teilstück zwischen Wittenberge und Szczecin in diesem Jahr zu befahren und damit unser Projekt abzuschließen.

Ab dem 14.07.2015 sind wir deshalb wieder entlang des Eisernen Vorhang Radweges unterwegs. Während unserer Fahrt werden wir — wie im letzten Jahr — die Bewohner des ehemaligen Grenzgebietes nach ihren persönlichen Erfahrungen mit der Grenze befragen.

Datenrettung weitestgehend erfolgreich

Nach mehrmonatigen Arbeiten an der Rettung des Datenbestandes zeichnet sich langsam aber sicher ab, dass weitgehend alle Bilder, Video– und Audioaufnahmen der letzten Jahre gesi­chert werden konnten. Derzeit haben wir zwar noch die Sichtung einiger Terabyte an redun­danten und korrupten Daten vor uns, ein großer Teil der alten Daten liegt jedoch schon wieder in strukturierter Form vor.

Damit sollten wir in der Lage sein, das Projekt mit einer Verzögerung von nunmehr mehr als neun Monaten abzuschließen.

Datenkorruption und keine Ende in Sicht

Nach den erfolgreichen Testläufen mit dem neuen Speichersystem begannen die ersten Ansätze zum Auslesen der Daten aus den defekten RAID-Konfigurationen sehr vielversprechend.

Die Konfiguration der defekten Festplattenverbünde wurde von der eingesetzten Software gefunden und nach einigen Tagen Analysezeit wurden von selbiger Software auch kopier- und damit rettbare Nutzdaten angezeigt. Einige weitere Tage später war auch der erste Kopiervorgang von „defekt“ auf „neu“ abgeschlossen. Eine erste grobe manuelle Durchsicht zeigte bei Stichproben keine Auffälligkeiten in Bezug auf Vollständigkeit der Daten und deren Qualität.

Zur Sicherheit wiederholten wir den gesamten Vorgang des Auslesen der RAID-Konfiguration sowie des Kopierens der anschließend gefundenen Daten noch einmal mit Hilfe einer zweiten Software. Im Anschluss daran verglichen wir die von Software 1 rekonstruierten mit den von Software 2 geretteten Daten auf Bit-genaue Übereinstimmung. Weniger zu unserer Überraschung als vielmehr zu unserer Enttäuschung unterschieden sich die Datensätze doch sehr erheblich. Sowohl in Bezug auf die Anzahl der gefundenen und kopierten Dateien als auch in Bezug auf deren jeweilige Größe. Stichproben zeigten aber auch bei diesem zweiten Datensatz auf den ersten Blick keine Auffälligkeiten in Bezug auf Vollständigkeit und Qualität der Daten.

Aus diesem Grunde entschlossen wir uns zum Einsatz einer dritten Software zum Retten unserer Daten von den defekten RAID-Konfigurationen. Das Ergebnis: Ein dritter, von Datensatz 1 und 2 verschiedener Satz an Dateien. Viel Freude hat dieser Fakt bei uns nicht verbreitet.

Beim direkten Vergleich der nunmehr drei Datensätze fiel uns dann ein Umstand auf, der uns an der Qualität der Datenrettungsprogramme zweifeln läßt: Bei einer Vielzahl der geretteten Bilddateien stimmen sowohl die EXIF-Daten als auch die Dateinamen nicht mehr. So hat zum Beispiel ein Bild vom 01.01.2014 statt eines entsprechenden Dateinamens und entsprechender Aufnahmedaten in den EXIF-Feldern der Datei nunmehr einen Dateinamen der eine Entstehung des Bildes zum Beispiel am 01.07.2014 nahelegt, sowie EXIF-Angaben, nach denen das Bild zum Beispiel am 30.10.2013 statt mit Kamera X mit Kamera Y erstellt worden sein soll. Nach umfangreichem Vergleich lassen sich diese Fehler in allen drei Datensätzen feststellen. Es sind jedoch unterschiedliche Dateien von diesen Fehlern betroffen. Das Bild dieser Art der Datenkorruption sieht abstrahiert wie folgt aus:

Schema der Datenkorruption bei unterschiedlichen Datenrettungsprogrammen
  Software 1Software 2Software 3
Bild 1gefunden & kopiertjajanein
Dateinamekorrektfalsch
EXIF-Datenfalschfalsch
Bild 2gefunden & kopiertjaneinja
Dateinamefalschkorrekt
EXIF-Datenkorrektfalsch
Bild 3gefunden & kopiertneinjaja
Dateinamekorrektfalsch
EXIF-Datenkorrektfalsch
Bild 4gefunden & kopiertjajaja
Dateinamefalschkorrektfalsch
EXIF-Datenkorrektkorrektfalsch

Die Konsequenz aus diesen drei Rettungsversuchen mit ihren jeweils unterschiedlichen Ergebnissen: Nach einem automatischen Zusammenführen der drei Datensätze müssen alle in diesem neuen Datensatz enthaltenen Daten weitestgehend manuell auf Vollständigkeit und Korrektheit geprüft werden. Und das nimmt leider sehr viel Zeit in Anspruch…

Dies bedeutet wiederum, dass wir uns zur Nachbearbeitung des Grenzland-Projektes nach dem gegenwärtigen Stand der Dinge eine neue Arbeitsplattform besorgen müssen, da die bestehende durch den notwendigen Sichtungs- und  Validierungsprozess der Altdaten auf unabsehbar lange Zeit blockiert sein wird.

Sobald ein diesbezüglicher Zeithorizont sichtbar wird, geben wir an dieser Stelle darüber Auskunft.

Ein neues Speichersystem

Auf Basis der Erfahrung der letzten Jahre als auch in Hinblick auf die Art und Weise des Ausfalls des bis dahin wichtigsten Teils unserer bisherigen Speicherlösungen vor ein paar Wochen haben wir uns für die Beschaffung eines neuen NAS (Network Attached Storage) als neuen Datenspeicher entschieden.

Das Gerät wird in der Anfangskonfiguration um die 24 TerryByte Speicherkapazität (netto) haben und sollte damit gerade groß genug sein, um die Daten aus unseren fehlerhaften Festplattenverbünden (RAID) aufzunehmen.

Wenn es klappt, so wird das Gerät kurz vor den Feiertagen geliefert und wir können es während des Jahreswechsels ausgiebig und in Ruhe testen. Mit Beginn des neues Jahres sollten wir dann so weit sein, die Daten aus den defekten Speichern auszulesen und auf das neue System zu übertragen.

Ab Anfang Februar 2015 sollten wir — sofern die Datenrettung erfolgreich ist — dann wieder zu dem Arbeitsstand zurückkehren können, an welchem wir vor dem unerwarteten Technikausfall waren.

Datensicherung

Langsam, ganz langsam lichtet sich der Nebel um den Ausfall unserer Datensicherungssysteme. Wenn wir ganz viel Glück haben und in den letzten Tagen keinen Fehler bei der Analyse und Planung gemacht haben, so sollten sich unsere Photos, Video- und Audioaufnahmen aus den letzten 5 Jahren retten lassen.

Sowohl in dem ausgefallenen Hauptsystem als auch im System für die Sicherungskopien sind mehr Festplatten technisch fehlerfrei als für eine Datenrettung zwingend benötigt werden. Dies lässt uns hoffen, mit geeigneter Software und ein wenig technischem Sachverstand den Inhalt der fehlerhaften Festplattenverbünde auslesen zu können. Um die Daten zu sichern, benötigen wir jedoch ein neues Speichersystem mit ausreichender Kapazität, auf welches wir die zu rettenden Daten kopieren können. Unser Bestand an Datenspeichern beziehungsweise der freie Speicherplatz auf diesen reicht zumindest nicht aus, um alle Daten aus den defekten Speichern aufzunehmen.

Bevor wir mit der Datensicherung anfangen können müssen wir deshalb zunächst ein neues Speichersystem mit ausreichend hoher Kapazität beschaffen.

Datenhaltung und -verluste

Nur wenige Tage nachdem wir begonnen haben unser umfangreiches Material zu sichten, zu katalogisieren und zu bearbeiten werden wir vor eine besondere Herausforderung gestellt: Sowohl in unserem Hauptarbeitsrechner als auch in unserem Datensicherungssystem fallen nahezu gleichzeitig mehrere Festplattenverbünde (RAID) aus. Ein Zugriff auf die auf diesen Systemen gespeicherten Daten ist vorerst einmal nicht möglich.

Da wir die während der Grenzland-Reise erstellten Bilder, Video- und Tonaufnahmen auf den mobilen Datenträgern jedoch noch nicht gelöscht und mit neuerem Material überschrieben haben, müssen wir zum Glück in Bezug auf dieses Material keinen Datenverlust befürchten. Zumindest solange nicht, wie diese Datenträger nicht kaputt oder verloren gehen.

Aufgrund der Größe der ausgefallen Speicherkapazität können wir in den nächsten Wochen vorerst nicht an der Projektdokumentation arbeiten. Zuerst müssen die auf den ausgefallen Speichersystemen abgelegten Daten wiederhergestellt und auf Konsistenz und Vollständigkeit geprüft werden. Diese Arbeit hat insofern Vorrang, als dass es sich bei den derzeit nicht verfügbaren Daten um den gesamten Bestand an Aufzeichnungen aus den letzten 5 Jahren handelt. Für ältere Daten haben wir dezentral gelagerte Sicherungskopien. Nur die Bilder, Videos, Texte und Audioaufnahmen von den letzten Reisen und Projekten lagen ausschließlich auf den beiden teilweise defekten Speichersystemen.

Und was lernen wir daraus? Eine Sicherungskopie pro Datei reicht offensichtlich nicht aus.

 

die Arbeit beginnt erst jetzt

Mit der Rückkehr zum Ausgangsort unserer Fahrradtour entlang des früheren Eisernen Vorhangs ist das Projekt jedoch noch lange nicht beendet. Im Gegenteil — die mühselige Arbeit beginnt erst jetzt. Mehr als 50 Stunden Videomaterial, mehr als 15 Stunden Tonaufnahmen von Interviews sowie mehr als 5.000 Photos müssen gesichtet, bewertet und für die abschließende Dokumentation des Projektes überarbeitet werden.

Im Vergleich zu dieser sehr zeitintensiven Arbeit wird uns im Rückblick die Zeit auf den Fahrrädern wie Urlaub erscheinen… 😉

Zu der vor uns liegenden Arbeit der nächsten Wochen gehört auch die Überarbeitung dieses Reisetagebuchs. Während der Fahrt war leider nicht genügend Zeit, um sich jeden Tag für eine bis zwei Stunden mit dem Rechner in eine Ecke zu setzen, um die Bilder des Tages zu überarbeiten und einen kleinen Text zu diesen zu schreiben. In aller Regel hatten wir für eine solche Arbeit auch nicht genügend Strom.

Aus diesem Grund wird sich in den nächsten Wochen das Aussehen dieser Webseite in Bezug auf ihre Inhalt stark ändern.

Von Helsinki zum Paneuropäischen Picknick — europäische Geschichte erfahren