Wie synchronisiere ich Dateien mit nicht-lateinischen Zeichen (Unicode) mit Rsync unter Windows?

1. Hintergrund: Probleme bei Unicode und Rsync unter Windows
2. Wichtige Voraussetzungen und Umgebungen
3. Konkrete Vorgehensweise zur Synchronisation
4. Alternative Ansätze und Tipps
5. Zusammenfassung

Das Synchronisieren von Dateien mit nicht-lateinischen Zeichen in Dateinamen, also solchen, die Unicode-Zeichen enthalten, stellt unter Windows mit Rsync eine besondere Herausforderung dar. Dies liegt vor allem an der Art und Weise, wie Windows und Rsync mit Zeichencodierungen umgehen und wie das Windows-Betriebssystem Dateinamen intern repräsentiert. Im Folgenden wird erläutert, worauf zu achten ist und wie eine erfolgreiche Synchronisation gelingen kann.

Hintergrund: Probleme bei Unicode und Rsync unter Windows

Windows verwendet intern UTF-16LE als Codierung für Dateinamen, während viele Unix-Tools, darunter die native Rsync-Version, meist UTF-8 erwarten oder sogar ASCII-Only. Wenn Rsync unter Windows beispielsweise über Cygwin, MSYS2 oder WSL läuft, können unterschiedlich konfigurierte Umgebungen dazu führen, dass Dateinamen mit nicht-lateinischen Zeichen falsch kodiert werden, was zu Fehlern, kaputten Dateinamen oder dem Nichterkennen von Dateien führt.

Außerdem sind viele Windows-Dateisysteme (wie NTFS) Unicode-fähig, aber Tools, die über eine Emulationsschicht laufen, müssen die Übersetzung der Dateinamen korrekt durchführen, um die Zeichen nicht zu verlieren oder zu verfälschen.

Wichtige Voraussetzungen und Umgebungen

Damit die Synchronisation mit Rsync und Unicode-Dateinamen gelingt, ist es wichtig, die verwendete Rsync-Version und die Laufzeitumgebung zu berücksichtigen. Unter Windows stehen hauptsächlich zwei Möglichkeiten zur Verfügung:

1. Rsync via Cygwin oder MSYS2: Hier läuft Rsync innerhalb einer Linux-ähnlichen Umgebung, die eine Emulation von POSIX-APIs bereitstellt. In solchen Umgebungen sollten die Umgebungsvariablen bezüglich der Locale korrekt gesetzt sein, damit UTF-8-Zeichencodierung verwendet wird. Typischerweise empfiehlt sich das Setzen von LANG, LC_ALL oder LC_CTYPE auf einen Wert wie de_DE.UTF-8 oder en_US.UTF-8. Dadurch wird Rsync mit UTF-8-Unterstützung gestartet.

2. Rsync via WSL (Windows Subsystem for Linux): Hier läuft Rsync in einem echten Linux-Subsystem, das UTF-8 voll unterstützt. Da das Dateisystem NTFS in Windows in WSL automatisiert eingebunden wird und standardmäßig UTF-8 verwendet, treten hier eigentlich keine Probleme bei der Anzeige oder Synchronisation von Unicode-Dateinamen auf.

Konkrete Vorgehensweise zur Synchronisation

Um Unicode-Dateien sicher mit Rsync unter Windows zu synchronisieren, sollten folgende Punkte beachtet werden. Wenn Sie Rsync in Cygwin oder MSYS2 verwenden, müssen Sie sicherstellen, dass Ihre Terminal- und Shell-Umgebung auf UTF-8 konfiguriert ist. Überprüfen Sie dazu, ob Ihre lokalen Einstellungen richtig gesetzt sind, z.B. durch Eingabe des Befehls locale in der Shell.

Falls die Ausgabe nicht auf UTF-8 gesetzt ist, können Sie entweder temporär oder dauerhaft Umgebungsvariablen anpassen, z.B. durch Ausführen von:

Sie können auch in der Windows-Eingabeaufforderung sicherstellen, dass die Konsole auf UTF-8 eingestellt ist, indem Sie den Befehl chcp 65001 ausführen, bevor Sie Rsync starten. Beachten Sie jedoch, dass nicht alle Psuedo-Terminals unter Windows die Codepage 65001 perfekt unterstützen.

Weiterhin ist es hilfreich, die aktuellste Rsync-Version zu nutzen, da ältere Versionen oftmals weniger gut mit Unicode umgehen. Die von DeltaCopy bereitgestellte Windows Rsync-Version oder die aus dem WSL können hier bessere Ergebnisse liefern.

Alternative Ansätze und Tipps

Wenn es weiterhin Probleme gibt, kann es helfen, folgende Maßnahmen zu ergreifen:

Nutzen Sie Rsync innerhalb von WSL, da das Linux-Subsystem eine natürliche UTF-8-Unterstützung bietet und der Umgang mit Unicode dateinamen hier am zuverlässigste ist. Übermounten Sie Ihr Windows-Verzeichnis im WSL und synchronisieren Sie von dort aus.

Vermeiden Sie die Verwendung von Rsync direkt in Windows PowerShell oder der klassischen Eingabeaufforderung, wenn nicht alles UTF-8 korrekt konfiguriert ist.

Verwenden Sie bei Bedarf Rsync-Parameter wie --iconv, um Zeichencodierungen zu konvertieren. Zum Beispiel --iconv=UTF-8-MAC,UTF-8 auf macOS, oder generell --iconv=CP1252,UTF-8 wenn nötig, um Windows-1252 zu UTF-8 zu übersetzen. Allerdings wird --iconv oft nur auf der Linux- oder WSL-Seite zuverlässig unterstützt.

Zusammenfassung

Die Synchronisation von Dateien mit nicht-lateinischen Zeichen unter Windows mit Rsync erfordert vor allem eine korrekte UTF-8-Konfiguration der Umgebung. Die einfachste und zuverlässigste Methode ist dabei die Verwendung von Rsync im Windows Subsystem for Linux. Alternativ kann Rsync auch in Cygwin oder MSYS2 benutzt werden, wenn die Lokalisation korrekt gesetzt ist und die Konsole UTF-8 unterstützt.

Das Achten auf aktuelle Rsync-Versionen, die Verwendung von chcp 65001 in der Windows-Konsole und gegebenenfalls die Nutzung von --iconv-Optionen können helfen, Probleme mit der Zeichencodierung zu beheben. Mit diesen Maßnahmen gelingt es, Dateien mit Unicode-Zeichen in den Dateinamen zuverlässig zu synchronisieren.