Tutorials

Parquet-Dateien in VS Code öffnen wie ein Profi: Der ultimative Guide

Melden

Das Apache-Parquet-Format ist der De-facto-Standard in der modernen Datenverarbeitung (Data Engineering, Data Science). Da es sich jedoch um ein binäres, spaltenorientiertes Format handelt, führt ein normaler Klick in Visual Studio Code meist nur zur Fehlermeldung: „Die Datei wird im Text-Editor nicht angezeigt, da sie entweder binär oder sehr groß ist.“

In diesem Guide erfährst du, wie du Parquet-Dateien direkt in VS Code wie ein Profi öffnest, analysierst und abfragst – ohne externen Viewer und ohne zeitraubende Umwege.

Methode 1: Der schnellste Weg – Die „Parquet Viewer“-Erweiterung

Für die meisten Anwendungsfälle (schnelle Dateninspektion, Schema-Checks) ist eine dedizierte Extension der einfachste Weg.

Schritt-für-Schritt:

  1. Öffne VS Code und gehe in die Extensions-Ansicht (Strg + Umschalt + X bzw. Cmd + Shift + X).
  2. Suche nach „Parquet Viewer“ (sehr beliebt ist die Erweiterung von msoffredi oder Dvirtz).
  3. Klicke auf Installieren.
  4. Klicke nun im Datei-Explorer einfach auf deine .parquet-Datei.

Warum das „Profi-Level“ ist:

  • Pagination: Die Erweiterung lädt standardmäßig nur die ersten Zeilen (z. B. 10–50), was verhindert, dass dein VS Code bei Gigabyte-großen Dateien einfriert.
  • Schema-Ansicht: Du siehst sofort die Datentypen (int64, string, timestamp etc.) jeder Spalte.
  • Sortier- und Filterfunktion: Du kannst direkt in der GUI filtern, ohne Code zu schreiben.

Methode 2: Für Datenanalysten – Microsoft „Data Wrangler“

Wenn du die Datei nicht nur betrachten, sondern auch Ausreißer finden, Statistiken sehen und Daten bereinigen willst, ist Data Wrangler von Microsoft das Werkzeug der Wahl.

Schritt-für-Schritt:

  1. Installiere die Erweiterung „Data Wrangler“ über den Extension-Marktplatz.
  2. Installiere (falls noch nicht vorhanden) die Python- und Jupyter-Erweiterungen.
  3. Klicke im Dateibaum mit der rechten Maustaste auf die .parquet-Datei.
  4. Wähle „Open in Data Wrangler“.

Profi-Features von Data Wrangler:

  • Automatische EDA (Exploratory Data Analysis): Zeigt dir Verteilungsdiagramme (Histogramme), fehlende Werte (NaNs) und Datentypen direkt über den Spalten an.
  • Code-Export: Wenn du Operationen durchführst (z. B. Spalten entfernen oder filtern), generiert Data Wrangler im Hintergrund Pandas- oder Polars-Code, den du direkt in deine Pipeline kopieren kannst.

Methode 3: Für Big-Data-Profis – SQL-Abfragen mit DuckDB

Echte Datenprofis laden oft keine 10 GB große Datei komplett in den Speicher, sondern fragen sie gezielt mit SQL ab. DuckDB ist dafür die beste In-Process-Engine und harmoniert perfekt mit VS Code.

Schritt-für-Schritt:

  1. Installiere die Erweiterung „DuckDB SQL Tools“ oder nutze das integrierte VS-Code-Terminal.
  2. Wenn du DuckDB lokal installiert hast, öffne das Terminal (Strg + ö bzw. Cmd + J) und tippe:
    duckdb
  3. Führe SQL-Queries direkt auf der Datei aus, ohne sie vorher in eine Datenbank importieren zu müssen:
    SELECT * FROM 'pfad/zu/deiner/datei.parquet' LIMIT 5;
  4. Für Aggregationen:
    SELECT kategorie, AVG(preis) 
FROM 'pfad/zu/deiner/datei.parquet' 
GROUP BY kategorie;

Tipp: DuckDB liest dank des Parquet-Formats nur die Spalten von der Festplatte, die du im SELECT anforderst – das spart massiv RAM und Zeit.

Methode 4: Der Programmier-Weg – Polars in einem Jupyter Notebook

Wenn du die Datei programmatisch untersuchen willst, nutze ein Jupyter Notebook direkt in VS Code. Verwende anstelle des älteren Pandas lieber Polars, da es für Parquet optimiert und multithreaded ist.

  1. Erstelle eine Datei namens analyse.ipynb.
  2. Wähle deinen Python-Kernel aus.
  3. Führe folgenden Code aus:
import polars as pl

# Schnelles Einlesen mit Lazy Loading für gigantische Dateien:
datei_pfad = "daten.parquet"

# Nur das Schema prüfen (verbraucht fast 0 RAM)
print(pl.read_parquet_schema(datei_pfad))

# Lazy Frame erstellen (Berechnung erfolgt erst beim Aufruf)
lazy_df = pl.scan_parquet(datei_pfad)

# Nur die ersten 5 Zeilen laden:
df = lazy_df.limit(5).collect()
print(df)

Pro-Tipps für den Umgang mit Parquet in VS Code

  1. Vorsicht bei Remote-SSH: Wenn du über die Remote-SSH-Erweiterung von VS Code auf einem Server arbeitest, vermeide es, riesige Parquet-Dateien mit GUI-Viewern anzuklicken, da VS Code versuchen könnte, den Datenstrom über deine SSH-Leitung zu ziehen. Nutze hier immer Methode 3 (DuckDB CLI) oder Methode 4 (Lazy Loading).
  2. Metadata-Inspektion: Parquet-Dateien enthalten Footer-Metadaten. Werkzeuge wie die Python-Bibliothek fastparquet oder die DuckDB-Funktion parquet_metadata('datei.parquet') verraten dir Row-Groups und Kompressionsarten (z. B. Snappy, ZSTD), ohne die Nutzdaten zu dekomprimieren.
  3. Spaltengrößen anpassen: In den meisten GUI-Extensions kannst du Spalten per Doppelklick auf den Spaltenrand automatisch an die Textlänge anpassen.

Fazit

Vorbei sind die Zeiten, in denen du Parquet-Dateien erst umständlich nach CSV konvertieren musstest, nur um einen Blick hineinzuwerfen:

  • Für den flüchtigen Blick: Nimm eine Parquet Viewer Extension.
  • Für die statistische Vorab-Analyse: Nutze den Microsoft Data Wrangler.
  • Für riesige Datenmengen: Nutze DuckDB per SQL direkt im Terminal.
0