Tutorials

Databricks mit GitHub Repositories integrieren: Die vollständige Anleitung

Melden

Die Integration von Databricks mit GitHub ermöglicht professionelle Software-Entwicklungsmethoden in Ihren Data-Science- und Data-Engineering-Projekten. Mit dieser Verbindung nutzen Sie Versionskontrolle, Branching, Code-Reviews und CI/CD-Pipelines direkt aus der Databricks-Oberfläche.

Diese Schritt-für-Schritt-Anleitung führt Sie durch den gesamten Prozess – von der Token-Erstellung bis zum täglichen Workflow.

Voraussetzungen

  • Ein aktives Databricks-Konto mit Zugriff auf einen Workspace.
  • Ein GitHub-Konto.
  • Ein bestehendes GitHub-Repository (öffentlich oder privat) oder die Berechtigung, eines zu erstellen.

Schritt 1: GitHub Personal Access Token (PAT) erstellen

Databricks verwendet einen GitHub Personal Access Token (PAT) zur Authentifizierung (Passwörter werden aus Sicherheitsgründen nicht mehr unterstützt).

  1. Loggen Sie sich bei GitHub ein.
  2. Klicken Sie oben rechts auf Ihr Profilbild und wählen Sie Settings.
  3. Scrollen Sie im linken Menü ganz nach unten und klicken Sie auf Developer settings.
  4. Wählen Sie Personal access tokens > Tokens (classic). (Hinweis: Databricks unterstützt auch Fine-Grained Tokens, aber Classic Tokens sind für den Einstieg am unkompliziertesten).
  5. Klicken Sie auf Generate new token > Generate new token (classic).
  6. Konfigurieren Sie den Token:
    • Note: Vergeben Sie einen eindeutigen Namen (z. B. Databricks-Integration).
    • Expiration: Wählen Sie eine Gültigkeitsdauer (z. B. 90 Tage oder benutzerdefiniert gemäß Ihrer Firmenrichtlinie).
    • Select scopes: Setzen Sie einen Haken bei repo (Dies gewährt vollen Zugriff auf private und öffentliche Repositories).
  7. Scrollen Sie nach unten und klicken Sie auf Generate token.
  8. Wichtig: Kopieren Sie den generierten Token sofort und speichern Sie ihn sicher zwischen (z. B. im Passwortmanager). Sobald Sie die Seite verlassen, können Sie den Token nicht mehr einsehen!

Schritt 2: Git-Anmeldedaten in Databricks hinterlegen

Nun verknüpfen Sie den erstellten Token mit Ihrem Databricks-Benutzerprofil.

  1. Öffnen Sie Ihren Databricks Workspace.
  2. Klicken Sie oben rechts auf Ihre E-Mail-Adresse / Ihr Profil und wählen Sie Settings (Benutzereinstellungen).
  3. Navigieren Sie in der linken Seitenleiste zum Bereich Linked accounts (oder direkt Git integration).
  4. Wählen Sie den Tab Git integration:
    • Git provider: Wählen Sie GitHub.
    • Git provider username or email: Tragen Sie Ihren GitHub-Benutzernamen ein.
    • Personal access token: Fügen Sie den im 1. Schritt kopierten GitHub-Token ein.
  5. Klicken Sie auf Save.

Ihre Databricks-Umgebung ist nun autorisiert, mit GitHub zu kommunizieren.

Schritt 3: GitHub Repository in Databricks klonen

Nachdem die Verbindung steht, können Sie Ihr Repository in Databricks importieren:

  1. Navigieren Sie in der linken Hauptnavigation von Databricks zu Workspace.
  2. Gehen Sie in den Ordner Repos (in neueren UIs oft direkt unter Workspace > Users > Ihr Name).
  3. Klicken Sie auf Add > Git repo (oder den Button Add Repo).
  4. Es öffnet sich ein Dialogfenster:
    • Git repository URL: Fügen Sie die HTTPS-URL Ihres GitHub-Repositories ein (z. B. https://github.com/IhrUsername/Ihr-Repo.git).
    • Git provider: Sollte automatisch auf GitHub gesetzt werden.
    • Repository name: Wird automatisch anhand der URL ausgefüllt (kann angepasst werden).
  5. Klicken Sie auf Create Repo.

Databricks klont nun das Repository. Sie finden dort alle Notebooks, Python-Dateien (.py) und sonstige Projektdateien wieder.

Schritt 4: Der tägliche Workflow (Branching, Commit & Push)

Databricks bietet eine intuitive Benutzeroberfläche für die gängigsten Git-Befehle.

1. Einen neuen Branch erstellen

  • Öffnen Sie Ihr geklontes Repo in Databricks.
  • Klicken Sie oben links neben dem Repo-Namen auf den aktuellen Branch (standardmäßig meist main).
  • Klicken Sie im Dialogfeld auf Create Branch, geben Sie einen Namen ein (z. B. feature/daten-bereinigung) und bestätigen Sie.

2. Änderungen vornehmen

  • Erstellen oder bearbeiten Sie Notebooks und Skripte wie gewohnt in Databricks.
  • Databricks erkennt Änderungen an Dateien automatisch.

3. Änderungen committen und pushen

  • Klicken Sie oben links erneut auf die Branch-Anzeige, um das Git-Menü zu öffnen.
  • Im Reiter Changes sehen Sie alle geänderten und neuen Dateien.
  • Geben Sie eine aussagekräftige Commit-Nachricht ein.
  • Klicken Sie auf Commit & Push. Die Änderungen werden direkt in Ihr GitHub-Repository übertragen.

4. Änderungen von GitHub abrufen (Pull)

  • Wenn Kollegen Änderungen gepusht haben, öffnen Sie das Git-Menü im Repo.
  • Klicken Sie auf Pull, um die neuesten Änderungen in Ihren Databricks-Workspace zu laden.

Best Practices & Wichtige Hinweise

  • Keine Zugangsdaten im Code committen: Speichern Sie Passwörter, API-Keys oder Datenbankzugriffe niemals im Klartext in Ihren Notebooks. Nutzen Sie stattdessen die Databricks Secrets CLI oder verknüpfte Key Vaults.
  • Dateiformate beachten: Databricks speichert Notebooks im Git-Repo meist als Source-Dateien (z. B. .py mit speziellen Header-Kommentaren wie # COMMAND ----------). Dies sorgt für saubere Diffs auf GitHub.
  • Nutzung von .gitignore: Fügen Sie eine .gitignore-Datei in Ihr Repository ein, um temporäre Dateien, Cache-Ordner (__pycache__/) oder lokale Konfigurationen von der Versionskontrolle auszuschließen.
  • Token-Ablauf überwachen: Sobald Ihr GitHub Personal Access Token abläuft, schlagen Git-Operationen in Databricks fehl. Erneuern Sie den Token rechtzeitig in GitHub und aktualisieren Sie ihn in den Databricks-Einstellungen (Schritt 2).
0