Tutorials

Lokale KI-Coding-Umgebung: Schritt-für-Schritt-Guide für Ollama & Open-Source-Code-Assistenten

Melden

Dieser Guide führt dich durch die vollständige Einrichtung eines 100 % lokalen, datenschutzkonformen KI-Coding-Assistenten. Dein Code verlässt zu keinem Zeitpunkt deinen Rechner – keine Cloud, keine API-Kosten und volle Privatsphäre.

Als Kern-Setup nutzen wir Ollama als KI-Engine, moderne Open-Source-Coding-Modelle und integrieren das Ganze über das Open-Source-Tool Continue direkt in Visual Studio Code (oder Cursor/VSCodium).

1. Systemvoraussetzungen (Hardware-Check)

Lokale KI-Modelle benötigen je nach Größe entsprechende Hardware-Ressourcen:

  • Mindestanforderung (für 7B/8B-Modelle):
    • 8–16 GB RAM (oder Unified Memory auf Apple Silicon Macs).
    • NVIDIA-Grafikkarte mit mind. 6 GB VRAM (oder M1/M2/M3/M4 Mac).
  • Empfohlen (für flüssiges Arbeiten & 14B-Modelle):
    • 32 GB RAM.
    • NVIDIA RTX 3060 (12 GB) oder besser bzw. Mac mit mind. 24 GB Unified Memory.

2. Schritt: Ollama installieren

Ollama ist die Basis – es führt die Modelle effizient auf deiner CPU/GPU aus.

  1. Gehe auf die offizielle Website: ollama.com
  2. Lade die Version für dein Betriebssystem (macOS, Windows oder Linux) herunter und installiere sie.
  3. Öffne dein Terminal (oder PowerShell) und teste die Installation:
    ollama --version

3. Schritt: Die besten Coding-Modelle herunterladen

Für ein ideales Coding-Setup benötigst du in der Regel zwei Modelle:

  1. Ein Hauptmodell für Chat, Refactoring und Erklärungen (größer, intelligenter).
  2. Ein Autocomplete-Modell für blitzschnelle Code-Vervollständigungen bei jedem Tastendruck (klein, schnell).

Hauptmodelle (Wähle eines aus):

  • Qwen2.5-Coder (7B oder 14B): Das aktuell stärkste Allround-Modell für Code.
  • DeepSeek-Coder-V2: Exzellent für komplexe Software-Architekturen.

Download im Terminal (Beispiel Qwen2.5-Coder 7B):

ollama run qwen2.5-coder:7b

Autocomplete-Modelle (Wähle eines aus):

Für Tab-Vervollständigungen muss das Modell extrem schnell antworten.

  • Qwen2.5-Coder (1.5B): Sehr schnell und erstaunlich präzise.
  • StarCoder2 (3B): Klassiker für Fill-in-the-Middle (FIM).

Download im Terminal:

ollama run qwen2.5-coder:1.5b

(Hinweis: Sobald der Download fertig ist und ein Chat-Prompt erscheint, kannst du diesen mit /bye wieder verlassen).

4. Schritt: VS Code Extension einrichten

Um die lokale KI wie GitHub Copilot in deinen Editor einzubinden, nutzen wir das Open-Source-Framework Continue.

  1. Öffne Visual Studio Code.
  2. Gehe links auf den Reiter Extensions (Erweiterungen) oder drücke Strg + Shift + X (Mac: Cmd + Shift + X).
  3. Suche nach Continue (von Continue) und klicke auf Installieren.
  4. Nach der Installation erscheint das Continue-Logo in der linken Seitenleiste.

5. Schritt: Continue mit Ollama verbinden

Nun konfigurieren wir Continue so, dass es Ollama als Backend nutzt.

  1. Öffne das Continue-Seitenpanel.
  2. Klicke unten rechts auf das Zahnrad-Symbol (Settings), um die Datei config.json zu öffnen.
  3. Ersetze den Inhalt bzw. passe ihn an folgendes Setup an:
{
  "models": [
    {
      "title": "Local Qwen Coder (7B)",
      "provider": "ollama",
      "model": "qwen2.5-coder:7b"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Local Fast Autocomplete",
    "provider": "ollama",
    "model": "qwen2.5-coder:1.5b"
  }
}
  1. Speichere die Datei (Strg + S / Cmd + S).

6. Der lokale AI-Coding-Workflow in der Praxis

Deine lokale Umgebung ist nun einsatzbereit. Du kannst die KI auf drei Hauptarten nutzen:

A. Inline Code Completion (Tab-Taste)

Tippe einfach Code wie gewohnt. Die KI schlägt dir nach einer kurzen Pause grauen Text vor. Drücke Tab, um den Vorschlag zu übernehmen.

B. Code bearbeiten / generieren (Inline Edit)

  1. Markiere einen Codeblock in deinem Editor.
  2. Drücke Strg + I (Mac: Cmd + I).
  3. Gib deine Anweisung ein (z. B.: "Schreibe Unit-Tests für diese Funktion" oder "Refaktoriere das in TypeScript").
  4. Drücke Enter – du siehst ein Live-Diff, das du annehmen oder ablehnen kannst.

C. Chat & Codebase-Analyse

  1. Drücke Strg + L (Mac: Cmd + L), um den Chat zu öffnen.
  2. Kontext übergeben:
    • Nutze @Files, um gezielt eine Datei als Kontext anzuhängen.
    • Nutze @Codebase, damit die KI dein gesamtes Projekt durchsucht, um Fragen zu beantworten.
    • Nutze @Docs, um Dokumentationen lokaler Frameworks einzubinden.

7. Optimierungs- und Performance-Tipps

  • GPU-Offloading prüfen: Stelle sicher, dass Ollama deine Grafikkarte nutzt. Im Terminal kannst du während einer Anfrage ollama ps eingeben – dort sollte 100% GPU stehen.
  • Kontextfenster erweitern: Falls du mit großen Dateien arbeitest, kannst du das Kontextfenster in der config.json für das Hauptmodell manuell vergrößern (Achtung: Erfordert mehr RAM/VRAM):
    "model": "qwen2.5-coder:7b",
"contextLength": 8192
  • Modellwechsel im laufenden Betrieb: Du kannst über das Dropdown-Menü in Continue jederzeit zwischen verschiedenen lokalen Modellen wechseln (z. B. ein schnelleres Modell am Tag, ein größeres für komplexe Aufgaben).
0