Qwen2-VL lokal ausführen: Der 8GB VRAM Guide für ComfyUI

Hier ist ein ausführliches Tutorial, wie du das brandneue Qwen2-VL (oft als Qwen-Image bezeichnet) lokal auf deinem PC mit nur 8GB VRAM zum Laufen bringst. Wir nutzen dafür ComfyUI, da es die effizienteste Methode für VRAM-Management bietet.

Qwen2-VL ist eines der derzeit leistungsfähigsten Vision-Language-Modelle (VLM). Es kann Bilder verstehen, Texte in Bildern lesen (OCR) und sogar komplexe räumliche Zusammenhänge analysieren. Dank Quantisierung (Modell-Kompression) läuft das 2B-Modell flüssig und das 7B-Modell gerade so auf einer 8GB Karte (wie einer RTX 3060/4060).

1. Voraussetzungen

• Hardware: NVIDIA GPU mit mind. 8GB VRAM (AMD funktioniert via DirectML/ROCm, ist aber komplizierter).
• Software: Installiertes ComfyUI.
• Manager: ComfyUI-Manager sollte bereits installiert sein.

2. Schritt: Installation der notwendigen Nodes

Um Qwen2-VL in ComfyUI zu nutzen, benötigen wir spezielle "Custom Nodes".

1. Öffne ComfyUI.
2. Klicke im Menü auf Manager -> Install Custom Nodes.
3. Suche nach: ComfyUI-VideoHelperSuite (hilft beim Handling von Bildern/Videos).
4. Suche nach: ComfyUI-GGUF oder speziell für VLMs: ComfyUI_VLM_nodes (von griptape oder ähnlichen Providern).
   • Empfehlung: Nutze die ComfyUI-GGUF Nodes, da wir die GGUF-Version des Modells nutzen, um unter 8GB VRAM zu bleiben.
5. Starte ComfyUI neu.

3. Schritt: Das Modell herunterladen (Der 8GB-Trick)

Ein normales 7B-Modell in FP16 würde ca. 15GB VRAM benötigen. Wir nutzen eine quantisierte Version (GGUF).

1. Gehe zu Hugging Face und suche nach Qwen2-VL-2B-Instruct-GGUF oder Qwen2-VL-7B-Instruct-GGUF (z.B. von Bartowski oder MaziyarPanahi).
2. Für 8GB VRAM:
   • Wähle das 2B-Instruct-Q8_0.gguf (ca. 2.5GB – extrem schnell).
   • Oder das 7B-Instruct-Q4_K_M.gguf (ca. 4.5GB – intelligenter, aber langsamer).
3. Lade die Datei herunter und verschiebe sie in deinen ComfyUI Ordner: ComfyUI/models/llm/ (oder gguf/, je nachdem welchen Node du nutzt).

4. Schritt: Der Workflow

So baust du den Workflow in ComfyUI auf:

1. Load Image: Füge eine "Load Image"-Node hinzu und lade dein Testbild hoch.
2. VLM Model Loader (GGUF): Wähle hier dein heruntergeladenes Qwen2-VL Modell aus.
3. VLM Text Encode / Prompt: Hier gibst du deine Frage ein (z.B. "Beschreibe dieses Bild im Detail auf Deutsch").
4. VLM Sampler / Generator: Verbinde das Modell, den Prompt und das Bild.
5. Output: Verbinde eine "Show Text"-Node, um die Antwort zu sehen.

(Tipp: Suche in der ComfyUI-Community nach "Qwen2-VL Workflow JSON", um eine fertige Vorlage zu importieren).

5. Speed Test (Benchmark auf RTX 3060 8GB)

Hier sind ungefähre Werte, was du erwarten kannst:

6. Beispiele für Einsatzgebiete

A. Komplexes OCR (Texterkennung)

Qwen2-VL kann handschriftliche Notizen oder kleine Texte auf Rechnungen extrem präzise auslesen, wo normale OCR-Tools scheitern.

• Prompt: "Extrahiere alle Artikel und Preise aus diesem Kassenbon und gib sie als Liste aus."

B. Visuelle Logik

Du kannst dem Modell ein Bild von deinem Kühlschrank zeigen.

• Prompt: "Welche Gerichte kann ich mit diesen Zutaten kochen? Nenne 3 Vorschläge."

C. Web-Design zu Code

Mache einen Screenshot von einer Webseite.

• Prompt: "Schreibe den HTML/Tailwind-CSS Code, um dieses Layout nachzubauen."

Profi-Tipps für 8GB VRAM:

1. Schließe den Browser: Chrome/Edge verbrauchen oft 1-2GB VRAM. Schließe sie, wenn das Modell lädt.
2. Größe anpassen: Skaliere das Eingangsbild in ComfyUI mit einer "Upscale Image (Standard)"-Node auf etwa 768px oder 1024px Breite herunter, bevor es in die VLM-Node geht. Das spart massiv Speicherplatz.
3. GGUF nutzen: Versuche nicht, die originalen Safetensors in FP16 zu laden – dein System wird abstürzen ("Out of Memory"). GGUF ist dein bester Freund bei 8GB.

Viel Spaß beim Experimentieren mit der lokalen KI! Qwen2-VL ist aktuell eines der "schlausten" Open-Source Modelle für Bildverständnis.