Tutorials

Anleitung: Mit lokaler KI an einem Ordner arbeiten in AnythingLLM (Schritt-für-Schritt Guide)

Melden

Hier ist ein umfassendes Tutorial, wie du AnythingLLM nutzt, um lokal und datenschutzkonform mit deinen eigenen Ordnern und Dokumenten zu arbeiten.

AnythingLLM ist eines der besten Tools, um eine "lokale Wissensdatenbank" (RAG - Retrieval Augmented Generation) zu erstellen. Deine Daten verlassen dabei niemals deinen Rechner.

Schritt 1: Installation von AnythingLLM

  1. Gehe auf die offizielle Webseite useanything.com.
  2. Lade die Desktop-Version für Windows, Mac oder Linux herunter.
  3. Installiere das Programm und starte es.

Schritt 2: Die lokale KI-Engine einrichten

Beim ersten Start wirst du gefragt, welche KI (LLM) du nutzen möchtest. Du hast zwei Hauptoptionen für den lokalen Betrieb:

  • Eingebautes Modell (Built-in): AnythingLLM kann ein Modell direkt herunterladen und nutzen. Das ist der einfachste Weg.
  • Ollama (Empfohlen): Wenn du Ollama bereits installiert hast, wähle es als Quelle aus. Es bietet oft eine bessere Performance.
  • Embedding-Modell: Wichtig! Wähle auch ein Embedding-Modell (z. B. das eingebaute "AnythingLLM Default"). Dieses Modell ist dafür zuständig, deine Dokumente in "Vektoren" umzuwandeln, damit die KI sie lesen kann.

Schritt 3: Einen Workspace erstellen

In AnythingLLM sind Projekte in sogenannten Workspaces organisiert.

  1. Klicke auf das "+" Icon oder "New Workspace" in der Seitenleiste.
  2. Gib dem Workspace einen Namen (z. B. "Projekt-Archiv" oder "Recherche-Ordner").
  3. Klicke auf "Create Workspace".

Schritt 4: Deinen lokalen Ordner hinzufügen

Jetzt verknüpfen wir deine Dateien mit der KI:

  1. Klicke im Workspace auf den Button "Upload Documents" (oder das Wolken-Icon).
  2. Du hast nun zwei Möglichkeiten:
    • Dateien hochladen: Ziehe einzelne Dateien per Drag & Drop hinein.
    • Ordner-Import: Klicke auf den Button zum Hochladen und wähle den gesamten Ordner auf deiner Festplatte aus.
  3. Die Dateien erscheinen nun in der Liste "Storage".

Schritt 5: Dokumente in den Workspace verschieben & "Embedden"

Damit die KI die Inhalte deines Ordners kennt, müssen sie indexiert werden:

  1. Markiere die hochgeladenen Dateien oder den Ordner in der Liste.
  2. Klicke auf "Move to Workspace".
  3. Klicke unten rechts auf den Button "Save and Embed".
    • Was passiert hier? Dein PC liest jetzt alle Texte im Ordner und wandelt sie in mathematische Profile um. Dieser Vorgang findet zu 100% lokal statt.

Schritt 6: Mit deinen Daten chatten

Sobald der Vorgang abgeschlossen ist, kannst du im Chat-Fenster Fragen zu deinem Ordner stellen.

  • Abfrage-Modus: Tippe einfach eine Frage ein, z. B.: "Fasse die wichtigsten Punkte aus dem Vertrag im Ordner zusammen."
  • Quellenangaben: AnythingLLM zeigt dir genau an, aus welcher Datei und welchem Absatz die Information stammt (Zitate).
  • Chat-Einstellungen: Du kannst oben im Workspace zwischen "Chat" (KI nutzt ihr Wissen + deine Daten) und "Query" (KI nutzt nur deine Daten) wählen.

Tipps für bessere Ergebnisse:

  1. System Prompt anpassen: Klicke auf die Workspace-Einstellungen (Zahnrad) und gib der KI eine Rolle, z. B.: "Du bist ein technischer Assistent. Antworte nur basierend auf den bereitgestellten Dokumenten."
  2. Dateiformate: AnythingLLM arbeitet am besten mit PDFs, .txt, .docx und Markdown-Dateien.
  3. Hardware-Check: Da alles lokal läuft, benötigen größere Modelle mehr RAM und ggf. eine gute Grafikkarte (GPU). Wenn es zu langsam ist, wähle ein kleineres Modell (z. B. Llama 3 8B oder Mistral).

Glückwunsch! Du hast nun eine voll funktionsfähige, lokale KI, die dein privates Wissen aus deinen Ordnern nutzt, ohne dass jemals Daten in die Cloud geladen werden.

0