Tutorials

Wie du die robots.txt in deinem Shopify Store erstellst & bearbeitest [2025 Easy Guide]

Melden

Hier ist ein aktuelles, schrittweises Tutorial, wie du deine robots.txt in Shopify im Jahr 2025 anpassen kannst.

Die robots.txt ist eine entscheidende Datei für dein SEO. Sie sagt Suchmaschinen wie Google, welche Seiten sie crawlen dürfen und welche nicht. Standardmäßig erstellt Shopify automatisch eine optimale Datei für dich, aber manchmal musst du spezifische Anpassungen vornehmen (z. B. bestimmte Filter-URLs ausschließen oder KI-Bots blockieren).

In diesem Guide lernst du, wie du die volle Kontrolle über deine robots.txt übernimmst.

Schritt 1: Warum die robots.txt in Shopify bearbeiten?

Standardmäßig blockiert Shopify bereits sensible Bereiche wie den Warenkorb (/cart), die Checkout-Seite oder interne Suchergebnisse. Gründe für eine manuelle Anpassung im Jahr 2025 sind:

  • KI-Crawler blockieren: Verhindere, dass Bots (wie GPTBot) deine Inhalte für KI-Training nutzen.
  • Duplicate Content vermeiden: Bestimmte URL-Parameter oder Filter von der Indexierung ausschließen.
  • Crawl-Budget optimieren: Unwichtige Seiten für Google sperren, damit wichtige Seiten schneller gecrawlt werden.

Schritt 2: Die robots.txt-Vorlage in Shopify erstellen

Früher war die robots.txt bei Shopify gesperrt. Jetzt kannst du sie über ein spezielles Template in deinem Theme bearbeiten.

  1. Logge dich in deinen Shopify Admin ein.
  2. Gehe zu Onlineshop > Themes.
  3. Klicke bei deinem aktuellen Theme auf die drei Punkte (...) und wähle Code bearbeiten.
  4. Klicke links im Menü auf Neues Template hinzufügen.
  5. Wähle im Dropdown-Menü "robots.txt" aus.
  6. Klicke auf Template erstellen.

Shopify erstellt nun eine Datei namens robots.txt.liquid im Ordner Templates.

Schritt 3: Die robots.txt anpassen

In der neu erstellten Datei siehst du standardmäßig diesen Code:

{% for group in robots.default_groups %}
  {{ group.user_agent }}
  {% for rule in group.rules %}
    {{ rule.directive }}: {{ rule.value }}
  {% endfor %}
  {% if group.sitemap %}
    {{ group.sitemap }}
  {% endif %}
{% endfor %}

Wichtig: Dieser Code zieht automatisch die Standard-Einstellungen von Shopify. Wenn du eigene Regeln hinzufügen möchtest, kannst du dies unterhalb oder innerhalb der Schleifen tun.

Beispiel: Einen bestimmten Bot (z.B. GPTBot) blockieren

Füge diesen Code am Ende der Datei ein:

# KI-Bot von OpenAI blockieren
User-agent: GPTBot
Disallow: /

Beispiel: Eine bestimmte URL vom Crawling ausschließen

Wenn du eine spezielle Seite (z. B. eine interne Landingpage) sperren willst:

User-agent: *
Disallow: /pages/geheime-aktion

Schritt 4: Änderungen speichern und prüfen

  1. Klicke oben rechts auf Speichern.
  2. Prüfe das Ergebnis live, indem du deinedomain.de/robots.txt in deinem Browser aufrufst.
  3. Du solltest nun deine Änderungen in Textform sehen.

Schritt 5: Die robots.txt testen (Wichtig!)

Bevor du fertig bist, solltest du sicherstellen, dass du nicht versehentlich deinen ganzen Shop für Google gesperrt hast.

  1. Nutze den Google Search Console Robots.txt-Tester (oder ein ähnliches Online-Tool).
  2. Gib die URL deines Shops ein und prüfe, ob wichtige Seiten (wie Produkte oder Kollektionen) weiterhin auf "Erlaubt" stehen.
  3. Checke die Datei auf Tippfehler (z. B. Disallow: / würde den gesamten Shop sperren!).

Profi-Tipp für 2025: Nutze "Liquid" für dynamische Regeln

Da es sich um eine .liquid Datei handelt, kannst du Logik verwenden. Wenn du zum Beispiel Regeln nur für die Primärdomain und nicht für die Backup-Domain anwenden willst, kannst du if-Abfragen nutzen. Für die meisten Nutzer ist jedoch das einfache Hinzufügen von Disallow-Regeln am Ende der Datei der sicherste Weg.

Zusammenfassung

  1. Code bearbeiten im Shopify Theme.
  2. robots.txt.liquid Template erstellen.
  3. Eigene Regeln (User-agent & Disallow) hinzufügen.
  4. Speichern und unter domain.com/robots.txt verifizieren.

Hinweis: Sei vorsichtig beim Bearbeiten dieser Datei. Ein kleiner Fehler kann dazu führen, dass dein Shop aus den Google-Suchergebnissen verschwindet.

0