Beide Dateien befinden sich im Root Ihrer Domain, beide sind Textdateien, und beide haben etwas mit Bots zu tun. Dort endet die Ähnlichkeit. robots.txt ist eine Zugriffskontrolldatei, die Crawlern mitteilt, welche URLs sie abrufen dürfen. llms.txt ist eine Inhaltsdatei, die KI-Modellen eine saubere, kuratierte Übersicht dessen gibt, was auf Ihrer Website zählt. Die eine sagt „Bleib draußen", die andere sagt „Fang hier an".
Wichtigste Erkenntnis: robots.txt kontrolliert, was Crawler abrufen dürfen, während llms.txt kuratiert, welche Inhalte KI-Modelle zuerst lesen sollen. Sie überschneiden sich nicht, daher sollten die meisten Websites beide haben.
Was robots.txt wirklich tut
robots.txt gibt es seit 1994 und ist jetzt ein formeller Standard, RFC 9309. Es ist ein Satz von Allow- und Disallow-Regeln, gruppiert nach User-Agent. Wenn ein wohlwollender Crawler ankommt, liest er erst robots.txt und überspringt alles, das Sie untersagt haben. Es ist eine Crawl-Direktive, keine Sicherheitsgrenze: Sie bittet Bots, einen Pfad nicht abzurufen, sie stoppt einen entschlossenen nicht, und sie entfernt eine Seite nicht von selbst aus einem Index.
Die praktischen Anwendungen sind eng begrenzt und gut verstanden: Halten Sie Crawler aus facettierten URL-Parametern, Admin-Pfaden und API-Routes fern, und lenken Sie sie auf Ihre Sitemap. Wenn Sie eine Seite aus Google entfernen möchten, verwenden Sie einen noindex-Tag oder eine Removal, keine robots-Disallow-Regel, denn eine untersagte Seite kann immer noch von externen Links aus indexiert werden.
Was llms.txt wirklich tut
llms.txt ist deutlich neuer. Es wurde im September 2024 als Markdown-Datei unter /llms.txt vorgeschlagen und bietet großen Sprachmodellen einen prägnanten, linkreichen Index deiner wertvollsten Seiten. Stell dir das als ein handverfertigtes Inhaltsverzeichnis deiner Website vor, geschrieben für die Inferenzzeit statt für die Crawlzeit. Statt dass ein Modell rät, welche deiner 2.000 URLs dein Produkt erklären, listest du die kanonischen URLs in Prioritätsreihenfolge mit kurzen Beschreibungen auf.
Die ehrliche Position im Jahr 2026: llms.txt ist ein Vorschlag mit echtem Momentum und wachsender Toolunterstützung, aber die großen KI-Anbieter haben sich nicht alle zum Lesen verpflichtet, und es gibt noch kein RFC-9309-Äquivalent dahinter. Ich sehe das als kostenlosen, risikoarmen Vorteil. Es kostet einen Nachmittag, es kann deinem SEO nicht schaden, und es bringt deine besten Inhalte vor jedes Modell, das sich dafür entscheidet, es zu nutzen. Für die vollständige Anleitung siehe meinen [llms.txt-Erklärer](/blog/llms-txt-explained-2026/).
Die Unterschiede, die zählen
Aufgabe: robots.txt schränkt den Zugriff ein; llms.txt empfiehlt Inhalte. Format: robots.txt verwendet seine eigene allow/disallow-Grammatik; llms.txt ist einfaches Markdown mit Überschriften und Links. Zeitpunkt: robots.txt wird bei der Crawlzeit von Suchbots gelesen; llms.txt ist für das Abrufen und die Inferenz durch Sprachmodelle gedacht. Durchsetzung: robots.txt wird von Suchmaschinen weitgehend respektiert; llms.txt ist beratend und die Akzeptanz ist noch uneinheitlich. Risiko, es falsch zu machen: eine schlechte robots.txt-Regel kann deine ganze Website aus dem Index entfernen; ein schlechtes llms.txt wird schlimmstenfalls ignoriert.
Stehen sie in Konflikt? Solltest du beide haben?
Sie stehen nicht in Konflikt, weil sie auf verschiedenen Ebenen arbeiten. robots.txt kann einen KI-Crawler immer noch auf der Abrufebene blockieren (Google-Extended, GPTBot und andere sind User-Agents, die du disallows können), während llms.txt Inhalte für die Modelle kuratiert, die deine Website lesen. Wenn du einen Crawler in robots.txt blockierst, gewinnt diese Entscheidung, unabhängig davon, was llms.txt sagt, weil der Bot nie weit genug kommt, um die Kuratierung zu lesen.
Für die meisten Content-Seiten ist die Antwort einfach: Führe eine straffe robots.txt, die Parameter und Admin-Pfade schützt und deine Sitemap offenlegt, und füge ein llms.txt hinzu, das deine wirklich wichtigen Seiten auflistet. Wenn deine Strategie darin besteht, KI-Modelle ganz auszuschließen, ist das eine robots.txt- und User-Agent-Entscheidung, keine llms.txt-Entscheidung.
FAQ
Ersetzt llms.txt robots.txt?
Nein. Sie erfüllen unterschiedliche Aufgaben. robots.txt steuert, welche URLs Crawler abrufen dürfen; llms.txt schlägt vor, welche Inhalte KI-Modelle priorisieren sollten. robots.txt zu entfernen, um llms.txt hinzuzufügen, würde deine Crawl-Kontrollen streichen und Parameter sowie Admin-Pfade freilegen.
Kann ich AI-Crawler mit llms.txt blockieren?
Nein. Das Blockieren ist Aufgabe von robots.txt. Um AI-Crawler fernzuhalten, unterbinde ihre User-Agents (wie GPTBot oder Google-Extended) in robots.txt. llms.txt hat überhaupt keine Zugriffskontrollfunktion; es kuratiert nur Inhalte für Modelle, die deine Website ohnehin bereits lesen.
Wo gehören beide Dateien hin?
Beide befinden sich im Root deiner Domain: /robots.txt und /llms.txt. Sie werden als reiner Text bzw. Markdown ausgeliefert, und du kannst sie unabhängig voneinander bereitstellen und aktualisieren.
Hilft mir llms.txt beim SEO?
Nicht direkt. Sie zielt auf AI-Answer-Engines ab, nicht auf Google-Rankings. Der realistische Vorteil liegt in der Sichtbarkeit in generativen Suchen: Wenn ein Modell deine llms.txt nutzt, findet es deine besten Seiten schneller. Sie wird die klassischen Blue-Link-Rankings nicht verbessern, und sie kann ihnen nicht schaden.
Empfehlenswerte Lektüre: Google Analytics-Alternativen im Jahr 2026: Auswahl nach dem, was du tatsächlich brauchst, Ist Astro gut für SEO? Was ich beim Betrieb in großem Maßstab gelernt habe, und WordPress.