KI-Crawler
Auch: AI Bots, GPTBot, OAI-SearchBot, PerplexityBot
Definition
KI-Crawler sind Bots von KI-Anbietern, die Webseiten abrufen, entweder für das Modelltraining oder für die Live-Suche in KI-Antworten.
Viele Anbieter trennen Trainings- und Such-Crawler, sodass du in der robots.txt das Training sperren und die Suche erlauben kannst. Wer Such-Crawler blockiert, verschwindet aus den Quellen der jeweiligen KI-Suche. Prüfe auch, ob Firewall oder CDN die Bots unbemerkt aussperren.