Als KI-Crawler zum Thema wurden, haben viele Shops eine fertige
robots.txt übernommen, die „alle KI-Bots" blockiert. Das
wirft zwei völlig verschiedene Dinge zusammen.
Trainings-Crawler sammeln Texte für künftige Modelle. Die auszusperren ist eine legitime Entscheidung, und wir bewerten sie nicht.
Abruf-Bots holen eine Seite in dem Moment, in dem jemand eine Frage stellt — um daraus eine Antwort zu bauen und die Quelle zu verlinken. Wer diese sperrt, kann in der jeweiligen Antwort nicht vorkommen. Nicht schlechter platziert: gar nicht.