Един токен в robots.txt за забрана на AI обучение при четирима гиганти

Накратко

OpenAI, Google, Microsoft и Anthropic казват, че ще зачитат един общ сигнал в robots.txt за забрана на AI обучението.
Предложението идва от ръководител по стандарти в Anthropic и минава през IETF. Meta подкрепя идеята, но не обещава да я спазва.
Един ред заменя отделните забрани при всяка компания. Дали да го ползваш, зависи от начина, по който печелиш.

Досега забраната към AI компаниите да ползват съдържанието ти значеше едно правило за всяка компания. Това се променя. Четирима от най-големите се съгласиха да четат един и същ сигнал.

Какво стана

На 30 октомври OpenAI, Google, Microsoft и Anthropic обявиха, че ще приемат общ „policy token“, който издателите слагат в robots.txt, за да откажат AI обучение. Предложението е на Кевин Кели, технически лидер по стандарти в Anthropic, и върви през IETF, организацията зад интернет стандартите. Ако някоя от четирите компании види токена, ограничава AI роботите си към този сайт.

Говорителят на Meta Анди Стоун нарече общия сигнал „важна стъпка“, но не каза, че Meta ще го спазва. Microsoft добави, че ще предложи отделни контроли за AI обучение и за AI grounding, тоест насочване на модела към проверени източници. Страниците ти се виждат в търсенето на Bing и в двата случая.

Срокове няма за всички. Според публикации Anthropic го внедряват сега, Microsoft цели 1 февруари 2027, а Google през 2027. Името на токена е __usage_ai-training. Точния синтаксис в robots.txt няма да налучквам. Изчакай публикуваната чернова на IETF, преди да пипаш файла.

Как да го ползваш

Продаваш съдържание (курсове, платени статии, данни, платен бюлетин). Откажи обучението веднага щом синтаксисът е публичен. Работата ти спира да храни модели безплатно.
Имаш няколко сайта. Едно общо правило е по-лесно от отделен списък с ботове за всеки сайт.
Живееш от трафик от AI търсене (магазини, локални бизнеси, афилиейт сайтове). Първо прочети условията. Обучението и търсенето или grounding са различни неща, а не искаш да се изключиш от отговорите.

Колко струва? Нищо. Това е текстов файл.

Какво означава това

Издателите се бият срещу AI събирането на данни с платени лицензни стандарти и с Cloudflare, което блокира AI роботите по подразбиране. Това е безплатният и прост път и големите се присъединиха. Уловката е, че е на честна дума. Работи само върху роботи, които решат да го спазват, а по-малките обикновено не го правят.

Сметката: четири отделни забрани по около 15 минути са час работа. Един общ токен е една промяна. При €30 на час (моя преценка за админ време) спестяваш €30 на сайт. Ако водиш десет клиентски сайта, това са €300, плюс актуализациите, които вече не гониш.

Мнението на Иван

Добра идея и крайно време. Но няма да я ползвам в AI Rush X. Трафикът ни идва от AI инструменти, които ни цитират, така че искам тези роботи вътре, не навън. Ако продаваш самото съдържание, ползвай я в деня, в който синтаксисът излезе.

Източник: The Verge

За автора

Ivan Ivanov

Основател на