Що перевірити
Meta robots, robots.txt, sitemap, canonical, мовні версії, серверний HTML і відповіді CDN для crawler user agents.
Різні боти
Пошуковий бот і бот для тренування можуть мати різні призначення. Доступ потрібно визначати свідомо, а не копіювати чужий robots.txt.
Чому цього недостатньо
Технічний доступ лише дозволяє прочитати сторінку. Рекомендація все одно потребує зрозумілого продукту та незалежних доказів.
Практичний висновок
Не оптимізуйте сайт під уявний алгоритм. Спочатку зніміть baseline, знайдіть конкретний розрив і тільки тоді змінюйте джерела, сторінки та згадки.