Прямой адрес файла: https://лидиум.рф/robots.txt и зеркало в punycode https://xn--d1ahbji5b.xn--p1ai/robots.txt. Оба отдают один и тот же текст. Карта сайта: sitemap.xml.
Содержимое robots.txt
User-agent: * Allow: / Sitemap: https://xn--d1ahbji5b.xn--p1ai/sitemap.xml Sitemap: https://xn--d1ahbji5b.xn--p1ai/sitemap-geo.xml
Что можно обходить
Главная, услуги, SEO-продвижение, статьи, кейсы, контакты, о компании. Рекламодатель: ИП Галин Фарит Флусович, ИНН 026000902891, ОГРНИП 319028000190814, Уфа, ул. Кавказская, д. 24. Почта lidium-digital@yandex.ru, телефон +7 (927) 306-60-26.
/poisk/ и /go/ остаются в HTML с noindex: это служебный поиск и редиректы в мессенджеры, не посадочные. Их нет в sitemap. Яндекс и Google забирают noindex из мета-тега, для этого файл robots.txt их не закрывает.
Если fetcher отвечает ROBOTS_DISALLOWED, сверьтесь с этим файлом, а не с кэшем прошлой версии: раньше в группе * были пути /poisk и /go, а у сборщиков датасетов стоял запрет корня. Сейчас в файле нет слова запрета.
