Или можете просмотреть его в браузере. Ваш файл robots.txt находится по адресу: http://yourblogname.blogspot.com/robots.txt.
Файл robots.txt для Ruby Brewed выглядит так:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Noindex: /feedReaderJson
Sitemap: http://dotrb.blogspot.com/feeds/posts/default?orderby=updated
Нижняя строчка и есть адрес вашего файла Sitemap.
Создание и отправка файла Sitemap позволяет обеспечить наличие в системе Google данных обо всех страницах на вашем сайте, включая URL-адреса, которые невозможно обнаружить в ходе стандартного процесса сканирования Google. После передачи файла Sitemap вы сможете выявлять проблемы, относящиеся к этому файлу или его URL-адресам.
На основании данных анализа файла robots.txt поисковый движок Google сам находит ваш Sitemap. Однако никто не мешает вам задать его вручную, в тех же инструментах Google для веб-мастеров. Более того, этот файл Sitemap вы можете указать и при регистрации сайта на Яндексе.
7 Комментариев :
Посмотрела свой robot.txt У меня нет строчки Noindex. Это я должна добавить? А как?
Ничего страшного. Строчка Noindex недавно убрана из файла robots.txt для Blogger. Добавлять или удалять ничего не нужно; да и не получится. Этот файл Blogger генерирует автоматически.
Привет! Помоги разобраться пожалуйста. В моем файле robots.txt написано:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Sitemap:
http://soul-of-the-winds.blogspot.com/feeds/posts/default?orderby=updated
Мне непонятно Disallow: /search. Это запрет на что? На поиск? Или роботу разрешается индексировать все, кроме страниц, начинающихся с search?
Renai, да, последний вариант правильный :). Для всех роботов запрет на индексацию страниц начинающихся с /search. То есть – выдаваемых поиском по блогу.
User-agent: *
Disallow: /search
Например, таких:
http://dotrb.blogspot.com/search?q=header&x=0&y=0
а отредактировать его можно как нибудь?
А у меня этот sitemap в гугл иснтрументах почему-то не принялся...
Вот и меня интересует будет ли индексироваться блог Yandexoм с робот.текст от блоггер?
Отправить комментарий
Жги!