четверг, 27 ноября 2008 г.

Файл Sitemap для Blogger

Оказывается, Blogger генерирует robots.txt для каждого блога автоматически. Зайдите в Инструменты Google для веб-мастеров, затем в раздел вашего сайта (если он у вас зарегистрирован) и на страницу Анализ Robots.txt.

Или можете просмотреть его в браузере. Ваш файл robots.txt находится по адресу: http://yourblogname.blogspot.com/robots.txt.

Файл robots.txt для Ruby Brewed выглядит так:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Noindex: /feedReaderJson

Sitemap: http://dotrb.blogspot.com/feeds/posts/default?orderby=updated

Нижняя строчка и есть адрес вашего файла Sitemap.
Создание и отправка файла Sitemap позволяет обеспечить наличие в системе Google данных обо всех страницах на вашем сайте, включая URL-адреса, которые невозможно обнаружить в ходе стандартного процесса сканирования Google. После передачи файла Sitemap вы сможете выявлять проблемы, относящиеся к этому файлу или его URL-адресам.

На основании данных анализа файла robots.txt поисковый движок Google сам находит ваш Sitemap. Однако никто не мешает вам задать его вручную, в тех же инструментах Google для веб-мастеров. Более того, этот файл Sitemap вы можете указать и при регистрации сайта на Яндексе.

7 Комментариев :

Лариса Клепачева комментирует...

Посмотрела свой robot.txt У меня нет строчки Noindex. Это я должна добавить? А как?

Croaker комментирует...

Ничего страшного. Строчка Noindex недавно убрана из файла robots.txt для Blogger. Добавлять или удалять ничего не нужно; да и не получится. Этот файл Blogger генерирует автоматически.

Renai комментирует...

Привет! Помоги разобраться пожалуйста. В моем файле robots.txt написано:
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search

Sitemap:

http://soul-of-the-winds.blogspot.com/feeds/posts/default?orderby=updated

Мне непонятно Disallow: /search. Это запрет на что? На поиск? Или роботу разрешается индексировать все, кроме страниц, начинающихся с search?

Croaker комментирует...

Renai, да, последний вариант правильный :). Для всех роботов запрет на индексацию страниц начинающихся с /search. То есть – выдаваемых поиском по блогу.
User-agent: *
Disallow: /search


Например, таких:
http://dotrb.blogspot.com/search?q=header&x=0&y=0

dan комментирует...

а отредактировать его можно как нибудь?

The Neighbour комментирует...

А у меня этот sitemap в гугл иснтрументах почему-то не принялся...

сергей ваценко комментирует...

Вот и меня интересует будет ли индексироваться блог Yandexoм с робот.текст от блоггер?

Отправить комментарий

Жги!