Центр пользователя  |  Ваши сообщения  |  FAQ
Форум поддержки phpBB » Общие » Общий

Вопросы robots.txt и индексацию сайта

Общение на любые темы помимо phpBB

Сообщение 21 июн 2012, 13:19

Здравствуйте.
Составил robots.txt для своего форума на phpbb3.
Прошу посмотреть, правильно ли все в нем:
Код: выделить все
User-agent: *
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /acp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=31&t=*
Disallow: /viewtopic.php?f=32&t=*
Disallow: /viewtopic.php?f=33&t=*
Disallow: /viewforum.php?f=31
Disallow: /viewforum.php?f=32
Disallow: /viewforum.php?f=33
Sitemap: http://btgsworld.ts6.ru/sitemap.xml

User-agent: Yandex
Disallow: /faq.php
Disallow: /mcp.php
Disallow: /acp.php
Disallow: /memberlist.php
Disallow: /posting.php
Disallow: /report.php
Disallow: /search.php
Disallow: /style.php
Disallow: /ucp.php
Disallow: /viewtopic.php?f=*&t=*&view=next
Disallow: /viewtopic.php?f=*&t=*&view=previous
Disallow: /viewtopic.php?f=31&t=*
Disallow: /viewtopic.php?f=32&t=*
Disallow: /viewtopic.php?f=33&t=*
Disallow: /viewforum.php?f=31
Disallow: /viewforum.php?f=32
Disallow: /viewforum.php?f=33
Host: btgsworld.ts6.ru
Sitemap: http://btgsworld.ts6.ru/sitemap.xml
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php


Еще такой вопрос: важно ли прописывать в robots такие строки:
Код: выделить все
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$
могут ли они как-либо негативно влиять на индексацию форума?

И нормально ли, когда в Яндекс.Вебмастер показано такое: Изображение
А то яндекс пишет, что наш сайт не проиндексирован.
sergey749
Новичок
 
Сообщений: 5
Зарегистрирован:
06 сен 2011, 19:49
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 21 июн 2012, 13:59

а что у нас тем про robots.txt вообще нет?
crash
Поддержка
 
Сообщений: 11323
Зарегистрирован:
27 янв 2009, 03:22
Благодарил (а): 1 раз.
Поблагодарили: 568 раз.

Сообщение 22 июн 2012, 13:14

sergey749
Посмотрите статью: http://bb3x.ru/a_other/other_robots

sergey749 писал(а):А то яндекс пишет, что наш сайт не проиндексирован.

Ресурс не найден - это нормально. Такое бывает при удалении тем, которые были проиндексированы. Но, на всякий случай, проверьте эти страницы.
Искренне Ваш,
Евгений
Аватар пользователя
Tarus
Разработчик скинов
 
Сообщений: 1066
Зарегистрирован:
13 дек 2008, 14:26
Благодарил (а): 0 раз.
Поблагодарили: 115 раз.

Сообщение 25 июн 2012, 15:47

Tarus писал(а):sergey749
Посмотрите статью: http://bb3x.ru/a_other/other_robots

Эту статью я уже смотрел, собственно по ней я и сделал роботс, в целом мне в ней все понятно, кроме этих двух строк:
Код: выделить все
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?f=*&t=*&start=0$

Не скажутся ли они как-нибудь негативно на индексации, и для чего вообще они нужны?
sergey749
Новичок
 
Сообщений: 5
Зарегистрирован:
06 сен 2011, 19:49
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 25 июн 2012, 16:23

sergey749 писал(а):Не скажутся ли они как-нибудь негативно на индексации, и для чего вообще они нужны?

Они нужны чтобы исключить дубликаты, т. к. в тему можно перейти по нескольким URL. Например:
obshhijj/voprosy-robots-txt-i-indeksaciyu-sajjta-t7880.html - обычный переход в тему (на первую страницу)
post48612.html#p48612 (переход к конкретному сообщению темы)
Искренне Ваш,
Евгений
Аватар пользователя
Tarus
Разработчик скинов
 
Сообщений: 1066
Зарегистрирован:
13 дек 2008, 14:26
Благодарил (а): 0 раз.
Поблагодарили: 115 раз.


Вернуться в Общий

 


  • Похожие темы
    Ответов
    Просмотров
    Последнее сообщение

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1

Форум поддержки phpBB
2008 - 2017 © BB3x.ru - русская поддержка форума phpBB3
Создано на основе phpBB® Forum Software © phpBB Group
+ 17 предустановленных модов
+ SEO-оптимизация форума
+ авторизация через соц. сети
+ защита от спама