Центр пользователя  |  Ваши сообщения  |  FAQ
Форум поддержки phpBB » phpBB 3.0.x » Поддержка phpBB 3.0.x

Индексация форума

Помощь в установке, настройке и использовании phpBB 3.0.x
Пожалуйста, помните, что существуют: Поиск, Правила форума
Возможно, ответ на Ваш вопрос уже имеется: Документация, Статьи, Накопленный опыт
Полезные материалы по этой теме: Инструкция по установке форума, Конвертеры

Сообщение 09 апр 2010, 17:40

Привет всем!
Такой вопрос.
В яндексе есть такой инструмент, как "вебмастер", в котором содержится информация об индексировании ваших сайтов.
На моём форуме выдаёт следующую информацию:
Страниц в поиске - 171
Загружено роботом - 470
Исключено роботом - 60.
Меня беспокоит последнее - страницы исключённые роботом. Этот яндекс-вебмастер пишет, что типа "документ содержит мета-тег noindex".
Должен заметить, что в файле robots.txt у меня запретов нет.
Что интересно, что согласно графика, кол-во исключённых страниц не постоянно, а меняется практически каждый день.
Ещё интересно, что по 11.02.10 страниц исключённых роботом было 0, потом возрастало, потом упало, сейчас 60.
Кто может объяснить физику этих процессов, а именно почему начали появлятся исключённые роботом страницы? Почему это число не постоянно, а меняется? И в конце-концов, как кол-во исключённых роботом страницы снизить до нуля?
Skype: peter_v5
Administrator
Пользователь
 
Сообщений: 26
Зарегистрирован:
23 июл 2009, 19:26
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 09 апр 2010, 18:02

Administrator писал(а):Кто может объяснить физику этих процессов

яндекс
crash
Поддержка
 
Сообщений: 11335
Зарегистрирован:
27 янв 2009, 03:22
Благодарил (а): 1 раз.
Поблагодарили: 568 раз.

Сообщение 09 апр 2010, 23:43

Administrator писал(а):И в конце-концов, как кол-во исключённых роботом страницы снизить до нуля?

А их и не должно быть 0, т.к. есть куча страниц не предназначенных для пользователя. Эти страницы должны быть запрещены к индексации в роботсе, чтобы улучшить (ускорить) индексацию полезных страниц и улучшить отношение ПС к сайту в целом.
www.putsoul.ru - купить/продать поделки своими руками
Morfiy
Активный участник
 
Сообщений: 92
Зарегистрирован:
22 дек 2009, 13:19
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 10 апр 2010, 10:01

Morfiy писал(а):А их и не должно быть 0, т.к. есть куча страниц не предназначенных для пользователя. Эти страницы должны быть запрещены к индексации в роботсе, чтобы улучшить (ускорить) индексацию полезных страниц и улучшить отношение ПС к сайту в целом.

Я просмотрел перечень этих исключённых страниц. Это это обычные страницы форума, где пользователи пишут. Эти страницы должны индексироватся!
Skype: peter_v5
Administrator
Пользователь
 
Сообщений: 26
Зарегистрирован:
23 июл 2009, 19:26
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 10 апр 2010, 14:55

бывает, что такие страницы дублируются. Например:
/viewtopic.php?f=*&t=*&view=next
/viewtopic.php?f=*&t=*&view=previous
www.putsoul.ru - купить/продать поделки своими руками
Morfiy
Активный участник
 
Сообщений: 92
Зарегистрирован:
22 дек 2009, 13:19
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 10 апр 2010, 18:17

Administrator писал(а):Я просмотрел перечень этих исключённых страниц.
noindex стоит например на страницах просмотра тем в режиме "Версия для печати", индексирование которых будет только лишним дублем.

также для уменьшения дублей желательно использовать robots.txt
Код: выделить все
User-Agent: *
Disallow: /search.php*
Disallow: /memberlist.php*
Disallow: /faq.php*
Disallow: /ucp.php*
Disallow: /feed.php*
Disallow: /viewforum.php?*&start=0
Disallow: /viewtopic.php?*&p=*
Disallow: /viewtopic.php?p=*
Disallow: /viewtopic.php?*&start=0
Disallow: /viewtopic.php?*view=next*
Disallow: /viewtopic.php?*view=unread*
Disallow: /viewtopic.php?*view=previous*
Disallow: /viewtopic.php?*view=print*
Allow: /
он запретит индексацию списка пользователей, rss, поиск, FAQ, страниц регистрации и входа, ссылок на соседние темы и на конкретные сообщения

Administrator писал(а):как кол-во исключённых роботом страницы снизить до нуля?
яндекс автоматически со временем подчищает страницы из раздела "Исключено роботом"
Последний раз редактировалось Anonymous 12 апр 2010, 09:19, всего редактировалось 1 раз.
Distructor
Пользователь
 
Сообщений: 47
Зарегистрирован:
06 мар 2010, 00:37
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 11 апр 2010, 22:34

Distructor писал(а):noindex стоит например на страницах просмотра тем в режиме "Версия для печати", индексирование которых будет только лишним дублем.

Всё, разобрался. А ты кстати прав, все страницы, которые исключены для индексирования, это действительно страницы, которые заканчиваются на start=0&view=print
Спасибо!
Skype: peter_v5
Administrator
Пользователь
 
Сообщений: 26
Зарегистрирован:
23 июл 2009, 19:26
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 11 апр 2010, 23:25

Добрый вечер!
Мне все же интересно, а вот такие страници будут индексироваться /forum/viewtopic.php?f=44&t=80
или /forum/viewforum.php?f=39
У меня стандартный robots.txt, рекомендованный для 3.06
В нем прописано: Disallow: /viewtopic.php?p=*
Disallow: /viewforum.php?f=*&start=0$
:?:
Странный этот мир, в котором двое смотрят на одно и тоже, но видят разное.
dok69
Активный участник
 
Сообщений: 68
Зарегистрирован:
28 фев 2010, 01:48
Откуда:
Беларусь
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 12 апр 2010, 09:18

Disallow: /viewtopic.php?p=*
запрещает индексацию ссылок на сообщение - например Disallow: /viewtopic.php?p=123
Disallow: /viewforum.php?f=*&start=0
запрещает двойную индексацию (т.е. из /viewforum.php?f=10 и /viewforum.php?f=10&start=0 проиндекируется только первое) первых страниц многостраничных форумов

свой вариант robots.txt я привел выше

а вот такие страници будут индексироваться /forum/viewtopic.php?f=44&t=80 или /forum/viewforum.php?f=39
будут

Но есть одно но - судя по всему у тебя форум лежит не в корне сайта, а в подпапке /forum/, поэтому надо во всех правилах дописать эту папку. Например
Disallow: /forum/viewtopic.php?p=*
Distructor
Пользователь
 
Сообщений: 47
Зарегистрирован:
06 мар 2010, 00:37
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.

Сообщение 12 апр 2010, 14:40

Ребята, простите. Не нашел.
Вопрос пустяковый. Решить не могу.

Мой форум | Главная страница

Хочу вместо "главная страница" - свое написать :)
Хелп плиз :D
Аватар пользователя
Imm
Пользователь
 
Сообщений: 48
Зарегистрирован:
11 фев 2010, 12:28
Благодарил (а): 0 раз.
Поблагодарили: 0 раз.


Вернуться в Поддержка phpBB 3.0.x

 


  • Похожие темы
    Ответов
    Просмотров
    Последнее сообщение

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 10

Форум поддержки phpBB
2008 - 2017 © BB3x.ru - русская поддержка форума phpBB3
Создано на основе phpBB® Forum Software © phpBB Group
авторов модов
разработчиков скинов
русификаторов
и всех поклонников phpBB3