www.rookee.ru

Правильный Robots.txt и .htaccess для Dle

Рубрика: Теория

Робот БендерПродолжая работать с сателлитами, сегодня настраивал другу сайт для ТрастЛинка. Как обычно встал вопрос о правильной настройке файлов robots.txt и .htaccess. Я работаю исключительно с WordPress, поэтому пришлось опять лезть в Яндекс. В итоге, благодаря форуму maultalk и нескольким авторским seo-блогам удалось собрать всю нужную информацию.

Чтобы не забыть, выкладываю здесь.

Настройка Robots.txt для Dle

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: Ваш_сайт
Sitemap: http://Ваш_сайт/sitemap.xml

В результате:

  • Из индекса убираются все версии страниц для печати;
  • Закрываются страницы профилей, при помощи которых часто спамят недобросовестные вебмастеры;
  • Запрещаются к индексации страницы, на которых отсутствует полезный для посетителей контент, например, админка;
  • Отбрасываем всякий хлам;
  • Задаём местонахождение карты сайта и хост.

В зависимости от наличия каких-нибудь других ненужных папок, например, созданных вами, не забудьте закрыть и их.

Настройка .htaccess для Dle

Открываем файл, который, как и предыдущий находится в корне сайта. Находим строчки в самом начале:

DirectoryIndex index.php
RewriteEngine On

Вместо них вставляем:

RewriteEngine On
Options +Indexes
Options +FollowSymLinks

# Редирект для категорий (чтобы в конце URL был /)
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]

# Редирект c www на без www
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L]

# Редирект для главной (с /index.php,html на /)
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]

В коде, на всякий случай, есть пояснения. Их удалять не обязательно – на работе они никак не скажутся. Не забываем вместо site.ru прописывать нужный адрес.

В результате:

  • Все адреса категорий на конце будут со слешем (/) – для удаления из индекса разных url.
  • Основным хостом сайта задаётся адрес без www. Аналогично можно сделать и наоборот.
  • Устанавливаем редирект со всех второстепенных адресов главной страницы (site.ru/index.php, www.site.ru и www.site.ru/index.php) на один – site.ru.

В отличие от настройки Robots.txt и .htaccess для WordPress, здесь пришлось немного повозиться, но в итоге всё получилось и работает. Пользуемся на здоровье!

ПОНРАВИЛСЯ ПОСТ? ПОДЕЛИСЬ ССЫЛКОЙ С ДРУЗЬЯМИ!

Получать новые публикации по электронной почте:

Serpstat

СТАТЬИ ИЗ РУБРИКИ:

0 0 голоса
Рейтинг статьи
Подписаться
Уведомить о
guest
16 комментариев
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Alexandr
10 лет назад

“В итоге, благодаря форуму maultalk и нескольким авторским seo-блогам удалось собрать всю нужную информацию.”
А точнее благодаря моей статье, которую вы слава богу удосужились немного отрерайтить…
http://seo-wave.ru/6-pravilnaya-nastrojka-robots.txt-i-.htaccess-na-dle.html 

seo-aspirant
10 лет назад
Ответить на  Alexandr

Вашу статью целиком не читал, а взял только кусок кода для htaccess. Остальное нашёл до того на форуме Маула 🙂

Sirega Rus
Sirega Rus
7 лет назад
Ответить на  Alexandr

Ваш блог загнулся, а этот работает

Sdjfjsjkf
Sdjfjsjkf
10 лет назад

Спасибо за эту информацию)

Eqoist
Eqoist
9 лет назад

Папку аплоадс не нужно закрывать – картинки индексироваться не будут

seo-aspirant
9 лет назад

Папку uploads можно не закрывать только в том случае, если у вас предвидится трафик по картинкам. В иных случаях – лучше закрыть, особенно, если на сайте не уникальные картинки.

Ggfj
Ggfj
9 лет назад

Индексация папки не влияет на трафик по картинкам. Картинки сканируются в статьях и гугл это прекрасно умеет делать и яндекс тоже.

Сергей Монеткин
9 лет назад

Какого-то лешего сайт просел резко и трафик с него упал до 200 хостов, хотя был на порядок больше. Вот сижу думаю в чем проблема, надеюсь Robots поможет мне в этом деле.

Maksam07
Maksam07
9 лет назад

АААААА. я рад,  реально помогло!!!!!!!!!

Prog
9 лет назад

 Disallow: /uploads/
Я думаю эта строка лишняя, так как в этой папке хранятся все картинки, этим вы запрещаете их индексирование

Sacred3
Sacred3
9 лет назад

А редирект с новости “html” на “html/” не надо? Если надо, то как?

Максим Томашевич
Максим Томашевич
9 лет назад

А вот это все:
Disallow: /index.php?do=addnews

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?do=pm

Disallow: /index.php?do=register

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?subaction=newposts

не проще заменить на :
Disallow: /*?*
 

De3
De3
9 лет назад

а закрывать индексацию профилей не лишнее?) ведь можно настроить их, чтобы нельзя было использовать html’ы.

Dany
Dany
8 лет назад

А Disallow: /tags/ не нужно прописывать? У меня например в индексе куча дублей, по тегам

reeper
reeper
8 лет назад

Disallow: /upgrade/ нафига тут нужен подскажите?

Ddos
Ddos
7 лет назад

Да не плохо.

16
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
()
x