User-agent: Yandex
User-agent: Aport
User-agent: Googlebot
User-agent: StackRambler
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /banners.htm
Disallow: /banners1.htm
Disallow: /banners2.htm
Disallow: /banners3.htm
Disallow: /banners.html
Disallow: /banners1.html
Disallow: /banners2.html
Disallow: /banners3.html
Disallow: /other.htm
Disallow: /adres.htm
Disallow: /vars.php
Disallow: /index_menu_v.php
Disallow: /index_menu_n.php
Disallow: /index_menu_l.php
Disallow: /index_maket_n_kontakt.php
Disallow: /index_maket.php
Disallow: /_index_admin.php
Disallow: /_dir.php
Disallow: /inews.htm
Disallow: /index_drv.htm
Disallow: /index_banners.htm
Disallow: /dopoln_links.htm
Disallow: /dopoln_add_links.htm
Disallow: /_mini_list.htm
Disallow: /_drv_list.htm
Disallow: /_other/
Disallow: /adres/
Disallow: /_links/
Disallow: /_link/
Disallow: /works/
Disallow: /video/
Disallow: /styles/
Disallow: /str/
Disallow: /str_mini/


# Запрещает ботам Яндекса посещать папку http://site.ru/links_pander/
# и файл http://site.ru/print.html

User-Agent: *
Crawl-delay: 4.5 # задает таймаут в 4.5 секунды
Request-rate: 1/5         # загружать не более одной страницы за пять секунд
Disallow: /banners.htm
Disallow: /banners1.htm
Disallow: /banners2.htm
Disallow: /banners3.htm
Disallow: /banners.html
Disallow: /banners1.html
Disallow: /banners2.html
Disallow: /banners3.html
Disallow: /other.htm
Disallow: /adres.htm
Disallow: /_other/
Disallow: /adres/
Disallow: /_links/
Disallow: /works/
Disallow: /video/
Disallow: /styles/
Disallow: /str/
Disallow: /str_mini/


#Disallow: /lesson.php?action=test
# Запрещает посещение всеми ботами, для которых не сделана 
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/lesson.php?action=test
# например: http://site.ru/lesson.php?action=test&id=13
# чувствительно к порядку переменных в ссылке