User-Agent: * # Общие правила для всех роботов #Crawl-delay: 10 # Задержка между запросами, оптимизировано для Яндекса Disallow: /cgi-bin # папка на хостинге Disallow: /basket # корзина Disallow: /bitrix/ # папка с системными файлами битрикс Disallow: *bitrix_*= # GET-запросы битрикса Disallow: /local/ # папка с системными файлами битрикс Disallow: /test/ # тестовая страница Disallow: /*index.php$ # дубли страниц index.php Disallow: /auth # авторизация Disallow: /personal/ # личный кабинет Disallow: /*order # корзина Disallow: *register= # регистрация Disallow: *forgot_password= # забыли пароль Disallow: *change_password= # изменить пароль Disallow: /*login= # логин Disallow: *logout= # выход Disallow: */search/ # поиск Disallow: *display= # страницы сортировки Disallow: *linerow= # вид расположения товаров Disallow: *year= # страницы статей по годам Disallow: *action= # действия Disallow: *alfaction= # сортировка Disallow: *print= # печать Disallow: *?new=Y # новая страница Disallow: *?edit= # редактирование Disallow: *?preview= # предпросмотр Disallow: *backurl= # трекбеки Disallow: *back_url= # трекбеки Disallow: *back_url_admin= # трекбеки Disallow: *captcha # каптча Disallow: *?FILTER*= # здесь и ниже различные популярные параметры фильтров Disallow: *?arrFilter* Disallow: *set_filter= Disallow: *oid=* # GET-параметр, который может быть у ссылок на товары Disallow: *?ei= Disallow: *id= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *brand= Disallow: *clear_cache* Disallow: *element_id= Disallow: *different= Disallow: *price_from= Disallow: *price_to= Disallow: /*type= Disallow: *property_width= Disallow: *property_height= Disallow: *property_dia= Disallow: *property_opening_count= Disallow: *property_price[*]= Disallow: *s_last= Disallow: *section_id= Disallow: *section[*]= Disallow: /*show_ Disallow: *showall= Disallow: *show_all= Disallow: *showby= Disallow: /*add_to_* Disallow: *sort= # Страница сортировки Disallow: *?action_ccr= Disallow: *sphrase_id= Disallow: *etext= Disallow: *utm*= # ссылки с utm-метками Disallow: *openstat= # ссылки с метками openstat Disallow: *from= # ссылки с метками from Disallow: *gclid= Disallow: *yclid= Disallow: */apply/ Disallow: */feed # все фиды (нужны больше для Яндекс) Disallow: */rss # rss фид (нужны больше для Яндекс) Disallow: *orderby= Disallow: *taxonomy= Disallow: *private= Disallow: */amp # Закрываем все AMP страницы (нужны только для Google) Disallow: *amp= # Закрытие 2-го варианта реализации AMP страниц Allow: */upload/ # открываем папку с файлами uploads Allow: /bitrix/*.js # открываем скрипты вида /js/jquery.countdown.min.js?16 Allow: /local/*.js # открываем скрипты Allow: /bitrix/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /local/*.webp Allow: /local/*.svg Allow: /local/*.pdf Allow: /local/*.ttf Allow: /local/*.woff User-agent: GoogleBot #Правила только для робота Google Disallow: /cgi-bin Disallow: /basket Disallow: /bitrix/ Disallow: *bitrix_*= Disallow: /local/ Disallow: /test/ Disallow: /*index.php$ Disallow: /auth Disallow: /personal/= Disallow: /*order Disallow: *register= Disallow: *forgot_password= Disallow: *change_password= Disallow: /*login= Disallow: *logout= Disallow: */search/ Disallow: *display= Disallow: *linerow= Disallow: *year= Disallow: *action= Disallow: *alfaction= Disallow: *print= Disallow: *?new=Y Disallow: *?edit= Disallow: *?preview= Disallow: *backurl= Disallow: *back_url= Disallow: *back_url_admin= Disallow: *captcha Disallow: *?FILTER*= Disallow: *?arrFilter* Disallow: *set_filter= Disallow: *oid=* Disallow: *?ei= Disallow: *id= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *brand= Disallow: *clear_cache* Disallow: *element_id= Disallow: *different= Disallow: *price_from= Disallow: *price_to= Disallow: /*type= Disallow: *property_width= Disallow: *property_height= Disallow: *property_dia= Disallow: *property_opening_count= Disallow: *property_price[*]= Disallow: *s_last= Disallow: *section_id= Disallow: *section[*]= Disallow: /*show_ Disallow: *showall= Disallow: *show_all= Disallow: *showby= Disallow: /*add_to_* Disallow: *sort= Disallow: *?action_ccr= Disallow: *sphrase_id= Disallow: *etext= Disallow: *utm*= Disallow: *openstat= Disallow: *from= Disallow: *gclid= Disallow: *yclid= Disallow: */apply/ Disallow: */feed Disallow: */rss Disallow: *orderby= Disallow: *taxonomy= Disallow: *private= Allow: */upload/ Allow: /bitrix/*.js Allow: /local/*.js Allow: /bitrix/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /local/*.webp Allow: /local/*.svg Allow: /local/*.pdf Allow: /local/*.ttf Allow: /local/*.woff User-agent: Yandex #Правила только для робота Яндекс Disallow: /cgi-bin Disallow: /basket Disallow: /bitrix/ Disallow: *bitrix_*= Disallow: /local/ Disallow: /test/ Disallow: /*index.php$ Disallow: /auth Disallow: /personal/ Disallow: /*order Disallow: *register= Disallow: *forgot_password= Disallow: *change_password= Disallow: /*login= Disallow: *logout= Disallow: */search/ Disallow: *display= Disallow: *linerow= Disallow: *year= Disallow: *action= Disallow: *alfaction= Disallow: *print= Disallow: *?new=Y Disallow: *?edit= Disallow: *?preview= Disallow: *backurl= Disallow: *back_url= Disallow: *back_url_admin= Disallow: *captcha Disallow: *?FILTER*= Disallow: *?arrFilter* Disallow: *set_filter= Disallow: *oid=* Disallow: *?ei= Disallow: *id= Disallow: *?p= Disallow: *?q= Disallow: *?tags= Disallow: *brand= Disallow: *clear_cache* Disallow: *element_id= Disallow: *different= Disallow: *price_from= Disallow: *price_to= Disallow: /*type= Disallow: *property_width= Disallow: *property_height= Disallow: *property_dia= Disallow: *property_opening_count= Disallow: *property_price[*]= Disallow: *s_last= Disallow: *section_id= Disallow: *section[*]= Disallow: /*show_ Disallow: *showall= Disallow: *show_all= Disallow: *showby= Disallow: /*add_to_* Disallow: *sort= Disallow: *?action_ccr= Disallow: *sphrase_id= Disallow: *etext= Disallow: *utm*= Disallow: *openstat= Disallow: *from= Disallow: *gclid= Disallow: *yclid= Disallow: */apply/ Disallow: *orderby= Disallow: *taxonomy= Disallow: *private= Disallow: */amp Disallow: *amp= Allow: */upload/ Allow: /bitrix/*.js Allow: /local/*.js Allow: /bitrix/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: /local/*.webp Allow: /local/*.svg Allow: /local/*.pdf Allow: /local/*.ttf Allow: /local/*.woff # 5. Подключаем карту сайта (обязательно убедитесь, что файл sitemap.xml доступен!): Sitemap: https://radioluch.ru/sitemap.xml