User-agent: *                  # GoogleBot, Yandex.

# Особенности хостинга и используемых скриптов
Disallow: /cgi-bin             # Стандартная папка на хостинге.
Disallow: /newforum            # Наш старый форум, он отключен. Старые ссылки отработаны.

# Особенности WP
Disallow: /author/             # Архив автора.
#Disallow: /search              # Поиск.
#Disallow: /tag/                # Индексирование страницы запрещено тегом noindex
Disallow: /wp-                 # WP: /wp-content /wp-admin /wp-includes /wp-json wp-login.php wp-register.php.
Disallow: /wp/                 # Если ядро WP установлено в подкаталог wp.
Disallow: /?                   # Все параметры запроса на главной.
Disallow: */embed$             # Все встраивания.
Disallow: */feed               # Disable RSS/Atom Feeds
#Disallow: */page/1/            # 301 */page/1/ -> */ (canonical)
Disallow: */xmlrpc.php         # Файл WordPress API
Disallow: *openstat=           # Ссылки с метками openstat
Disallow: *?PAGEN_1=           # Вариант страницы с тегом canonical
#Disallow: *&s=                 # Поиск.
#Disallow: *?s=                 # Поиск.
Disallow: *utm*=               # Ссылки с utm-метками
Allow:    */uploads            # открываем uploads
Allow:    */wp-*/*ajax*.php    # AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow:    */wp-sitemap         # карта сайта (главная и вложенные)
Allow:    */wp-*/*.js          # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.css         # внутри /wp- (/*/ - для приоритета)
Allow:    */wp-*/*.png         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.jpeg        # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.gif         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.svg         # картинки в плагинах, cache папке и т.д.
Allow:    */wp-*/*.webp        # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.swf         # файлы в плагинах, cache папке и т.д.
Allow:    */wp-*/*.pdf         # файлы в плагинах, cache папке и т.д.

# Enable RSS/Atom Feeds for special User-agents (выше выключено для *)
User-agent: FeedFetcher-Google
Allow: /*feed
User-agent: YandexTurbo/1.0
Allow: /*feed
User-agent: Bingbot
Allow: /*feed
# Секция правил закончена

# Sitemap дублировать для каждого User-agent не нужно.
Sitemap: https://mason.ru/sitemap_index.xml