2. Настройки сканирования

Конкурентность (визуальный параметр) Максимум страниц для обхода Максимальная глубина ссылок Максимум URL в одном sitemap-файле Директория для сохранения файлов sitemap Public base для sitemap-index (опционально)

3. Дополнительные настройки ссылок

Удалять UTM и tracking-параметры (utm_source, utm_medium, fbclid и т.п.) ℹ Если включено – сканер будет автоматически удалять рекламные, аналитические и трекинговые параметры из URL перед обработкой. К таким параметрам относятся: utm_source, utm_medium, utm_campaign, utm_term, utm_content fbclid, gclid, yclid, mc_cid, mc_eid любые другие параметры, используемые системами аналитики и рекламными сетями Например, следующие ссылки: /page?utm_source=google /page?fbclid=12345 /page?utm_medium=social utm_campaign=test будут преобразованы в: /page Это предотвращает появление десятков дублей одной и той же страницы в sitemap, снижает размер карты сайта и ускоряет сканирование. Игнорировать все параметры в URL (/?a=1 и /?a=2 считаются одной страницей) ℹ Если включено – сканер будет обрезать все параметры в адресной строке (часть после “?”) и считать такие URL одной и той же страницей. Например: /article?id=1 /article?id=2&ref=google /article?utm_source=news будут рассматриваться как один и тот же URL: /article Это помогает избежать дублирования страниц в sitemap и уменьшает количество лишних URL, которые отличаются только параметрами трекинга, статистики или пагинации. Исключать пути (по одному в строке) /wp-admin /wp-login.php /cgi-bin

4. Ограничения и правила

Лимит запросов в секунду Максимальный размер страницы (КБ) Учитывать robots.txt (Disallow/Allow для User-agent: *) ℹ Чтобы не создать очень большую нагрузку на Ваш сервер, Вы можете указать сколько секунд ждать сканеру перед сканированием каждой следующей страницы. Например: "0.5". По умолчанию используется параметр Crawl-delay из robots.txt. Разрешать переходы по редиректам на внешние домены. ℹ Если включено – сканер будет переходить по редиректам (HTTP 301/302), даже если они ведут на внешние сайты. Это позволяет корректно обрабатывать ссылки, которые сначала открываются на вашем домене, но затем перенаправляются на сторонние ресурсы (например, короткие ссылки, партнерские переходы или баннерные редиректы). Переход выполняется только один раз, и внешние страницы не добавляются в sitemap, но сканер сможет определить, что редирект работает корректно. Если выключено – сканер будет игнорировать редиректы, ведущие за пределы домена. Это ускоряет работу, снижает нагрузку и избегает обращений к внешним сайтам, которые могут быть медленными, недоступными или блокировать ботов.