Настройки сканирования

Брать last-modified из заголовкаℹПри выборе этой опции дата последнего обновления страницы будет взята из самой страницы. При выключении этой опции дата изменения всех страниц будет текущая. Действует только для карты в формате xml. Учитывать Robots.txt, MetaℹВыключение этой опции позволяет игнорировать директивы запрета сканирования отдельных страниц, заданные в файле robots.txt и на самих страницах сайта. Опция действует только при сканировании сайта и не влияет на формирование карты по накопленной информации. Учитывать rel="nofollow"ℹВыключение этой опции позволяет игнорировать директивы запрета сканирования отдельных страниц, заданные на самих страницах сайта в директиве rel=nofollow. Опция действует только при сканировании сайта и не влияет на формирование карты по накопленной информации. Переходить по переадресациямℹПереходить по указаниям сервера о переносе страниц. Выключение этой опции может привести к потере части Вашего сайта при сканировании. Использовать существующий sitemap.xmlℹПри выборе этой опции сканер ищет на вашем сайте существующий sitemap и использует из него параметры: Частота обновления страниц(changefreq) и Приоритет(priority). Кроме того, это существенно повышает скорость сканирования, т.к. сканер использует дату прошлого изменения и не сканирует те страницы, которые не изменились и присутствуют в прошлой карте сайта. В этом режиме title страниц и анкоры ссылок не будет прочитаны. Рекомендуется использовать при формировании карты сайта только в формате XML. Игнорировать структуру страницℹВключение этой опции позволяет построить карту сайта для самых не валидных сайтов. Все ссылки выбираются контекстным парсингом страницы. Опция действует только при сканировании сайта и не влияет на формирование карты по накопленной информации. Интервал между запросами, сек: ℹ Чтобы не создать очень большую нагрузку на Ваш сервер, Вы можете указать сколько секунд ждать сканеру перед сканированием каждой следующей страницы. Например: "0.5". По умолчанию используется параметр Crawl-delay из robots.txt.