Справка программы WebMaster Utility v1.x

Возможности сервиса "Управление SiteMap":

1). Многопоточный обход сайта
2). Высокая скорость сканеров
3). Индивидуальные параметры каждого из сайтов
4). Автоматическое\Полуавтоматическое генерирование файлов SiteMap
5). Автоматическая\Получавтоматическая загрузка сгенерированных файлов на сервер
6). Назначение очереди выполнения сканирования сайтов
7). Назначение завершающих событий
8). Удобный и простой интерфейс
9). Мощный инструмент редактирования базы ссылок сайта
10). Изменение параметров сканера в процессе сканирования без остановок
11). Поддержка всеформатных ссылок

Сервис оптимизирован для работы с сайтами, содержащими большое количество страниц!

В демо режиме доступно сканирование до 1000 страниц!

Сервис "Управление SiteMap" разбит на 4 части:
1). Панель управления сервисом


2). Список сайтов


3). Панель быстрой установки параметров сканирования

Установка параметров действует на все выделенные сайты текущего раздела.
Кнопки запуска и остановки на панели быстрого доступа к параметрам сканирования действуют на 1 текущий выделенный сайт.

4). Список очереди выполнения сайтов

Команды:

Вызывает диалог добавление нового сайта в список


Вызывает диалог изменения параметров выбранного в списке сайта


Позволяет удалить выделенные сайты в списке


Запускает сканирование выделенных в списке сайтов


Включает\Отключает режим очереди выполнения сканирования сайтов


Вызывает диалог управление базой ссылок выбранного сайта


Выполняет автоматическую генерацию файлов SiteMap выбранных сайтов по указанным параметрам сайта


Позволяет выполнить генерацию файлов SiteMap выбранного сайта в указанный файл


Позволяет выполнить автоматическую загрузку файлов выбранных сайтов на сервер


Позволяет самостоятельно выбрать файлы для загрузки на сервер выбранным сайтам


Останавливает любые операции выбранных сайтов


Выполняет запрос файла robots.txt для выбранного сайта


Вызывает диалог управления списком прокси серверов

Описание:
Сайт в списке представляет собой блок, который может быть как в развернутом состоянии (с отображением полной информации о текущей операции), так и свернутым (отображать только прогресс выполнения текущей операции с сайтом).

Данные отображения информации о сканировании сайта:
Строка1: Информация о текущем состоянии сканирования
Строка2: Обнаруженные БИТЫЕ ссылки + критические ошибки выполнения текущей операции с сайтом
Строка3: Текущую сканируемую страницу (в текущем временном интервале)
Строка4: Последний запуск сканирования
Строка5: Текущий статус выполнения операции

Список сайтов может делиться на разделы. К одному сайту могут быть привязаны несколько разделов. При удалении раздела, сайты, находящиеся в разделе не удаляются - удаляется лишь ссылка на раздел.

Событие по завершении сканирования выполняется в 2 режимах:
1). После завершения выполнения всех активных в данный момент сайтов
2). При включенном режиме очереди сайтов - после выполнения всей очереди

Важно**
Такие операции назначения как: Генерация файлов, Загрузка на сервер - выполняется сразу после завершения сканирования, не дожидаясь полного окончания всех действий активных сайтов. Любая другая операция по назначению сработает после полного завершения выполнений.

Список очереди выполнения представляет собой список сайтов, выполнение которого будет идти до последнего элемента данного списка. В очереди участвуют только отмеченные галочкой сайты.

Для добавления сайта(ов) в список очереди достаточно просто перетащить сайт(ы) из основного списка. Для удаления сайтов из списка достаточно перетащить выбранные сайты обратно в основной список. Для задания очереди сайтов (приоритетность списка очереди) - используется обычное перетаскивание внутри списка очереди.

Очередь начнет выполняться после запуска, от любого запущенного сайта и до конца списка.

Очередь выполнения значительно уменьшает расход ресурсов системы и нагрузки на интернет канал при обработке большого количества сайтов. К примеру с использованием очереди можно указать большее количество потоков сканирования сайта (что увеличит скорость сканирования), в то время как при одновременном выполнении нескольких сайтов - каждый из запущенных сайтов будет иметь по установленому количеству потоков, что значительно повлияет на нагрузку системы при большом количестве сайтов.
Пример использования очереди выполнения:
К примеру имеются 50 сайтов. Для сканирования, генерации и загрузки сгенерированных файлов на сайты без наблюдения за процессом понадобится:

1) Добавить сайты в список очереди (перетащить из основного списка)
2) Нстроить приоритет обработки сайтов (перетаскиванием внутри списка очереди)
3) Установить задание по окончании (особые) с необходимыми параметрами
4) В настройках сервиса установить параметры (Не сбрасывать запланированное задание при появлении критических ошибок сайтов и Вести лог последней сессии сканирования)
5) Запустить первый сайт в списке очереди (из контекстного меню или в основном списке)
6) К примеру - лечь спать, установив в задании (особые) галочку "Выключить систему"

При выполнении пункта 4), после обработки всего списка очереди и выключения системы, все критические ситуации с сайтами (к примеру неверный пароль при подключении к ftp или других операциях, которые прервут выполнения сайта) будут записаны в лог и при следующем запуске сервиса будут показаны, что позволит на 100% знать - какие сайты завершились успешно, а какие необходимо подкорректировать и доработать.

Описание необходимых для ознакомления параметров:


Включает опцию автоматической установки приоритета страницам сайта. В таком случае приоритет выставляется автоматически в зависимости от глубины страницы относительно хоста сайта с понижением на указанное значение при каждом новом углублении. Если в настройках сервиса опция "Не понижать приоритет для начальных страниц" включена - первые страницы сайта (пример: http://site.zone/page/) будут иметь приоритет хоста сайта, все идущие глубже каталоги и страницы будут рассчитываться в зависимости от параметра понижения.


Если опция включена - при отключенной опции "Сканировать поддомены" - все поддомены сайта будут приниматься за внешние ссылки. Опция доступна только при условии, что сканирование поддоменов отключено. При отключенной опции - ссылки на поддомены будут игнорироваться.


Если опция включена - в сканировании будут участвовать внешние ссылки. Будет выполнена проверка доступности внешних ссылок сайта. В параметрах сервиса можно установить, загружать страницу целиком или проверять только заголовок ответа.


Если опция включена - в сканировании будут участвовать изображения сайта. Будет выполнена проверка доступности изображений на страницах.

Описание необходимых для ознакомления параметров:


Определяет каталог на сервере, в который будут загружаться файлы


Определяют прификсы имен файлов на сервере. Если файл разбит на части - имена файлов будут формироваться с: указанный прификс + номер файла + расширение

Описание необходимых для ознакомления параметров:


Определяет каталог, в который будут автоматически генерироваться файлы. Указанный каталог используется сайтом постоянно, файлы генерируются в формате [хостсайта_имяфайла]


Если параметр установлен - в указанном выше каталоге будет создана папка с именем хоста сайта, после чего будет использоваться данная папка для хранения файлов сайта. **Папка может быть одна и таже для любого количества сайтов! Распределение файлов идет в соответствии с хостом сайта**. Данная папка будет удалена при включенной опции удаления файлов сайта в параметрах сервиса при удалении сайта из сервиса (папка будет удалена, если кроме файлов сайта в папке больше ничего найдено не будет).


Если параметр установлен - структура файла будет генерироваться автоматически в зависимости от типа файла:

в противном случае - файл будет формироваться по шаблону (поле ниже формата файла)


Если опция включена - ссылки в генерируемых файлах будут с закодированным хостом (пример: ссылки типа
http://президент.рф/news/8997/
будут записаны как:
http://xn--d1abbgf6aiiy.xn--p1ai/news/8997/
и и.д

Описание необходимых для ознакомления параметров:


Определяет лимит сканирования страниц, после которого производить физическую запись просканированных ссылок в базу. Если значение установлено в 0 - физическая запись ссылок в файл будет произведена по окончании сканирования. В процессе сканирования ссылки уже пишутся в файл базы, но без применения изменений для самого сайта, физический сброс дампа ссылок приведет к сохранению информации о текущем сканировании и применит изменения в файле базы. Расход памяти не изменяется при указании или нет параметра сохранения, процесс сканирования кэшируется в файлы.

Инструмент позволяет производить полноценное редактирование базы ссылок.
Добавлять, удалять, изменять и т.д ссылки в базе.
Предоставляет возможность сгенерировать файлы SiteMap из выделенных в списке ссылок (как внутренних, так и внешних и изображений).

Предоставляет быстрый доступ к часто используемым командам списка сайтов.

Команды:

Меню становиться доступным если у сайта имеется хотя бы 1 критическая ошибка обработки. Открывает список для просмотра списка критических ошибок.


Выполняет запрос файла robots.txt текущего сайта


Отображает список всех сгенерированных файлов сайта.

Для управления списком файлов используется контекстное меню списка. Вызвав меню "правой кнопки" становятся доступными такие параметры как:
- Открытие файла
- Открытие с помощью
- Копирование файла(ов) в буфер обмена
- Удаление файлов
- Загрузка выбранных файлов на сервер сайта
- Свойства файла

***Важно!!
При генерации файлов (автоматической) файлы, соответствующие текущей сессии по параметрам затираются, файлы других форматов остаются без изменений и будут заменены на новые при генерации по соответствующим параметрам.
Пример: Если по параметрам сайта генерируются файлы в архиве .gz - все файлы сайта формата .gz будут затерты на новые и т.д.


Выполняет открытие каталога расположения файлов генерации сайта. Все файлы сохраняются с прификсом хост_ + имя файла. На загрузку и прочие манипуляции с файлами это не влияет, прификсы необходимы для уникализации файлов (если например в одном каталоге содержаться файлы нескольких сайтов) и при использовании автоматически обрезаются до необходимых имен.

Предоставляет быстрый доступ к часто используемым командам списка очереди сайтов.