Генератор карты сайта

Сервис "Управление SiteMap", предоставляет возможность генерации карты сайта (SiteMap) для любого сайта с любым количеством страниц. Генерация карты сайта в архив .gz, автоматическое создание индексного файла, разбитие файла sitemap на части.



Возможности сервиса:

Сервис предоставляет возможность создавать карты сайта неограниченному количеству сайтов в параллельном режиме выполнения сканирования. Каждый сайт обрабатывается отдельно. Сканирование сайта выполняется в указанном количестве потоков с указанным приоритетом. Изменять основные параметры сканирования можно в процессе выполнения анализа страниц, без прерывания сканирования.

Сканеры способны воспринимать любые модификации ссылок на страницах сайта (например: /link/, ?p=44, link/, //link/ и т.д), в том числе и "поврежденных" (в разумных пределах) ссылок. Имеется возможность как соединять, так и различать ссылки с www. Использовать в обработке поддомены, проверка изображений на страницах в процессе сканирования.
Имеется полная поддержка сайтов на кириллице (например: президент.рф). При генерации файлов sitemap можно указать принудительное кодирование домена из кириллицы (в таком случае в файл карты сайта будут записаны закодированные элементы домена на кириллице). Для каждого сайта можно указать свой список типов файлов для исключения ненужных файлов в обработке (например архивов и других физических файлов не имеющих смылса в сканировании). Типы файлов указываются в виде списка mime типов страниц. Физические файлы, не соответствующие списку mime типов не загружаются, проверяется лишь заголовок ответа.

Для анализа страниц имеется возможность назначить автоматическое понижение приоритета. При этом приоритет зависит от глубины страницы от корня сайта, а не от глубины вложенности ссылок по страницам сканирования. Например: приоритет страницы http://site.zone/webmprog/help/ будет автоматически снижен на указанное число от основного приоритета, в то время, как первая страница /webmprog/ будет иметь высший приоритет (при необходимости снижать приоритет и для начальных страниц - данную опцию можно включить в настройках сервиса, по умолчанию выключено). Поддерживаются любые виды ссылок (как ЧПУ, так и обычные)

Интерфейс сервиса максимально прост и удобен в использовании. Сайты возможно разделять на разделы, любому сайту возможно назначить несколько разделов. При удалении раздела - сайты в данном разделе не удаляются, удаляется только ссылка на раздел. Каждый сайт представляет собой визуальный блок (который можно свернуть для уменьшения используемого места). В блоке сайта отображается весь процесс сканирования, генерации, выгрузки файлов по ftp и все данные, связанные с текущим сайтом.

Для каждого из сайтов указываются индивидуальные параметры сканирования и генерации файлов SiteMap. Поддержка таких критериев как:
- Проверка запрета индексации в файле robots.txt
- Проверка запрета индексации в мета-тэге robots
- Проверка запрета хождения по ссылке в параметре rel ссылки
- Проверка запрета индексации тэгом noindex
и многие другие.



Файлы, сгенерированные для каждого сайта возможно хранить как в каталоге по умолчанию (в одном каталоге могут храниться файлы любого количества сайтов), так и назначать собственные каталоги. Генерацию файлов возможно выполнять как автоматически (в заранее указанный каталог), так и выбрав файл для создания непосредственно в момент создания файла карты сайта. Из контекстного меню возможно вызвать диалог просмотра всех сгенерированных файлов для выбранного сайта. Файлы отображаются в виде дерева с разделением на типы файлов (например: .xml, .gz). Из данного списка имеется возможность управлять файлами стандартным методом (удалить файл, копировать в буфер, открыть, открыть с помощью и т.д).



Созданные файлы карты сайта (sitemap) возможно автоматически загрузить на сайт по FTP. Для этого достаточно лишь указать параметры доступа к серверу ftp в свойствах сайта (!!ftp данные хранятся в зашифрованном виде). Сервис загрузит файлы в соответствии с текущими параметрами генерации карты (например: если в свойствах сайта указано создание индексного файла - сервис загрузит индексный файл и файлы, на которые основной файл карты сайта был разбит. Если карта сайта создавалась в архиве .gz - загрузка выполниться только соответствующих файлов (при создании файлов в архивах - все оригинальные имена файлов в архивах, включая и индексный файл и ссылки внутри индексного файла корректируются по стандартным правилам архивации файлов sitemap).

Для сканирования большого количество сайтов возможно создавать очередь выполнения. Для этого достаточно включив поддержку очереди перетащить в поле очереди нужные сайты - выполнение будет идти от текущего активного сайта и до конца очереди. Для удаления сайта из очереди - достаточно просто перетащить сайт обратно в общий список.



Если обработка занимает длительное время - имеется возможность назначить задание по завершении сканирования. В задание может войти как генерация файлов sitemap, выгрузка по ftp, так и выключение системы и т.д
При использовании завершенных заданий все критические ошибки, возникшие в процессе обработки сайтов, которые каким либо образом прервали обработку сайта, или просто ошибки о которых вы хотели бы знать записываются в файл лога, которые при следующем запуске сервиса отображаются, что позволяет на 100% знать какие сайты были обработаны успешно, а какие нет.

Обработанные страницы сайта возможно просмотреть в виде списка (базы ссылок сайта) разделенных на категории (ссылки внутренние - страницы сайта, ссылки внешние, и все изображения на сайте). В редакторе базы ссылок можно как добавить новые ссылки, так и удалить, изменить и создать файл карты сайта из выбранных в списке ссылок.

Если считаете, что чего-то не хватает - буду признателен за предложение по улучшению / пополнению функциональности.

По любым вопросам обращайтесь.

 

Дата добавления: 2010-11-21 22:54:42, просмотров: 8438