Сканер сайта и карта структуры
Онлайн-сканер сайта: найдите внутренние страницы и быстро посмотрите карту структуры URL.
Карта сайта выглядит запутанной? Возможно, проблема глубже
Я могу посмотреть сайт комплексно: структуру URL, вложенность, индексацию, редиректы, canonical, robots, мета-теги, внутреннюю перелинковку и причины, почему важные страницы получают мало трафика или заявок из поиска.
Что показывает сканер сайта
Инструмент помогает увидеть, какие внутренние страницы доступны при обходе, насколько глубоко они находятся и как связаны между собой. Для больших сайтов карта строится постепенно, а результат можно открыть по share-ссылке или выгрузить в CSV/JSON.
Когда стоит использовать
- после запуска нового сайта;
- перед SEO-продвижением;
- после изменения меню и структуры;
- при проверке дублей и лишних страниц;
- после переноса сайта на новую CMS.
На что обратить внимание
- слишком глубокие страницы;
- страницы с ошибками 4xx/5xx;
- важные URL, до которых сложно добраться;
- разделы, которые раздувают структуру;
- страницы без понятного title.
Что проверить после сканирования сайта
Вопросы о сканировании сайта
Что изменилось в Site Crawler v2?
Сканирование идёт чанками до 500 URL, результат сохраняется в JSON, карта строится на Cytoscape.js, а завершённый результат можно открыть по share-ссылке и выгрузить в CSV/JSON.
Почему share-страница не показывает внешние URL как ссылки?
Share-страница является визуализатором данных, а не каталогом исходящих ссылок. Поэтому URL открываются только по действию пользователя через JS, а в HTML не публикуются как внешние href.
Можно ли сканировать внешние домены?
Нет. MVP сканирует только тот же host, что и стартовый URL. Это снижает риск SSRF, случайного обхода чужих сайтов и лишней нагрузки.
Где XLSX-экспорт?
В текущей сборке сайта нет установленной XLSX-библиотеки. Поэтому безопасный MVP добавляет CSV и JSON, а настоящий XLSX лучше добавить отдельным патчем после проверки зависимости.