Xenu's link sleuth инструкция по применению. Xenu формирует отчеты как в собственном файловом формате, так в текстовом для дальнейшего экспорта в excel

Сегодня хочу рассмотреть вопрос, о технической составляющей наших сайтов, и предлагаю каждому заглянуть под "капот" своего сайта или блога. Действительно ли с вашим сайтом все в порядке, как это кажется на первый взгляд? Поговорим о программе Xenu, которая поможет найти битые, исходящие и другие непригодные ссылки на вашем ресурсе.

Программа Xenu - проводим технический аудит на сайте

Приветствую, совсем я пропал и перестал заниматься своим блогом. Все больше ухожу в работу с коммерческими сайтами. Воспользуюсь небольшим перерывом и поделюсь полезной программой Xenu для Веб-мастеров, которая уже ни раз меня выручала. Работаю с ней уже довольно давно и постоянно применяю на практике.

Используя программу Xenu вы можете найти все исходящие и битые ссылки на своем сайте.

Коротко расскажу один интересный случай, который случился несколько месяцев назад. На одном из сайтов, над которым я работаю, в частности интернет-магазин произошел взлом. Моя коллега, большое ей спасибо, заметила в нескольких карточках с товаром, подозрительные ссылки на другие сайты. Данные ссылки никак не могут присутствовать на нашем ресурсе, так как мы его используем для клиентов. Сразу же запустили Xenu, на этом сайте довольно много страниц, поэтому проверка занимает примерно 1-2 часа.

В конце проверки мы обнаружили порядка 20 исходящих ссылок, в том числе, на сайты 18+ и интернет-казино. Так же удалось вычислить злоумышленника, так как он оставил исходящую ссылку и на себя. Да, существует такая биржа в интернете, которая продает ссылки со взломанных сайтов, возможно кое-кто о ней слышал.

В результате мы все почистили, так же нашли пару интересных скриптов и заменили пароли. Последствия были не сильно ощутимы, но потеряли немного трафик в Google, так как отреагировали примерно спустя неделю... Перейдем к практике.

Проверка исходящих и внешних ссылок

Основываясь на истории, которую я вам рассказал, если вы заподозрили, что с вашим ресурсом что-то не так (к примеру потеря позиций или трафика), советую периодически прогонять свой сайт или блог с помощью данной программы. Вы даже можете это сделать сейчас, в целях профилактики, вместе со мной.

Первое, что мы с вами посмотрим, это как обнаружить внешние ссылки. Xenu вы можете скачать по ссылке программа для проверки внешних ссылок .

1. Запускаем программу, вводим адрес нашего сайта и нажимаем ОК.

Ждём пока робот, пробежит по всем нашим страничкам. В зависимости от того, на сколько много у вас страниц, сканирование длится от нескольких минут до нескольких часов.

2. Как только робот обошел все страницы, мы видим список различных ссылок, которые присутствуют на нашем ресурсе. Для того, что бы было проще увидеть и найти исходящие ссылки с вашего сайта, сортируем ссылки по полю "Address". Смотрим на начало списка и конец, и вот наши внешние ссылки.

3. Для того, что бы быстро найти страницы откуда проставлена внешняя ссылка, необходимо при нажатии, правой кнопкой мыши по "плохой" ссылке выбрать "URL properties".

Ищем битые ссылки на сайте с Xenu

Теперь давайте проверим, есть ли на сайте битые ссылки, которые отдают 404 код и как их найти. Основная причина появления таких ссылок, это то, что адрес (URL) страницы, на которую ведет ссылка поменялся или страница удалена, а ссылка осталась. Так же есть и другие причины.

При такой сортировке, вы так же сможете найти и ссылки по которым происходит редирект, что тоже очень полезно.

Я рассказал вам основные два моменты по поиску внешних и битых ссылок на сайте с помощью Xenu. Программа является бесплатной и на сколько я знаю, уже довольно старая и не обновляется, но для нас главное, что работает.

Так же я использую данную программу, при "первом знакомстве" с сайтом, которым начинаю заниматься.

На этом все, если у вас есть другой интересный софт на данную тему, делитесь в комментариях!

Xenu – это сокращенное название программы Xenu’s Link Sleuth, предназначенной для внутреннего аудита сайта и поиска битых ссылок.

При изменении структуры сайта или URL-адресов на других страницах могут оставаться неактуальные ссылки, ведущие на старые несуществующие адреса. Именно поиск таких ссылок и является основной задачей Xenu. Программа является бесплатной, потому она очень популярна во всем мире. Это простой софт, позволяющий в короткие сроки проанализировать сайт на наличие битых ссылок и не только.

Возможности Xenu

Помимо поиска неработающих и битых ссылок, программа умеет:

искать изображения, фреймы, скрипты, плагины, стили и др.;
искать страницы с большим временем отклика;
искать страницы с большим весом;
искать страницы с большим уровнем вложенности;
проводить анализ внутренней перелинковки;
искать одинаковые заголовки Title;
искать изображения без атрибута alt;
составлять карту сайта;
проверять защищенные сайты по протоколу SSL (https://).

Xenu способна анализировать как весь сайт, так и его отдельные страницы. Также есть возможность проанализировать локальные документы на ПК.

В процессе анализа в основном окне будут отображаться результаты. В дальнейшем их можно будет экспортировать, допустим, в Excel.

Как работает программа

Чтобы начать анализ сайта в Xenu, необходимо запустить софт и нажать на вкладку File. Далее выбрать первый пункт Check URL.

Указываем адрес сайта, отдельных страниц или путь к документу на ПК.

После запуска в основном окне программы будут отображаться результаты анализа. Анализироваться будут как URL-адреса страниц, так и ссылки на различные файлы.

С помощью различных табуляторов вы сможете отсортировать ссылки по разным параметрам: Status (битая или нет), Type (формат файла), Size (размер страницы), Title (заголовок) и Level (уровень вложенности).

Доброго времени суток! На прошлой неделе вернулась из деревни, где провела незабываемое время полного релакса! Погода выстояла отличная, дни напролет мы проводили в реках, озерах, лесах, полях. Свежий воздух и ни души вокруг - вот это настоящий отдых!

Продолжаем изучать тему оптимизации блога на WordPress. Ранее мы детально рассмотрели вопрос проверки сайта на и вручную и с помощью плагина. Сегодня мы подробно остановимся на 2х десктопных программах, выполняющих эти задачи автоматически, разберем их основные настройки и параметры технического аудита. Это - Xenu’s Link Sleuth и Netpeak Spider, бесплатные инструменты для seo-анализа блога.

Как пользоваться программой Xenu.

Работать с этой программой не сложно, а в результате получается подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Помимо своего основного предназначения, проверки битых ссылок, Xenu может выполнять и другие задачи:

составление карты сайта;
определение времени загрузки страниц;
поиск неуникальных тайтлов;
выявление страниц со значительным уровнем вложенности;
определение количества внешних и внутренних ссылок на сайте;
выявление картинок без атрибута alt.

Обозначенные моменты весьма немаловажны для развития ресурса. Решение данных задач послужит для оптимизации вашего вордпресс-блога. Поэтому предлагаю вам внимательно изучить инструкцию по работе с Xenu Link Sleuth. Начнем.

Данное приложение является бесплатным. Скачать программу Xenu можно по ссылке: xenus-link-sleuth.en.softonic.com .

Разархивируем файл и запускаем Setup.exe. После установки программы можно приступать к настройке её основных параметров. Следует отметить, что Xenu написана для Windows и не работает с другими операционными системами.

Интерфейс приложения англоязычный, но он лаконичен и достаточно прост. Чтобы создать новую проверку, нужно кликнуть по первой пиктограмме в левом верхнем углу окна программы или пройти по пути «File» - «Check URL». В результате откроется окно «Xenu’s starting point» с базовыми настройками:

Вверху вписываем адрес инспектируемого ресурса. Если вы хотите включить в проверку ссылки на внешние ресурсы, следует оставить галочку возле пункта « Check external links» . Кнопка « Local file» предназначена для выбора файла на вашем компьютере, если вы хотите проанализировать таковой.

В поле « Consider URLs beginning with this as ‘ internal’:» вы можете добавить такие страницы, которые относятся непосредственно к проверяемому сайту, но имеют отличный от главной страницы адрес. Например, https:// forum.ВашСайт. ru .

В поле же « Do not check any URLs beginning with this:» можно перечислить те линки, которые вы хотите исключить из проверки программой Xenu.

В нижней части расположена кнопка « e- mail» . Она потребуется вам в том случае, если вы захотите получить отчет о проделанном анализе блога на свой e-mail с помощью SMTP-Server:

« e- mail report and quit when done» - выберите этот пункт, если хотите получить весь отчет сразу по завершению работы приложения;

« e- mail only if there are broken links» - при выборе этого варианта отчет придёт, если будут найдены битые ссылки.

Помимо этого, в Xenu предусмотрено большое количество дополнительных настроек. Их можно вызвать, кликнув по кнопке « More options» .

Перед нами открывается вкладка «Basic Options». Первый параметр - « Parallel Threads» . Он регулирует количество параллельных синхронных запросов. Другими словами, какое число ссылок будет проверяться одновременно. Рекомендуется не превышать значение по умолчанию, чтобы не перегружать сервер и не влиять на корректность проводимого аудита. Пункт « Maximum Depth» устанавливает максимальную глубину вложенности страниц, на которой будет проводиться работа программы Xenu. Здесь тоже можно оставить дефолтное значение. Если поле « Treat redirections as error» отметить галочкой, редиректы будут рассматриваться приложением как ошибка.

Справа расположен блок чекбоксов « Report» . Он служит для того, чтобы настроить вывод отчета после сканирования сайта. Выберите те параметры, показатели которых вы хотите видеть в итоге:

« Broken links, ordered by links» - битые ссылки, сгруппированные по URL-адресам;

« Broken links, ordered by page» - аналогично, битые ссылки, но сгруппированные по страницам;

« Broken local links» - внутренние битые ссылки;

« Redirected URLs» - адреса с 301-ым и 302-ым редиректами;

« Ftp and gopher URLs» - URL с протоколами, отличными от http;

« Valid text URLs» - не битые (рабочие) ссылки;

« Site Map», « Statistics» - добавить в отчет карту сайта, статистику;

« Orphan files» - файлы-одиночки, т.е. те, на которые ссылок нет.

Если мы хотим применять данные настройки для всех проектов, нужно отметить галочкой поле « Apply to all jobs».

Сделав настройки Xenu, жмем «ОК». Программа начинает аудит сайта. Она проходит по всему блогу и определяет наличие ссылок. Если возникает необходимость приостановить работу приложения, на панели вверху есть кнопки «Pause» (приостановить), «Stop» (прервать), «Continue» (продолжить). Сколько будет длиться анализ ресурса, зависит от количества страниц, одновременных потоков, скорости соединения и загруженности сервера. По завершению работы, появляется диалоговое окно, сообщающее об этом и предлагающее вывести отчет.

Если соглашаемся, Xenu формирует htm-документ с результатами проделанного анализа в режиме реального времени.

Теперь разберем, как можно пользоваться данными, полученными с помощью Xenu Link Sleuth, в самой программе. Результаты seo-анализа сайта расположены в нескольких столбцах. « Address» содержит список всех найденных URL. Для того, чтобы получить более детальную информацию о какой-то конкретной ссылке, кликаем по ней правой кнопкой мыши, в появившемся контекстном меню выбираем пункт «URL properties». Открывается окно, в котором отображены следующие характеристики линка:

«Page URL» - страница, на которую ведет ссылка;
«Title or link text» - атрибут title или анкор ссылки в материале нашего блога;
«1 page linking to this one» - URL страницы, где находится ссылка.

Далее идет столбец « Status » , где указаны статусы всех ссылок. Если мы хотим отфильтровать битые ссылки, достаточно просто кликнуть по названию колонки. Нерабочие ссылки, выделенные красным цветом, будут сгруппированы программой Xenu в верхней части страницы.

not found - ссылка не найдена;
no such host – данный URL не существует;
no connection – сервер не отвечает. В данном случае следует уменьшить количество одновременных потоков в настройках и повторить проверку.

Закладка « Type» позволяет сортировать файлы по типу расширения: картинки, html/css-файлы и т.д.

Во вкладке « Size» собрана информация о весе файлов в Кб. Этими данными можно воспользоваться, чтобы найти и сжать самые тяжелые изображения на блоге.

В колонке « Title» можно отсортировать результаты по одноименному мета-тегу title. Это дает возможность найти дубли страниц по визуальному совпадению заголовков.

Также приложение предоставляет информацию по таким параметрам:

« Level» - глубина вложенности страницы, на которой находится URL;

« Out Links» - количество исходящих ссылок на конкретной странице;

« In Links» - входящие ссылки, ведущие на определенную страницу.

Воспользовавшись инструкцией по работе с Xenu Link Sleuth и проанализировав результаты seo-анализа, вы с легкостью сможете устранить все битые ссылки и большинство дублей на вашем блоге.

Netpeak Spider: определение основных сео-параметров сайта.

Данная программа является аналогом Xenu. Она позволяет просканировать сайт на наличие ошибок, связанных с внутренней оптимизацией. При этом приложение имеет русскоязычный интерфейс, что значительно упрощает работу с ним. И если вы уже знакомы с программой Xenu, выполнить настройки Netpeak Spider для вас не составит труда.

Вот список тех параметров, которые можно получить в результате аудита сайта с помощью данной программы:

« URL» — адрес просканированной страницы;
«Глубина» — уровень вложенности страницы;
« LinkCanonical» – наличие атрибута rel =”canonical” и адрес, на который он указывает;
«Ответ» — ответ сервера (3ХХ-5ХХ);
« Title», « Description», « Keywords» — содержание соответствующих мета-тегов;
« robots. txt» — разрешена или запрещена (allowed/disallowed) индексация страницы;
« MetaRobots» — наличие мета-тега «robots»;
«Редиректы» — количество перенаправлений со страницы;
«Заголовки (H1)» — количество заголовков первого уровня;
«Ссылки с этой страницы», «Ссылки на эту страницу» — количество всех ссылок, исходящих с этой страницы и ведущих на эту страницу соответственно;
«Внутренние ссылки» ;
«Внешние ссылки» ;
« PR», « PR (без сквозных ссылок) » — внутренний показатель Page Rank страницы, внутренний показатель Page Rank страницы без учета сквозных ссылок;
«Дубли по Title», «Дубли по Description», «Дубли по Keywords» — группы страниц с соответственным повторяющимся мета-тегом.

Скачать программу можно по ссылке — netpeak.ua/software/netpeak-spider . Приложение бесплатное, но необходимо пройти несложную регистрацию. После этого на электронную почту нам будет выслан ключ активации, которым надо воспользоваться при установке программы. Сам процесс установки стандартный: запускаем файл.exe и следуем инструкциям Netpeak Spider.

После запуска приложения, открываем окно с необходимыми настройками: «Настройки» — «Сканирование». Выбираем необходимые параметры, сохраняем.

В основном окне программы прописываем адрес проверяемого ресурса, указываем количество параллельных потоков и глубину вложенности страниц. Запускаем сканирование (пиктограмма справа от поля для вставки URL).

Полученные результаты можно фильтровать по такому же принципу, как и в программе Xenu. Для доступа к детальной информации об интересующем нас показателе достаточно вызвать контекстное меню кликом правой кнопки мыши. Так, к примеру, если мы хотим увидеть список всех исходящих ссылок на конкретной странице, кликаем по количеству и выбираем в появившемся окне пункт «Посмотреть все ссылки с этой страницы».

Для поиска дублей справа от основного размещено окно поменьше. Здесь предлагается кнопка «Найти дубли» и возможность выбрать критерий фильтрации – «По title», «По description» или «По keywords». Результаты аудита можно сохранить в виде файла Excel. Для этого следует кликнуть по основному меню в верхней области окна «Экспорт в Excel».

В заключение следует упомянуть, что и Xenu Link Sleuth, и Netpeak Spider зарекомендовали себя как отличные инструменты для проверки битых ссылок и имеют множество положительных отзывов среди веб-мастеров. Отмечу, что хотя функционал Netpeak Spider несколько шире, в отличии от Xenu, в ней нет возможности повторно открыть проверяемый файл.

Поиск неработающих (битых ссылок) на заданном ресурсе. Это основная задача программы. Проверяются html, php ссылки, а также изображения, фреймы, скрипты, стили. Реализована возможность проверки адресов https. Найденные битые ссылки должны быть исправлены или удалены.
Составление карты сайта. Эта функция позволяет автоматизировать создание карты сайта (в формате XML) для статистических html ресурсов.
Поиск страниц с большим временем отдачи. Уменьшение времени отклика страницы улучшает сайта и положительно влияет на его ранжирование поисковыми системами.
Поиск неуникальных тайтлов. Страницы с неуникальными тайтлами могут фильтроваться как дублированный контент и отображаться в дополнительных результатах поиска.
Поиск страниц с большим уровнем вложенности. Результаты отображаются в столбце отчета «Level».
Поиск страниц с большим количеством исходящих ссылок, а также аудит внутренней перелинковки сайта.
Нахождение изображений с незаполненным тегом alt и другие.

Работа программы

С помощью Xenu можно проанализировать весь сайт, его отдельные разделы или локальные документы на компьютере. Для начала аудита предназначен пункт меню File Check URL или соответствующая кнопка на панели инструментов.

В рабочем окне программы отчет формируется в процессе анализа, битые ссылки выделяются красным цветом. Результаты могут быть обработаны до завершения проверки.

XENU Link Sleuth 1.3.8 – скачать бесплатно программу для обнаружения «битых» ссылок на сайте. Программа предназначена в первую очередь для веб-разработчиков, которые создают и тестируют сайты, а также для SEO-специалистов.

При разработке сайтов, а затем при их продвижении нужно тестировать их на наличие так называемых «битых» ссылок, которые могут возникать на сайте со временем. В первую очередь наличие нерабочих ссылок плохо сказывается на впечатлении от сайта для пользователя, а во-вторых, сайты с неработоспособными ссылками ранжируются хуже, то есть располагаются в списке поиска ниже, чем сайты, в которых такие отсутствуют. Поэтому, чтобы проанализировать весь сайт требуется специальное программное обеспечение, так как вручную проделать такую работу не представляется возможным. XENU Link Sleuth именно для этого и предназначена.

Описание программы XENU Link Sleuth

Данное ПО имеет обычный интерфейс, который позволяет просто и надежно «общаться» с программой. Он не предназначен для того, чтобы нести какое-то визуальное удовлетворение от использования, но полностью справляется со своей задачей.

Для того, чтобы вам проверить «битые ссылки» на сайте необходимо перейти в пункт «Проверить URL» в верхнем меню программы XENU Link Sleuth. Затем, откроется модальное окно, в котором в поле «URL» нужно ввести соответствующую ссылку на сайт. Вводить ссылку нужно внимательно, без протокола доступа, то есть без «http://», а только адрес сайта. Здесь же, вам предоставляется возможность проверить не только внутренние, но и внешние ссылки. Для этого необходимо выставить флажок (галочку) в соответствующем поле.

Также, в данном окне присутствует кнопка с дополнительными опциями. Она позволяет вам настраивать процесс сканирования сайта. Например, вы можете установить количество одновременных потоков, которые будет проверять ссылки. Это позволяет увеличить производительность и скорость работы программы. Также, вы можете указать глубину уровней проверки ссылок, и так далее.

После всех настроек нажимаем «ОК» и ждем окончания сканирования. В результате вы получаете список всех ссылок сайта, где зеленым цветом отмечены работоспособные ссылки, а красным – нет. После этого, вам необходимо просмотреть и решить проблему уже вручную или с помощью своего веб-мастера.