для чего используется spider
Мощная среда разработки Python, которая объединяет множество библиотек для научного использования. Инструкция по переводу интерфейса Spyder IDE на русский.
Мощная среда разработки для Python, работающая на Windows, Mac OS и GNU/Linux, которая объединяет множество библиотек для научного использования : Matplotlib, NumPy, SciPy и IPython. Spyder написана на Python для Python и разработана учеными, инженерами и аналитиками данных для себя. Она предлагает уникальное сочетание расширенных функций редактирования, анализа, отладки и профилирования комплексного инструмента разработки с исследованием данных, интерактивным выполнением, глубокой проверкой и прекрасными возможностями визуализации научного пакета. Частично переведена на русский язык.
В ранних версиях Spyder IDE называлась Pydee. Она создана и разработана Пьером Рейбо в 2008 году, Spyder с 2012 года поддерживается сообществом разработчиков, которое в целом принадлежит к научному сообществу Python.
Spyder расширяется с помощью подключаемых модулей, имеет поддержку интерактивных инструментов для проверки данных и инструменты обеспечения качества и анализа, специфичные для кода Python, такие как Pyflakes, Pylint и Rope. Также она входит в состав пакета программ Anaconda в качестве основной интегрированной среды разработки.
Среда разработки на Python является кросс-платформенной и имеет открытый исходный код, а также предназначается для научного программирования. Spyder интегрируется с рядом выдающихся пакетов из Python Scientific Stack, включая NumPy, SciPy, Matplotlib, Pandas, IPython, SymPy и Cython.
Она использует инструментарий Qt для собственного графического интерфейса и поэтому доступна на всех платформах в Windows, в MacOS через MacPorts и в Linux.
Особенности:
Помимо множества встроенных функций, возможности Python-среды разработки Windows можно расширить еще больше с помощью системы плагинов и API. Кроме того, можно использовать в качестве библиотеки расширений PyQt5, что позволяет использовать его функциональные возможности и встраивать его компоненты, такие как интерактивная консоль, в собственное программное обеспечение.
Основные компоненты Spyder IDE
Редактор исходного кода
Эффективный редактор с многоязычным интерфейсом и браузером функций / классов, инструменты анализа кода в режиме реального времени (pyflakes, pylintи pycodestyle), автоматическое завершение кода (jedi и rope), горизонтальное / вертикальное разделение и переход к определению.
Интерактивная консоль
Поддержка любого количества консолей IPython с полной рабочей областью и поддержкой отладки, и все это в пределах гибкости полного графического интерфейса. Мгновенный запуск кода по строкам, ячейкам или файлам и визуализация графиков прямо в выводе или в интерактивных окнах.
Средство просмотра документации
Визуализация документации в реальном времени с помощью Sphinx для любого класса или функции, будь то внешние или созданные пользователем, либо из редактора, либо из консоли.
Проводник переменных
Проверка любых переменных, функций или объектов, созданных во время сеанса. Редактирование и взаимодействие поддерживаются многими распространенными типами, включая числовые / строковые / булевы, списки / кортежи / словари Python, временные интервалы, массивы Numpy, индекс / серии / кадры данных Pandas, изображения PIL и многое другое.
Инструменты разработки
Возможность изучить свой код с помощью статического анализатора, отслеживание его выполнения с помощью интерактивного отладчика и просмотр его производительности с помощью профилировщика. Упорядочивание вещей с помощью поддержки проектов и встроенного файлового проводника, а также использование функции поиска в файлах для поиска по всем проектам с полной поддержкой регулярных выражений.
Зависимости среды и её интерфейс
Основные зависимости для запуска Spyder:
Обзор инструмента Netpeak Spider
Какой основной функционал Netpeak Spider:
Задачи, с которыми справляется краулер:
Кому предназначен инструмент:
Как и в случае с Чекером, Netpeak Spider пользователю предлагается тестовый период на 14 дней для ознакомления с функционалом и возможностями.
Внимание!
Получить скидку 10% на приобретения лицензии можно по нашему промокоду: 5fb419e9.
Для чего можно использовать Netpeak Spider
В первую очередь, с помощью инструмента Netpeak Spider можно провести полный анализ своего сайта, либо сайта-конкурента и быстро найти недочеты и ошибки в его оптимизации. Самыми главными и распространенными ошибками, которые в итоге могут усугубить продвижения сайта, являются:
Все это можно быстро найти с помощью “паука” и составить ТЗ для программистов на исправление той или иной ошибки. В PDF-отчете, который можно сохранить после сканирования сайта, Вы увидите полный перечень ошибок, которые есть на сайте. К примеру, на отсканированном нами сайте есть 1 битая ссылка и еще 267 страниц с 301 редиректом:
429 URL адресов, которые скрыты от индексации:
242 страницы с медленной загрузкой:
39 страниц со смешанным контентом:
Дубли мета-тегов и их отсутствие:
Анализ контентной составляющей сайта:
Перечень критических ошибок на сайте:
Благодаря такому подробному отчету, можно быстро сформировать ТЗ для программистов, верстальщиков и контент-менеджеров и настроить сайт под требования поисковых систем. Это позволит повысить его авторитетность в поисковой выдачи по конкурентным запросам.
Настройки программы для анализа сайта
Сейчас мы опишем весь функционал инструмента Netpeak Spider, а также тщательно разберем его настройки.
Первое, что увидит пользователь, будет следующее окно.
Далее переходим к этапу настройки робота. Существует 10 вкладок с настройками. Пройдемся по каждой вкладке более подробно.
Основные настройки
Тут вы выбираете язык, скорость сканирования, а также задаете базовые настройки.
Настройки для профессионалов
Тут мы выбираем, какие инструкции будут учитываться по индексации, сканирование ссылки из тега ˂link˃, задать возможность автоматического приостановления сканирования.
Robots.txt
Создан для тестирования нового или обновленного файла robots.txt, а также анализа восприятия сайта поисковыми системами.
Парсинг
Используется для извлечения данных таких как, например, проверка наличия js-скрипта Analytic от Google и микроразметки, контактные данные, параметры товаров и прочее.
User Agent
Используется для тестирования доступности сайта для самых различных поисковых ботов (Google, Bing и др.), браузеров. А также тестирование контента на мобильных устройствах.
Ограничения
Данный параметр устанавливает временное ограничения сканирования, а также некоторые ограничения в ошибках. Обратите внимание, что установленные ограничения будут учитываться при создании конечного отчета результатов.
Правила
Вы добавляете собственное правило, которое позволит ограничить список страниц определенными критериями.
Экспорт
Тут вы задаете формат файлов экспорта, региональные установки и задаете другие параметры, которые хотите, чтоб были учтены при формировании файла с отчетом.
Аутентификация
Позволяет запустить краулер на сайт, который закрыт для индексации. Но для этого требуется введение логина и пароля. Полезная настройка для анализа ресурсов, который в момент анализа находится на техобслуживании или еще в разработке.
Прокси
Открывает возможность добавления и удаления списков прокси-серверов, которые в дальнейшем будут использоваться при анализе сайта. Таким образом, Вы можете тестировать ресурс с использованием разных локаций.
Помимо основных настроек в правой части есть еще окно с параметрами. 54 параметра объединены в группы:
О каждом параметре есть информация. Для этого кликните по его названия и в левой части диалогового окна появится «Информация».
Параметры могут задаваться вручную или шаблонно.
Анализ оптимизации сайта при помощи Netpeak Spider
В адресную строку вводим URL сайта. Возможно также не всего сайта целиком, а только отдельных страниц. Для этого открывайте меню «Список URL» и загружайте перечень адресов, которые необходимо просканировать инструментом. Когда данные введены, нажимаем кнопку «Старт». Пользователь имеет возможность наблюдать за процессом сканирования в режиме реального времени.
На панели отображаются следующие данные:
Результаты сканирования и отчеты
Сейчас мы тщательно разберем все возможные вкладки Netpeak Spider, которые отображаются после анализа:
Отчеты и вкладки, которые отображаются на боковой панели:
Сохранение результатов
Пример отчета по сканированию сайта в PDF-формате:
Вывод
Netpeak Spider — это идеальный инструмент для быстрой и качественной проверки оптимизации как своего сайта, так и сайтов конкурентов. С его помощью можно найти все существующие ошибки на сайте, которые в итоге могут влиять на результативность его продвижения в поисковых системах. Большой набор функций позволит проверить сайт и каждую страницу от А до Я.
Внимание!
Получить скидку 10% на приобретения лицензии можно по нашему промокоду: 5fb419e9.
Выбираем самый удобный редактор кода Python
Примечание автора: каждый упомянутый в этой статье редактор хорош по-своему. Список — это только краткое руководство, основанное на моем личном опыте. Одни редакторы могут нравиться вам больше других. В конце концов, выбор редактора или среды разработки за вами. Нет неправильного или правильного выбора.
1. Python IDLE
IDLE — редактор, поставляемый вместе с Python. Это базовый, упрощенный режим программирования на Python. Тем не менее, IDLE хороший редактор для начала программирования и понимания основ языка. В нем есть оболочка Python — интерактивный интерпретатор. Его возможности обширны: автозавершение кода, подсветка синтаксиса, подбор отступа и базовый встроенный отладчик.
2. Sublime Text
Sublime Text — свободное программное обеспечение с широкой поддержкой сообщества. Редактор работает с несколькими языками программирования. В большинстве случаев можно использовать незарегистрированный Sublime Text, но время от времени вы будете получать всплывающее окно с просьбой зарегистрировать продукт и приобрести лицензию. Sublime Text тонко настраивается и дополняется пакетами для отладки, автозавершения кода, линтинга и т.д.
3. Visual Studio Code
Visual Studio Code — бесплатный редактор кода от Microsoft для Windows, Linux и MacOS. Его возможности — отладка, подсветка синтаксиса, интеллектуальное завершение кода, предопределённые фрагменты кода, рефакторинг и интеграция с Git. Поддерживаются различные языки программирования. Для начала работы с Python может понадобиться несколько дополнительных пакетов, но установить их довольно просто. Редактор постоянно обновляется. Visual Studio Code — один из лучших редакторов не только для Python, но и для других языков программирования. Я часто пользуюсь VSC и очень рекомендую его.
4. Jupyter Notebook
Jupyter Notebook — это веб-приложение с открытым исходным кодом, позволяющее создавать документы с выполняемым интерактивно кодом, уравнениями, визуализациями, простым текстом. Конечно, такими документами просто поделиться. Jupyter Notebook используется для очистки и преобразования данных, численного и статистического моделирования, визуализации данных, машинного обучение и многого другого. Этот редактор — хороший вариант для начала работы с наукой о данных и машинным обучением. Файлами можно поделиться с кем угодно, они помогают эффективнее работать с кодом. Я настоятельно рекомендую Jupyter Notebook, поскольку можно работать с каждым блоком кода отдельно. Также есть возможность использовать разметку. Среда Jupyter Notebook широко используется во многих успешных компаниях.
5. PyСharm
PyCharm — это интегрированная среда разработки специально для Python. Разработана чешской [прим. перев. — автор ориентируется на расположение головного офиса] компанией JetBrains. Редактор разработан специально для Python, так что имеет широкий набор возможностей, таких как автозавершение и инспекции кода, подсветка ошибок, исправления, отладка, система контроля версий и рефакторинг. IDE доступна на Microsoft Windows, Linux и MacOS. Есть бесплатная и платная профессиональная версии. Профессиональная IDE имеет несколько дополнительных функций, но бесплатной версии достаточно для большинства задач. Я настоятельно рекомендую PyCharm, если у вас есть как минимум 8 Гб оперативной памяти.
6. Thonny
IDE Thonny предустановлена на системы Linux и системы на ее основе. Мой опыт работы с этим редактором в основном связан с Raspberry Pi. Это отличная, простая среда разработки для начинающих. Thonny хорошо подходит Raspberry Pi. Некоторые возможности: подсветка синтаксических ошибок, отладчик, автозавершение кода, пошаговое вычисление выражений.
7. Spyder
Spyder — это мощная научная интегрированная среда программирования, написанная на Python, для Python. Она разработана учеными, инженерами и аналитиками данных для них самих. Spyder обладает уникальным сочетанием возможностей. Продвинутое редактирование, анализ, отладка и профилирование сочетается с возможностями исследования данных, интерактивного выполнения, глубокой инспекции кода и красивой визуализацией. Установить Spyder просто: скачайте его как часть дистрибутива Anaconda. Разработчики рекомендуют последнюю 64-битную версию Python 3, если у вас нет особых требований.
8. Atom
9. VIM
Vim — это текстовый редактор, предустановленный в системах MacOS и UNIX. Большинство экспертов любят vim за развитые вычислительные возможности и легкую, компактную среду разработки. Он не рекомендуется начинающим, так как изучать его трудно. Можно добавить плагины подсветки синтаксиса, автозавершения кода, отладки, рефакторинга и другие к Vim и использовать его как Python IDE. [Прим. перев. На скриншоте GVim — версия Vim с графическим интерфейсом].
10. Notepad++
Notepad++ — это редактор текста и исходного кода, работающий на Microsoft Windows. Поддерживается редактирование с вкладками, что позволяет работать с несколькими открытыми файлами в одном окне. Название проекта происходит от оператора инкремента языка С. Notepad++ распространяется как свободное программное обеспечение. Редактор поддерживает множество языков программирования и может быть полезным. На мой взгляд, есть и лучшие варианты. Кроме того, нужно установить дополнительные пакеты, чтобы сделать редактор функциональным для программирования на Python.
11. Онлайн редакторы
На Programiz, tutorials point, w3schools и некоторых других сайтах есть редакторы с удивительными возможностями.
Расскажите, в каком редакторе для Python вы пишете код и почему?
Получить востребованную профессию с нуля или Level Up по навыкам и зарплате можно, пройдя онлайн-курсы SkillFactory:
Netpeak Spider 3.2: рендеринг JavaScript и аудит в PDF
Читайте этот пост на английском языке
Поделиться этим постом
Друзья, из этого поста вы узнаете, что мы приготовили для вас в рамках долгожданного релиза Netpeak Spider 3.2 🙂 Нам прямо не терпится поделиться подробностями, но для начала — небольшой видеотизер.
А теперь приступим к деталям. Если вы хотите перейти к конкретному разделу, поберегите ваши колёсики на мышках и воспользуйтесь содержанием:
1. Рендеринг JavaScript
Прежде чем рассказать об особенностях этой долгожданной функции в нашем краулере, давайте вспомним, как Google индексирует контент, который добавляется на страницу скриптами.
Не терпится скорее попробовать рендеринг JavaScript? Скрыть подробности и перейти к особенностям настройки функции в Netpeak Spider.
1.1. Что такое рендеринг JavaScript
Выполнение или рендеринг JavaScript — это формирование окончательного слепка HTML-кода страницы, учитывая изменения, внесённые JS-скриптами.
Изначально поисковые роботы сканировали и индексировали только контент, который передавался в статическом исходном коде HTML. Однако сейчас при разработке сайтов всё чаще используют JS-фреймворки, когда контент частично или полностью добавляется с помощью JavaScript. Вот наглядный пример HTML-кода до и после выполнения JavaScript с нашего же сайта:
12 месяцев
12 месяцев
Google пришлось подстроиться под развитие веб-технологий, и сейчас он уже обрабатывает и рендерит контент, который добавляется на страницу с помощью JavaScript. Их сервис веб-рендеринга (WRS) основан на браузере Chrome.
Поисковый робот Google сканирует сайты в две стадии:
Разделение индексации и рендеринга позволяет Google максимально быстро проиндексировать контент, который доступен без JavaScript, а потом вернуться и добавить контент, для которого он требуется.
Если на первом этапе Google не получил важный контент страницы, то добавление этого контента в индекс будет происходить на втором этапе, где возможны задержки.
Есть два способа передачи контента, которые используют современные веб-приложения:
Продвинутый SEO-специалист должен разбираться в этих аспектах. По сути JavaScript SEO — это обеспечение того, что контент, который добавляется на страницу с помощью JavaScript, успешно обрабатывается поисковым роботом, попадает в индекс и учитывается в ранжировании.
Дальше мы объясним, зачем обработка JavaScript нужна в современных SEO-инструментах, и как её использовать.
1.2. Зачем рендеринг JavaScript нужен в краулере
Если вы попытаетесь просканировать сайт, на котором используется CSR, традиционным способом (анализируя только HTML), краулер не сможет обнаружить данные, которые добавляются с помощью JavaScript (ссылки, описания, изображения и т.д.), а следовательно и найти ошибки на таком сайте.
Поэтому, чтобы обработать подобные сайты как Googlebot, краулеру нужен браузер для выполнения JavaScript → чтобы загрузить весь контент с учётом изменений, внесённых скриптами, и только потом анализировать его.
1.3. Как настроить рендеринг JavaScript в Netpeak Spider
В Netpeak Spider рендеринг JavaScript реализован с помощью встроенного браузера Chromium, на основе которого создан самый популярный в мире браузер Chrome. Мы используем одну из последних версий Chromium, что делает сканирование в Netpeak Spider максимально продвинутым и приближённым к поведению Googlebot, но не идентичным, так как Google использует старую версию браузера Chrome 41, которая не поддерживает некоторые современные особенности JavaScript.
Чтобы начать сканирование страниц с выполнением скриптов JS, зайдите в настройки → вкладка «Основные» → отметьте галочкой пункт «Включить рендеринг JavaScript и установить AJAX timeout, c»:
Настройка «AJAX timeout» устанавливает время ожидания выполнения JavaScript после загрузки страницы и файлов ресурсов (JS / CSS). Это нужно, чтобы все скрипты успели отработать.
Обратите внимание: чем больше AJAX timeout, тем дольше будет происходить сканирование. В большинстве случаев значения по умолчанию (2 секунды) будет достаточно для выполнения JavaScript, однако вы можете настраивать его самостоятельно, если на анализируемом сайте есть AJAX-запросы, которые выполняются дольше. Также не советуем занижать это значение, так как код может не успеть полностью обработаться.
Давайте рассмотрим пример сканирования сайта, где контент полностью выводится с помощью JavaScript. В этом случае вы не сможете просканировать такой сайт без включённого рендеринга JS.
1.4. Особенности JS-рендеринга в Netpeak Spider
Netpeak Spider использует рендеринг с выполнением JS-скриптов только для HTML-страниц с кодом ответа 200 OK. Это ускоряет работу программы и позволяет не тратить ресурсы на страницы, для обработки которых не нужно использовать браузер.
Если вы хотите просканировать сайт с включённым рендерингом JavaScript, помните, что это увеличивает время сканирования. Когда краулер работает без рендеринга, происходит всего один запрос для получения HTML-кода страницы. Когда вы включаете рендеринг, дополнительно происходит запрос в Chromium для получения HTML-кода, загрузка JS и CSS-файлов и само выполнение JavaScript за время, указанное в настройке AJAX timeout. Соответственно, сканирование займёт больше времени.
Совет: мы рекомендуем включать рендеринг JavaScript, только если вам необходимо просканировать сайт с CSR, и не советуем включать его для сканирования всех сайтов по умолчанию (особенно при сканировании сайтов с тысячами и более страниц, что может вызвать большую нагрузку на компьютер).
Также при рендеринге JavaScript Netpeak Spider:
А теперь давайте перейдём ко второй новой функции нашего краулера. Подозреваем, что визуалам она особенно понравится 😉
2. Технический SEO-аудит (PDF)
В новой версии Netpeak Spider мы добавили возможность в один клик экспортировать отчёт в формате PDF с SEO-аудитом на основании результатов проведённого сканирования.
Благодаря этой функции вы сможете получить в Netpeak Spider лучшее от «двух миров»: глубину анализа и кастомизацию десктопного инструмента и визуализацию результатов на уровне самых продвинутых онлайн-продуктов.
Отчёт доступен в меню «Экспорт»:
PDF — универсальный формат, который подходит для печати и без труда откроется почти на любом устройстве.
Мы поставили себе цель добиться максимально качественной визуализации данных, добавив в логику программы совершенно новые показатели, а также учли такие нюансы:
2.1. Кому это будет полезно?
PDF-отчёты пригодятся в первую очередь SEO-специалистам. Это улучшенная и расширенная (на 20+ страниц) версия дашборда программы, которой удобно пользоваться для оценки качества оптимизации проекта или списка URL. Тут наглядно показана ключевая информация для аудита сайта — достаточно дополнить её собственными рекомендациями и можно отправлять клиенту или же коллегам на внедрение.
Если же вы специалист по продажам, то в отчёте есть краткая сводка о состоянии сайта, с помощью которой вы сможете быстро оценить проект и обсудить фронт работ с клиентом.
2.2. Структура и особенности PDF-отчётов
Отчёт строится по данным из таблицы «Все результаты», на которые непосредственно влияют настройки, параметры и сегментация (попробуйте протестировать различные виды отчётов, меняя их).
Каждый раздел отчёта посвящён определённому аспекту оптимизации. Давайте пройдёмся подробнее по каждому из них.
2.2.1. Заглавная страница + содержание
Если во время анализа в Netpeak Spider использовался режим сканирования сайта, то на первой странице будет показан скриншот начальной страницы и домен сканируемого ресурса, чтобы было удобно визуально различить отчёты для разных сайтов.
Если же был просканирован просто список URL без начальной страницы, то вместо скриншота будет показано специальное изображение:
На каждый раздел из содержания стоит якорная ссылка, чтобы было удобно перемещаться по документу.
2.2.2. Сводка
В этом разделе собрана краткая сводка по результатам сканирования. Это самый ёмкий отчёт: он позволяет быстро понять, какие данные анализируются, и какие ошибки были найдены.
Здесь отображаются такие данные:
2.2.2.1. Тип контента (внутренних и внешних URL)
Эти отчёты помогают оценить и сравнить количество разных типов документов, которые были найдены во время сканирования. Отдельно показаны диаграммы для внутренних и внешних URL (здесь и в остальных разделах отчёта они будут отмечены синим и фиолетовым цветом соответственно).
2.2.2.2. Основные хосты
В этой таблице отображены основные хосты, которые анализируются в данном аудите — может быть полезно, если на вашем сайте много хостов или при проверке списка URL.
2.2.3. Структура URL
Этот отчёт поможет визуально оценить структуру просканированных URL. Здесь показаны наиболее популярные хосты и сегменты второго уровня (например, site.com/category/).
Обратите внимание: в таблице представлены максимум 40 сегментов, а полную структуру сайта можно получить в Netpeak Spider в отчёте «Структура сайта». Также из отчёта по структуре исключены URL с редиректами, потому что они не являются конечными адресами страниц, и нет смысла анализировать их сегменты.
Ещё мы добавили в отчёт данные по [документам в корне] — количество документов, которые находятся в корне сайта, то есть не содержат сегменты.
2.2.4. Коды ответов сервера
В данном разделе показаны коды ответов сервера внутренних и внешних URL.
Обратите здесь внимание на недоступные документы, редиректы и страницы, которые возвращают код ответа сервера 4xx и выше. Чтобы получить список ссылок на них, экспортируйте отчёты «Битые ссылки» и «Редиректы: входящие ссылки и конечные URL» в Netpeak Spider.
2.2.5. Сканирование и индексация
В разделе показаны данные об инструкциях и серверных настройках, которые влияют на сканирование и индексацию контента (здесь анализируются только внутренние URL). Напомним, что неиндексируемые документы зачастую не приносят трафик из поисковых систем и даже, напротив, расходуют краулинговый бюджет.
Возможно, диаграммы по индексируемости и причинам неиндексируемости URL вам уже знакомы (они также доступны на дашборде Netpeak Spider). А сводки по значениям Meta Robots и X-Robots-Tag, а также по использованию canonical — это новые отчёты, доступные пока что только в аудите.
2.2.6. Глубина и вложенность URL
В данном разделе показаны глубина (количество кликов от начальной сканируемой страницы до текущей) и вложенность URL (количество сегментов в адресе документа).
Обратите внимание: в отчёте анализируются только внутренние индексируемые HTML-страницы, а значение глубины «0» присваивается URL, с которого начиналось сканирование или которые были добавлены списком.
Подробнее о возможных проблемах:
2.2.7. Скорость загрузки
Этот отчёт помогает оценить скорость ответа сервера внутренних и внешних документов. Данный параметр является важным фактором ранжирования — быстрые сайты зачастую получают больше трафика, меньше отказов и показывают более высокие результаты по конверсии. В отчёте анализируются только URL с 2xx кодом ответа сервера.
Чаще всего для генерации и обработки HTML-страниц сервер тратит больше времени, а статические файлы обычно кэшируются и возвращаются быстрее. Потому мы разделили отчёты для HTML и не HTML-страниц, чтобы анализировать страницы похожих типов.
Также отдельно показаны внутренние и внешние документы. В первую очередь нужно обращать внимание на внутренние и сделать всё возможное, чтобы они загружались быстро. Но не стоит забывать и о внешних. Если сайт ссылается на внешний документ, который долго открывается, то это ухудшает пользовательский опыт. Если на HTML-страницу загружаются внешние ресурсы (JS, CSS, изображения, шрифты), то скорость их загрузки напрямую влияет на скорость загрузки всей страницы.
Для внутренних документов выводятся дополнительно максимальное, минимальное значение и медиана. Это помогает быстро оценить разброс по скорости загрузки. Если сервер работает стабильно, то разброс должен быть небольшим.
2.2.8. Протоколы HTTP/HTTPS
В данном разделе показаны протоколы документов: защищённый (HTTPS) и незащищённый (HTTP). Мы показываем этот отчёт, так как если на сайтах с HTTPS-протоколом есть HTML-страницы, изображения или ресурсы с HTTP-протоколом, это может привести к ошибке «Смешанное содержимое». В этом случае пользователи могут увидеть в браузере соответствующее предупреждение, а поисковые системы будут считать сайт небезопасным.
2.2.9. Оптимизация контента
В данном разделе анализируются только внутренние индексируемые страницы, потому что SEO-ошибки, связанные с контентом, необходимо устранять в первую очередь для внутренних страниц сайта, которые потенциально получают трафик.
Мы сосредоточились на данных, которые могут быть сигналом об упущенных возможностях оптимизации и негативно повлиять на ранжирование и отображение сайта в выдаче поисковых систем:
2.2.10. Ошибки
В этом разделе показаны отчёты об ошибках, обнаруженных во время сканирования:
2.2.11. Термины
В конце аудита описано значение некоторых важных терминов.
2.2.12. Настройки
В этом разделе показаны параметры и настройки сканирования, которые использовались при создании аудита. Мы заранее продумали возможные ситуации и вывели информацию, которая позволит определить, каким образом происходило сканирование, и почему не отображаются некоторые отчёты.
А теперь дело за вами → поскорее попробуйте сгенерировать отчёт по уже сохранённым проектам или же запускайте сканирование, чтобы собрать данные и рассмотреть отчёт во всех деталях 😉
3. Расширенное описание ошибок
Во время сканирования Netpeak Spider показывает обнаруженные, а также необнаруженные и отключённые ошибки на сайте. Они могут быть высокой, средней и низкой критичности, что отмечено соответствующим цветом.
Если вы нажмёте на любую ошибку на боковой панели на вкладке «Ошибки», то в нижней части интерфейса на панели «Информация» появится её подробное описание.
Мы существенно расширили описание каждой ошибки пунктами:
Теперь при возникновении каких-либо вопросов об ошибках обязательно загляните на панель «Информация» — мы постарались ответить на большую часть из них именно там. Кстати, попробуйте менять высоту этой панели → так будет удобнее читать детальные описания ошибок, где мы особенно увлеклись 😉
3.1. Экспорт отчёта с расширенными описаниями ошибок
Порадуем ещё одной полезной функцией, которая позволит применить наши расширенные описания ошибок непосредственно в вашей работе.
Теперь вы можете экспортировать комбинацию из краткой сводки по всем найденным ошибкам и расширенными описаниями к ним. Это позволит быстро поставить техническое задание на их устранение.
Этот отчёт называется «Сводка по ошибкам + описания». Он доступен в меню «Экспорт» → «Отчёты по ошибкам», а также в таких пакетных выгрузках:
3.2. Изменения в ошибках: степень критичности, названия, сортировка
Мы также сделали «весеннюю уборку» среди наших параметров и ошибок — и вот что изменилось.
3.2.1. Изменения в степени критичности ошибок
3.2.2. Изменения в названиях ошибок и параметров
3.2.3. Изменения в логике определения ошибок и параметров
3.2.4. Изменения в сортировке ошибок
Мы улучшили сортировку ошибок, поставив на видные места наиболее важные и распространённые из них.
4. Остальные изменения
Мы всегда стремимся реализовать как можно больше новых полезных фич для наших пользователей. Для разработки функции выполнения JavaScript мы воспользовались версией фреймворка .NET 4.5.2. Потому новый Netpeak Spider может работать только на операционной системе Windows не ниже версии 7 SP1, так как более старые версии ОС не поддерживают этот фреймворк.
Кратко опишем другие изменения в Netpeak Spider 3.2:
Зарегистрируйтесь, если вы ещё не с нами
У Netpeak Spider есть бесплатная версия без ограничений по времени.
Чтобы начать пользоваться бесплатным Netpeak Spider, просто зарегистрируйтесь, скачайте и установите программу — и вперёд!
5. Коротко о главном
В версии Netpeak Spider 3.2 мы реализовали долгожданный функционал, который теперь позволит пользователям более широко использовать нашу программу, а именно:
(!) Важные новости для наших пользователей
Новые тарифы Netpeak Spider и Checker
Нашей компании вот-вот исполнится три года. А значит, вот уже три года мы системно и регулярно улучшаем наши продукты Netpeak Spider и Netpeak Checker. Причём мы стремимся не просто развивать наши программы самыми востребованными обновлениями, но и выпускать совершенно уникальные функции, задавая вектор развития всему рынку. При этом мы ни разу не повышали цены на наши инструменты.
Если говорить о Netpeak Spider, то за эти три года мы выпустили 41 версию программы от 2.0 до 3.2 включительно → убедитесь сами, посмотрев историю изменений нашего краулера. Их видно невооружённым глазом — просто взгляните на наш Spider версии 2.0 три года назад:
А вот как выглядит Netpeak Spider версии 3.2 сейчас:
И так как теперь мы даём нашим пользователям больше возможностей, с 24 апреля 2019 года произойдут такие изменения в наших ценах:
По любым вопросам обращайтесь к нашим специалистам по поддержке прямо в онлайн-чат — они с радостью помогут вам.
Друзья, спасибо за внимание! Надеемся, теперь ваша работа с Netpeak Spider станет ещё более эффективной 😉 Мы были бы очень рады узнать о вашем фидбеке, так что не забывайте о возможности оставить комментарий с отзывом или предложением, а мы пока работаем над внедрением новых фич в Netpeak Checker!