Анализ данных Parsing / Сбор информации
Картинка анонса

Формирование и настройка http-запросов средствами Postman

Различного вида парсеры сайтов крепко вошли в жизнь нынешних аудиторов. Парсинг используется во многих сферах, ключевым элементом данного процесса является отправка http-запросов к анализируемым сервисам и сайтам, а также сбор и обработка полученных от сервисов ответов. Сегодня расскажем о приложении Postman, которое позволяет автоматизировать процесс составления таких запросов.

Анализ данных Parsing / Сбор информации
Картинка анонса

Формирование и настройка http-запросов средствами Postman

Различного вида парсеры сайтов крепко вошли в жизнь нынешних аудиторов. Парсинг используется во многих сферах, ключевым элементом данного процесса является отправка http-запросов к анализируемым сервисам и сайтам, а также сбор и обработка полученных от сервисов ответов. Сегодня расскажем о приложении Postman, которое позволяет автоматизировать процесс составления таких запросов.

Анализ данных Parsing / Сбор информации
Картинка анонса

Парсинг сайта путём обратной разработки его API для создания датасетов

Многие из вас уже знают, что самым распространённым способом парсинга является выгрузка html кода страницы и дальнейший его разбор. К сожалению, это не всегда удобно и/или быстро. Одной из альтернатив такого метода является обратная разработка API сайта (при его наличии) и выгрузка необходимых данных напрямую — таким образом исключается вероятность поломки логики парсера при изменении структуры страницы и прочие неприятные вещи. Давайте вместе разберем один из примеров.

Анализ данных Parsing / Сбор информации
Картинка анонса

Парсим какой-нибудь XML

Каждый, кто написал в жизни хоть строчку кода, слышал такое выражение – не нужно изобретать велосипед, то есть, зачем писать то, что уже написано. И мы полностью согласны с этой мыслью — зачем изобретать велосипед, когда им уже можно с удовольствием пользоваться. Тема парсинга XML уже разобрана не раз, поэтому прокатимся на велосипеде парсинга XML по документам с неизвестной структурой.

Программирование C#
Картинка анонса

Парсинг на C# с HtmlAgilityPack

Рассмотрим пример парсинга на C# с использованием HtmlAgilityPack

Анализ данных Parsing / Сбор информации
Картинка анонса

Пишем простой граббер статей на Python

Новостные сайты являются хорошим источником данных для обработки моделями машинного обучения. При этом, большинство новостных web-ресурсов перегружено различной «лишней» информацией, не относящейся к сути статей, будь то навязчивая реклама, всплывающие окна со служебной информацией и т.д. Очистка статей при выгрузке с web-ресурсов от «шума» помогла бы снизить количество ошибок обработки данных. В этой статье мы рассмотрим создание инструмента, с помощью которого можно получать читабельный текст из статей с минимальной «лишней» информацией.

Анализ данных Parsing / Сбор информации
Картинка анонса

Пауки Scrapy

Рассмотрим парсинг сайтов с использованием Scrapy. Применение такой технологии позволит, например, эффективно находить негативные отзывы клиентов.

Анализ данных Parsing / Сбор информации
Картинка анонса

Введение в парсинг для тех, кто в него уже введен

Продолжаем делиться простыми лайфхаками работы с данными.
Эти советы будут интересны тем, кто начинает заниматься парсингом. Они помогут вам сократить время разработки и не сыскать дурную славу в роли программиста.

Загрузить ещё