Превью для статьи

Защита от парсинга: миф или реальность?

В посте рассмотрю несколько способов борьбы с «недобросовестным» парсингом.

Превью для статьи

Как парсить сайт в приложении Django

В посте буду парсить данные с сайта по поиску работы HeadHunter в приложении Django

Превью для статьи

Подходы к получению данных с сайта на примере наш.дом.рф

При оценке состояния компании-застройщика немаловажную роль играет информация, которую можно получить из открытых источников, в том числе с сайта наш.дом.рф. Однако, большой объём необходимых данных означает, что необходима автоматизация задачи. В посте я рассмотрю, с какими сложностями я столкнулся и какие подходы позволили ускорить работу программы.

Превью для статьи

Web-Scraping с применением библиотек BeautifulSoup4 + Asyncio

Библиотеки BeautifulSoup4 (BS4) и Asyncio помогут ускорить извлечение данных с веб-страниц сайтов сети интернет. Подробнее в посте.

Превью для статьи

Как выявить выгодоприобретателя с помощью pandas и json

Выявить выгодоприобретателя клиента и определить дату последнего обновления сведений о нем с помощью pandas и json

Превью для статьи

Парсинг сайта Госзакупок (ЕИС закупки)

Для оценки контрагента довольно полезную информацию можно получить с сайта «ЕИС закупки», в частности из реестра недобросовестных поставщиков. Расскажу, как быстро проверить контрагентов, имея список ИНН

Превью для статьи

THREADING. ЗАЧЕМ?

В данном материале рассматривается многопоточность, как один из подходов, который позволяет быстрее решать задачи, связанные с вводом-выводом, а также процесс написания парсера на его основе

Data News

13-14 марта 2023


📍DevOpsConf