Parsing / Сбор информации, Анализ данных

Формирование и настройка http-запросов средствами Postman

Время прочтения: 4 мин.

Различного вида парсеры сайтов крепко вошли в жизнь нынешних аудиторов. Парсинг используется во многих сферах – от тестирования разработанных программных средств, до сбора отзывов клиентов о работе компаний. Ключевым элементом данного процесса является отправка http-запросов к анализируемым сервисам и сайтам, а также сбор и обработка полученных от сервисов ответов. В сегодняшней статье хотелось бы рассказать о приложении Postman, которое позволяет автоматизировать процесс составления таких запросов.

Первое знакомство с этим прекрасным инструментом произошло при работе над проектом по поиску негативных отзывов сотрудников компании в социальных сетях. Проект изобиловал сложными запросами, каждый из которых требовал для работы различные наборы параметров. Именно Postman помог не «утонуть» в этом море информации, а также ускорить процесс разработки. Дальнейшие примеры использования данного приложения будут с оглядкой на реализованный проект (т.е мы будем отправлять запросы к api одной из самых популярных социальных сетей — Вконтакте), но не стоит ограничиваться только этим функционалом, у Postman ещё много «козырей в рукаве».

В качестве примера, напишем небольшой скрипт, позволяющий производить выгрузку информации о постах в сообществе «NewTechAudit» в социальной сети «Вконтакте» и использующий отправку GET-запроса с интересующими параметрами.

После регистрации в данном приложении, первым делом создадим объект коллекции. Это позволит нам относить запросы к тому или иному проекту (в длительных проектах с большим количеством различного рода запросов, коллекции становятся довольно удобной вещью).

Назовем нашу тестовую коллекцию NTA_parser (в данной коллекции будут храниться запросы на получение различных данных сообщества – тексты постов, комментариев и пр.)

Теперь создаём файл запроса, который будет храниться в нашей коллекции:

После того, как наш объект-запроса создан, укажем адрес, к которому будем обращаться с помощью http-запросов:

Postman поддерживает большое количество различных типов запросов – от классических GET и POST, до PATCH и UNLINK. Для дальнейшей работы, во вкладке Params нашего запроса необходимо указать параметры, которые должны быть использованы при запросе:

Также, стоит отметить, что в Postman поддерживается возможность создания и хранения описания к каждому из параметров.

После того, как все необходимые параметры указаны, отправляем запрос, и получаем ответ:

Как можно видеть, сформированный запрос вернул нам правильный ответ.

Если в качестве ответа от сервера возвращается html-страница, то её можно увидеть на вкладке «Preview». На рисунке ниже представлена стартовая страница Википедии, полученная путем отправки запроса:

После того, как мы убедились в том, что составленный нами запрос возвращает правильные данные, можем воспользоваться вкладкой “Code”.

С помощью этой вкладки у нас появляется возможность автоматически сформировать код, на любом из представленных языков, выполняющий данный запрос:

В результате мы научились формировать различные http-запросы средствами Postman, проверять их правильность и тип возвращаемой информации, а также формировать на основании составленных запросов коды на различных языках программирования. Так же стоит отметить, что в статье освещены лишь наиболее популярные варианты использования данного приложения, спектр предоставляемых возможностей намного больше и сможет удовлетворить требования даже самых искушенных разработчиков.

Советуем почитать