Превью для статьи

“Владелец подземелья” или автоматизация администрирования Hadoop кластера

В данной публикации я расскажу о личном опыте взаимодействия с ResourceManager REST API и возможностях взаимодействия с приложениями через него.

Превью для статьи

Создание персонажей в Python с помощью LLM: from GPT to Kandinsky

Поделюсь опытом использования больших языковых моделей (LLM) для создания персонажей с Python и моделей OpenAI и Sber.

Превью для статьи

Применение эффективного асинхронного web-парсинга при работе с Bigdata

Многие компании и организации занимаются сбором большого объема внешних данных для анализа и принятия эффективных решений. Конечно, всё это можно делать вручную, но это долгий, монотонный и нецелесообразный процесс, в котором есть шанс допустить ошибки. В этой публикации мы сравним два инструмента для автоматизации сбора данных из внешних источников Scrapy и BeautifulSoup4

Превью для статьи

Мониторинг ресурсов Spark-приложений с помощью Python

Доброе утро, друзья!
Каждый пользователь создает нагрузку на кластер, и посмотреть параметры каждого работающего Spark-приложения возможно в представлении Resource manager UI через YARN.

Превью для статьи

Получение данных из Qlik Sense с использованием REST API и Python

Qlik Sense является приложением для визуализации, анализа и мониторинга данных. С помощью Qlik Sense можно опубликовать дашборд, в котором необходимую информацию можно представить в виде таблиц и графиков. Интерфейс Qlik Sense (QS) интуитивно понятен — при помощи стандартных элементов управления QS можно выводить различные срезы информации, задавать фильтры, взаимодействовать с диаграммами и таблицами. Однако может возникнуть задача сохранить данные визуального элемента (например, таблицы) QlikSense в Excel. В данной публикации рассмотрим способ получения данных из Qlik Sense с использованием REST API и Python.

Превью для статьи

Web-Scraping с применением библиотек BeautifulSoup4 + Asyncio

Библиотеки BeautifulSoup4 (BS4) и Asyncio помогут ускорить извлечение данных с веб-страниц сайтов сети интернет. Подробнее в посте.

Превью для статьи

THREADING. ЗАЧЕМ?

В данном материале рассматривается многопоточность, как один из подходов, который позволяет быстрее решать задачи, связанные с вводом-выводом, а также процесс написания парсера на его основе