Превью для статьи

Оптимизации работы Jupyter notebook при помощи параллельных вычислений (Библиотека Joblib)

В данном посте я расскажу о возможностях применения параллельных вычислений в интерактивной среде Jupyter notebook языка Python.

Превью для статьи

Извлечение открытых данных сайта zakupki.gov.ru с помощью СУБД BaseX

Благодаря концепции открытого правительства, развиваемой в России, в свободном доступе появляются данные о работе государственных органов. Одной из таких площадок с данными является сайт Единой информационной системы (ЕИС) в сфере закупок. Там есть удобный поиск информации, но гораздо больше полезного можно найти на FTP версии сайта — ftp://ftp.zakupki.gov.ru, где хранятся архивы XML‑документов с публичной частью информации о состоявшихся закупках: извещения, протоколы, сведения о договорах. В моем случае была задача проверить, а размещаются ли протоколы и сведения о договорах в соответствии с требованиями 223-ФЗ.

Превью для статьи

Как красиво писать формулы c LaTeX?

Всем добрый день! Сегодня я поделюсь с вами своим опытом использования LaTeX для написания математических формул. Всё просто и с примерами, идеально подойдет для новичков синтаксиса LaTeX.

Превью для статьи

Как сократить количество фотографий котов, применив хеширование из стандартной библиотеки Python

Дисковое пространство — ценный ресурс. Сегодня я расскажу, как с помощью хеширования можно найти дубликаты файлов и освободить место на диске.

Превью для статьи

Повышаем продуктивность работы в Jupyter notebook с помощью Nbextensions

Jupyter notebook — удобная среда для функционального программирования. В работе часто приходится писать код, который подходит под конкретную задачу (обработка информации, парсинг сайтов, process mining и т.д). Такие задачи проще выполнять с функциональным подходом, и среда Jupyter notebook идеально подходит для этого.

Превью для статьи

Создание и удаление таблиц в Apache Hadoop c использованием PySpark

Сегодня я расскажу, как затратив минимум усилий при работе с большими данными, справиться с задачей создания таблиц с нужными параметрами, а также как удалить сразу большое количество потерявших актуальность таблиц

Превью для статьи

Как найти «слона» в песочнице на Hadoop

Объём места для временного хранения данных в БД ограничен и может заканчиваться неожиданно. Как мониторить заполняемость песочницы?