Превью для статьи

Преобразование xml-поля в SQL

В посте рассматривается метод по парсингу информации из xml полей в таблицах различных баз данных в СУБД MS SQL.

Превью для статьи

Создание и удаление таблиц в Apache Hadoop c использованием PySpark

Сегодня я расскажу, как затратив минимум усилий при работе с большими данными, справиться с задачей создания таблиц с нужными параметрами, а также как удалить сразу большое количество потерявших актуальность таблиц

Превью для статьи

Предобработка изображений с OpenCV

Огромную долю в восприятии информации человеком занимает визуальная информация. Практически всё в мире можно представить в виде изображения. Изображения и видео могут содержать в себе очень много данных — именно поэтому задачи по обработке изображений человек отдает машине.

Превью для статьи

Как найти «слона» в песочнице на Hadoop

Объём места для временного хранения данных в БД ограничен и может заканчиваться неожиданно. Как мониторить заполняемость песочницы?

Превью для статьи

Для тех, кто душой прикипел к Excel…

В больших, устоявшихся компаниях мы зачастую можем встретить коллег, которые работают в них не один десяток лет. Они — настоящие профессионалы своего дела, знающие все тонкости и детали, всегда готовы помочь и дать совет. Но с каждым годом объем данных стремительно увеличивается. Программы, к которым они привыкли, не справляются, и из раза в раз им приходится обращаться к коллегам за помощью в тривиальных задачах по обработке данных, только потому, что их инструмент не приспособлен к таким нагрузкам.

Превью для статьи

Удаление фонового шума с фото документов при помощи PyTorch

Добрый день! При автоматизации работы с документацией иногда приходится иметь дело со сканами плохого качества. Особенно удручает ситуация, при которой вместо сканированного документа предоставляется фото с телефона.

Превью для статьи

Анимация построения графиков с Matplotlib

В посте рассмотрю способы анимации построения графиков в Matplotlib: объединение кадров в анимационный файл и использование функции matplotlib.animation.FuncAnimation.

Data News