Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.

В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]

Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]

Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]

Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]

Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат

Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО

Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов

Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.

Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски

В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.

Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.

В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]

Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]

Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]

Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]

Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат

Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО

Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов

Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.

Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски

В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.

Ранее в публикациях мы рассматривали процесс автоматизации получения информации с портала SharePoint при помощи скрипта на Python. Этот вариант подходит для разовых задач аналитика. Но, если требуется хранить полученные данные в БД MS SQL и регулярно обновлять их, предпочтительнее использовать SQL Server Integration Services.
Рассмотрим пошагово, как создать простой SSIS пакет для загрузки данных списка SharePoint в БД MS SQL.

Доброе утро!
Используете ли Вы пакет Microsoft SQL Server Management Studio и встроенную функцию «Мастер импорта и экспорта SQL Server», когда требуется загрузить недостающую для анализа информацию в БД? Сталкивались ли вы с проблемой усечения строк при использовании данной встроенной функции? Предлагаю рассмотреть один из путей решения данной проблемы.

Продолжаем тему кибербезопасности. Криптографические методы защиты активно используются в современной жизни для хранения, обработки и передачи информации по сетям на различных носителях. Сегодня мы сталкиваемся с криптографией ежедневно. Нуждаются в защите информации и сегодняшние аудиторы

Насколько надежны ваши пароли? Вдруг они не так хороши, как вы считаете? Узнайте подробнее в статье по ссылке

В этой статье мы реализуем нейронную сеть с нуля, используя PyTorch и Google Colab. Рассмотрим некоторые из основных функций, доступных в PyTorch, которые позволят вам создавать собственные нейронные сети.

Эта библиотека Python очень быстро стала популярной среди разработчиков из-за ее легкости в создании чрезвычайно сложных нейронных сетей. Сегодня мы пройдем все этапы работы с библиотекой PyTorch. Затронем далеко не все возможности, но их хватит, чтобы начать с ней работать. Научимся пользоваться инструментами для подготовки данных, которые делают их загрузку легкой и уменьшают объем написанного кода.

Что такое MLflow и для каких задач он подходит, расскажем в сегодняшней статье.

При наличии неупорядоченных категориальных признаков в данных перед построением моделей может оказаться полезным перекодирование этих признаков в новые бинарные. Однако в линейных моделях при перекодировании признаков нужно учитывать особенности данного класса моделей. Что за особенности и какие могут быть последствия, если их не соблюдать обсудим в статье.

Продолжаем рассматривать графовую аналитику. Мы уже рассказывали о том, что это один из распространенных инструментов в поиске связей в разрозненных данных. В этой статье попробуем с использованием PyQT и networkx сделать простейший инструмент для визуализации связей.

Уже давно анализ полуструктурированных схем или графов вошел в нашу жизнь. Мы строим графы процессов, основываясь на логах или данных из систем для анализа последовательности действий внутри процессов. Но это не все, на что способны графы! Все более популярным становится Graph Mining предметных областей c помощью технологии Knowledge graph.

Статья больше рассчитана для новичков, кто впервые сталкивается со Spark. Сейчас кол-во информации растет, и требуются ресурсы и время для ее обработки. В связи с этим на свет появляться модель MapReduce, которая параллельно вычисляет операции на кластерах.
MapReduce отлично упрощает анализ big data на больших, но ненадежных кластерах. Стоит отметить, что с ростом популярности фреймворка пользователи хотят большего.

Что первое приходит в голову, когда вы слышите о «Process mining»? Я приставляю граф процесса, состоящий из n вершин и m ребер. Для чего он нужен? думаю все и так знаю, он помогает анализировать переходы между активностями. Все это замечательно, когда активностей и переходов мало.

Статья про агрегацию и группировку данных с помощью pandas. В ней рассказываются особенности работы с данными:
— какие существуют агрегирующие функции
— как сделать собственную агрегирующую функцию
— как сделать результат группировки в виде фрейма
и другое.
Статья будет полезна для начинающих работать c Python и Pandas

Многим из нас знакома фраза «нет предела совершенству». В каком-то роде, python-модуль pandas можно назвать идеальным инструментом для работы с данными. Но мы попытаемся разобраться, как можно сделать это ещё более эффективно в разрезе быстродействия при использовании другого модуля modin.

Мы постоянно работаем с excel файлами, когда выгружаем данные.
Если выгрузка является единичной — можно обойтись без применения программных средств для форматирования ячеек. Однако в иных случаях будет практичнее разобраться, каким образом автоматизировать процесс форматирования.

Как используя модуль pandas языка python можно делать пакетную (фрагментарную) обработку данных

Современный мир уже нельзя представить без огромных data-центров и суперкомпьютеров, которые обрабатывают колоссальные объёмы информации. Иногда владельцы такого оборудования предоставляют возможность его использовать рядовым специалистам для проведения расчётов. Но что делать, если возможность работы с такими ресурсами отсутствует, а для проведения аудиторской проверки и исследования необходимо обработать объём информации, который не помещается в оперативной памяти компьютера? В этой статье мы поделимся опытом, как используя модуль pandas можно оптимизировать объём исследуемого датасета путём преобразования типов данных