Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.

Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.

Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.

В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]

Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]

Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]

Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]

Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат

Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО

Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов

Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.

Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски

В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.

Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.

Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.

Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.

Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».

Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.

Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».

На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.

В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]

Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]

Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]

Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]

Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат

Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО

Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов

Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.

Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски

В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.

Ранее в публикациях мы рассматривали процесс автоматизации получения информации с портала SharePoint при помощи скрипта на Python. Этот вариант подходит для разовых задач аналитика. Но, если требуется хранить полученные данные в БД MS SQL и регулярно обновлять их, предпочтительнее использовать SQL Server Integration Services.
Рассмотрим пошагово, как создать простой SSIS пакет для загрузки данных списка SharePoint в БД MS SQL.

Доброе утро!
Используете ли Вы пакет Microsoft SQL Server Management Studio и встроенную функцию «Мастер импорта и экспорта SQL Server», когда требуется загрузить недостающую для анализа информацию в БД? Сталкивались ли вы с проблемой усечения строк при использовании данной встроенной функции? Предлагаю рассмотреть один из путей решения данной проблемы.

Продолжаем тему кибербезопасности. Криптографические методы защиты активно используются в современной жизни для хранения, обработки и передачи информации по сетям на различных носителях. Сегодня мы сталкиваемся с криптографией ежедневно. Нуждаются в защите информации и сегодняшние аудиторы

Насколько надежны ваши пароли? Вдруг они не так хороши, как вы считаете? Узнайте подробнее в статье по ссылке

В этой статье мы реализуем нейронную сеть с нуля, используя PyTorch и Google Colab. Рассмотрим некоторые из основных функций, доступных в PyTorch, которые позволят вам создавать собственные нейронные сети.

Эта библиотека Python очень быстро стала популярной среди разработчиков из-за ее легкости в создании чрезвычайно сложных нейронных сетей. Сегодня мы пройдем все этапы работы с библиотекой PyTorch. Затронем далеко не все возможности, но их хватит, чтобы начать с ней работать. Научимся пользоваться инструментами для подготовки данных, которые делают их загрузку легкой и уменьшают объем написанного кода.

Что такое MLflow и для каких задач он подходит, расскажем в сегодняшней статье.

При наличии неупорядоченных категориальных признаков в данных перед построением моделей может оказаться полезным перекодирование этих признаков в новые бинарные. Однако в линейных моделях при перекодировании признаков нужно учитывать особенности данного класса моделей. Что за особенности и какие могут быть последствия, если их не соблюдать обсудим в статье.

Продолжаем рассматривать графовую аналитику. Мы уже рассказывали о том, что это один из распространенных инструментов в поиске связей в разрозненных данных. В этой статье попробуем с использованием PyQT и networkx сделать простейший инструмент для визуализации связей.

Уже давно анализ полуструктурированных схем или графов вошел в нашу жизнь. Мы строим графы процессов, основываясь на логах или данных из систем для анализа последовательности действий внутри процессов. Но это не все, на что способны графы! Все более популярным становится Graph Mining предметных областей c помощью технологии Knowledge graph.

Иногда может возникнуть необходимость в объединении данных из разных файлов в одну таблицу. Если их много, а информация размещена на разных листах, то обычное копирование займет много времени.
Решить данную задачу поможет Power Query – встроенный в MS Excel инструмент обработки данных.

Мы постоянно работаем с excel файлами, когда выгружаем данные.
Если выгрузка является единичной — можно обойтись без применения программных средств для форматирования ячеек. Однако в иных случаях будет практичнее разобраться, каким образом автоматизировать процесс форматирования.

Представленная информация в виде графиков и диаграмм более привычна и понятна человеческому глазу, но что если можно создавать интерактивные отчеты и «оживить» данные? Поговорим о Power View.

Как отследит автомобиль, находящийся вне зоны сети? Как рассчитать такие зоны пропадания сигнала? Как защитить автомобиль от подобных ситуация на дороге?

Связи, в наше время решают многое, но речь пойдет не об этом.
Все знают, как в Excel создать простой выпадающий список в ячейке. Затруднения могут возникнуть, когда нам нужно, чтобы значения одного выпадающего списка зависели от выбранного значения из другого выпадающего списка. В таком случае необходимо создать так называемый связанный список.

Наверняка многие сталкивались с ситуацией, когда информацию, полученную из одной базы данных необходимо дополнить информацией, которая хранится в другой БД.
Вроде ничего особенного, но, для получения результата нужно написать несколько SQL запросов. В этой статье расскажем, как при помощи Excel, упростить задачу и сэкономить время.

В предыдущей статье мы рассказали о том, как выбрать файлы, содержащие конфиденциальную информацию, для последующего их удаления с общедоступных ресурсов. Но что делать, если удаление данных, по ряду причин, невозможно? Решение данной проблемы– их обезличивание. В данной статье рассматривается один из способов защиты данных при помощи Python и COM-соединения с файлом Excel.