Обнаружение прямых линий на изображении
11.05.2021
Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.
Несколько забавных, и не только, фишек Python
11.05.2021
Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.
«Непитоновский» граф
07.05.2021
Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.
GRAPH MINING для нематематиков
07.05.2021
Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».
Поиск асоциальных элементов в зонах самообслуживания
07.05.2021
Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.
Пример альтернативы Python для машинного обучения
07.05.2021
Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».
Обнаружение прямых линий на изображении
11.05.2021
Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.
Несколько забавных, и не только, фишек Python
11.05.2021
Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.
«Непитоновский» граф
07.05.2021
Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.
GRAPH MINING для нематематиков
07.05.2021
Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».
Поиск асоциальных элементов в зонах самообслуживания
07.05.2021
Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.
Пример альтернативы Python для машинного обучения
07.05.2021
Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».
Детектор движения на Raspberry Pi
30.04.2021
На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.
Расчёт длины последовательных периодов в SQL
30.04.2021
В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]
Обработка больших данных средствами PySpark SQL
30.04.2021
Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]
Работа с оператором CASE в SQL Server
30.04.2021
Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]
SQL Server: определяем базовые столбцы представления
30.04.2021
Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]
Разбираем магию оконных функций (на примере PostgreSQL). Часть 1
30.04.2021
Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]
Выбираем метод для поиска схожих операций
30.04.2021
ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.
Морфологический анализ текста с помощью pymorphy2
29.04.2021
Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат
Работа с командной строкой при помощи Python
29.04.2021
Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО
Поиск дубликатов изображений с использованием Computer Vision
28.04.2021
Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов
Распознавание эмоций с использованием нейронной сети
28.04.2021
Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.
Аудит безопасности использования протокола SMB
27.04.2021
Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски
Стеганография. Методы сокрытия сообщения в контейнере изображения
27.04.2021
В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.
Обнаружение прямых линий на изображении
11.05.2021
Способность распознавать прямые линии важна как в человеческом, так и в компьютерном зрении. Мы, люди, можем легко распознать многие типы объектов и их положения, просто увидев силуэт или грубый набросок. Обучить машину находить прямые линии – важная задача при распознавании изображений.
Несколько забавных, и не только, фишек Python
11.05.2021
Каким бы весёлым (или скучным?) не казалось вам программирование, всегда можно внести в этот процесс ещё больше красок.
«Непитоновский» граф
07.05.2021
Графы так или иначе связаны с анализом данных. Они либо визуализируют результат этого анализа, либо являются средством для его проведения.
Само же словосочетание «анализ данных» практически всегда равно python. Но эта статья будет посвящена веб-приложению графовой аналитики, написанному на C# + JavaScript.
GRAPH MINING для нематематиков
07.05.2021
Всем привет! Сначала хотел назвать статью «Graph mining в 1 строчку кода», но это настолько неправдоподобно, что хочется дописать «без регистрации и СМС». Этого я делать, конечно же, не буду, поэтому решил немного переиначить смысл статьи, а заодно затронуть алгоритмы такого пугающего на первый взгляд слова как «графы».
Поиск асоциальных элементов в зонах самообслуживания
07.05.2021
Присутствие асоциальных элементов (АЭ) в зонах самообслуживание клиентов явление постоянное и популярное. Обычно дежурный, следит за камерами видеонаблюдения и вызывает службу охраны в случае появления АЭ. В этой статье Вы узнаете, как нам удалось автоматизировать этот процесс с помощь методов Computer Vision.
Пример альтернативы Python для машинного обучения
07.05.2021
Среди антипаттернов проектирования существует принцип «золотого молотка», когда один освоенный в какой-то мере метод применяется во всех задачах независимо от целесообразности его использования. Как говорится: «Когда в руках молоток – всё выглядит как гвозди».
Детектор движения на Raspberry Pi
30.04.2021
На основе одноплатного микрокомпьютера можно собрать 3D-принтер, построить медиацентр и даже разработать настольную игру. Такие компьютеры можно применить и для построения систем безопасности, в частности, систем видеонаблюдения. Пользуясь возможностями микрокомпьютера Raspberry Pi и алгоритмами машинного зрения, разработаем простой детектор движения.
Расчёт длины последовательных периодов в SQL
30.04.2021
В процессе аудита часто приходится решать нестандартные задачи анализа данных. В этом может помочь язык SQL. Расскажу об одной из таких задач и о том, как я ее решил. Мне предстояло, на основании информации о статусе клиентов на отчетную дату подсчитать длительность каждого периода, в котором этот признак был равен единице, и пронумеровать даты по […]
Обработка больших данных средствами PySpark SQL
30.04.2021
Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]
Работа с оператором CASE в SQL Server
30.04.2021
Все мы знаем в Excel функцию ЕСЛИ, но, если данных для проверки очень много, тогда работа в Excel становится затруднительной. Используем оператор CASE в SQL. Предположим, у нас есть следующие данные по кредитам: Необходимо проверить правильность определения категории качества по кредитам в соответствии со следующими критериями: Оператор IF не подходит, так как в нем можно […]
SQL Server: определяем базовые столбцы представления
30.04.2021
Представления (view) базы данных SQL Server имеют ряд особенностей, одна из которых – выполнение сложных по структуре запросов без необходимости знания схемы базы данных. Иными словами, единожды создав представление (вот тут, конечно, знание схемы БД автору представления потребуется), в дальнейшем, при запросе представления не нужно запоминать. Например, все имена таблиц и столбцов, участвующих в сохранении […]
Разбираем магию оконных функций (на примере PostgreSQL). Часть 1
30.04.2021
Всем привет! Рассмотрим очень полезный и невероятно интересный функционал реляционных БД – оконные функции. Примеры работают в PostgreSQL, однако мы основное внимание уделим логике работы, которая заложена в сам принцип работы оконных функций и применяется в других SQL-диалектах – поэтому вы без труда сможете применять полученные знания практически в любой БД, делая поправку на синтаксис […]
Выбираем метод для поиска схожих операций
30.04.2021
ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.
Морфологический анализ текста с помощью pymorphy2
29.04.2021
Расскажем вам о способе преобразования данных сайта по словам-триггерам и о том, как это сделать максимально быстро и без значительных трудозатрат
Работа с командной строкой при помощи Python
29.04.2021
Командная строка операционной системы Windows является стандартным средством управления компонентами без графического интерфейса. В связи с этим некоторые вещи можно сделать при помощи командной строки на порядок быстрее чем через специализированное ПО
Поиск дубликатов изображений с использованием Computer Vision
28.04.2021
Как найти дубликаты изображений среди нескольких тысяч файлов, если они представлены разных форматах? Делюсь опытом использования Computer Vision для поиска дубликатов изображений документов
Распознавание эмоций с использованием нейронной сети
28.04.2021
Распознавание эмоций является довольно сложной задачей в области анализа звуковых сигналов. Голос часто отражает скрытые эмоции через высоту и тон. Данная технология используется в колл-центрах для классификации звонков в соответствии с эмоциями. Можно различить недовольство, удовлетворенность или гнев клиента, что помогает эффективно построить дальнейший диалог.
Аудит безопасности использования протокола SMB
27.04.2021
Сейчас сложно найти корпоративную сеть, в которой бы не использовался протокол SMB (Server Message Block) для организации удалённого доступа к файловым сетевым ресурсам и принтерам. Повсеместное использование протокола повышает риски нарушения информационной безопасности. Следует отметить, что данный протокол является привлекательным для злоумышленников, занимающихся поиском уязвимостей «нулевого» дня и написанием эксплоитов для их эксплуатации. Расскажем о том, как минимизировать риски
Стеганография. Методы сокрытия сообщения в контейнере изображения
27.04.2021
В настоящее время, темой номер один в компаниях стала кибербезопасность. Принимаются стратегические и инфраструктурные меры по обеспечению безопасности при работе с данными. В связи с этим, невозможно обойти стороной такую важную тему в кибербезопасности, как криптография и стеганография.
Получение данных SharePoint с использованием SQL Server Integration Services
26.04.2021
Ранее в публикациях мы рассматривали процесс автоматизации получения информации с портала SharePoint при помощи скрипта на Python. Этот вариант подходит для разовых задач аналитика. Но, если требуется хранить полученные данные в БД MS SQL и регулярно обновлять их, предпочтительнее использовать SQL Server Integration Services.
Рассмотрим пошагово, как создать простой SSIS пакет для загрузки данных списка SharePoint в БД MS SQL.
Проблема усечения строк при использовании «Мастера импорта и экспорта SQL Server» и пути ее решения
26.04.2021
Доброе утро!
Используете ли Вы пакет Microsoft SQL Server Management Studio и встроенную функцию «Мастер импорта и экспорта SQL Server», когда требуется загрузить недостающую для анализа информацию в БД? Сталкивались ли вы с проблемой усечения строк при использовании данной встроенной функции? Предлагаю рассмотреть один из путей решения данной проблемы.
Сканер уязвимостей NMAP
23.04.2021
Продолжаем тему кибербезопасности. Криптографические методы защиты активно используются в современной жизни для хранения, обработки и передачи информации по сетям на различных носителях. Сегодня мы сталкиваемся с криптографией ежедневно. Нуждаются в защите информации и сегодняшние аудиторы
Кибербезопасность: насколько надежен ваш пароль?
23.04.2021
Насколько надежны ваши пароли? Вдруг они не так хороши, как вы считаете? Узнайте подробнее в статье по ссылке
Строим нейронную сеть с PyTorch и Google Colab
22.04.2021
В этой статье мы реализуем нейронную сеть с нуля, используя PyTorch и Google Colab. Рассмотрим некоторые из основных функций, доступных в PyTorch, которые позволят вам создавать собственные нейронные сети.
Продвинутое использование библиотеки PyTorch: от подготовки данных до визуализации результата
22.04.2021
Эта библиотека Python очень быстро стала популярной среди разработчиков из-за ее легкости в создании чрезвычайно сложных нейронных сетей. Сегодня мы пройдем все этапы работы с библиотекой PyTorch. Затронем далеко не все возможности, но их хватит, чтобы начать с ней работать. Научимся пользоваться инструментами для подготовки данных, которые делают их загрузку легкой и уменьшают объем написанного кода.
MLflow вам в помощь!
21.04.2021
Что такое MLflow и для каких задач он подходит, расскажем в сегодняшней статье.
Почему One-hot encoding недопустим в линейных моделях
21.04.2021
При наличии неупорядоченных категориальных признаков в данных перед построением моделей может оказаться полезным перекодирование этих признаков в новые бинарные. Однако в линейных моделях при перекодировании признаков нужно учитывать особенности данного класса моделей. Что за особенности и какие могут быть последствия, если их не соблюдать обсудим в статье.
Рисуем графы в PyQT
20.04.2021
Продолжаем рассматривать графовую аналитику. Мы уже рассказывали о том, что это один из распространенных инструментов в поиске связей в разрозненных данных. В этой статье попробуем с использованием PyQT и networkx сделать простейший инструмент для визуализации связей.
Knowledge graph предметной области
20.04.2021
Уже давно анализ полуструктурированных схем или графов вошел в нашу жизнь. Мы строим графы процессов, основываясь на логах или данных из систем для анализа последовательности действий внутри процессов. Но это не все, на что способны графы! Все более популярным становится Graph Mining предметных областей c помощью технологии Knowledge graph.
Вебинар: Анализатор трафика мобильных приложений в аудите кибербезопасности
20.11.2020
Приглашаем на онлайн вебинар
Вебинар: Natural Language Processing.
08.10.2020
Вебинар: Технологии Computer Vision. Использование нейросетей для детекции объектов.
23.09.2020
Ссылка на github: https://github.com/Romandancer1/object-detection-example