Сегодня на простом примере рассмотрим – как провести краткий обзор неструктурированных данных в виде графа знаний.

При создании Искусственного Интеллекта мы учим его думать и решать различные задачи. А как насчёт того, чтобы научить его формулировать мысли? А рассказывать анекдоты? Тут нам пригодятся цепи Маркова

Перед каждым DS специалистом встает вопрос поиска данных. Большинство сайтов не хотят отдавать вам информацию просто так, у них нет API или инструментов для выгрузки. Тогда перед вами встает вопрос, как же собрать данные?
Сегодня мы об этом расскажем.

Доброе утро! Сегодня расскажем о процессах Дирихле в машинном обучении и улучшим данные на небольшом примере.

При построении невероятностных моделей или рассмотрении задачи классификации с большим количеством классов возникает проблема дисбаланса классов. В этой статье мы расскажем об одном из методов устранения дисбаланса классов.

В каждом распоряжении всегда присутствуют дата, номер и название, но количество пунктов в тексте всегда отличается. В этой статье мы расскажем, как добавлять новые пункты одним нажатием с помощью надстройки VSTO.

В этой статье я поделюсь способом, который позволит получить только необходимые столбцы в результате выполнения хранимой процедуры.

Добрый день!
В сегодняшней статье хочу поделиться опытом использования xgboost/sklearn для задачи определения потенциально мошеннических операций, совершаемых клиентами кредитной организации.

В этой статье мы расскажем об интерфейсе программирования web-API и приведем пример его применения.

Сегодня на простом примере рассмотрим – как провести краткий обзор неструктурированных данных в виде графа знаний.

При создании Искусственного Интеллекта мы учим его думать и решать различные задачи. А как насчёт того, чтобы научить его формулировать мысли? А рассказывать анекдоты? Тут нам пригодятся цепи Маркова

Перед каждым DS специалистом встает вопрос поиска данных. Большинство сайтов не хотят отдавать вам информацию просто так, у них нет API или инструментов для выгрузки. Тогда перед вами встает вопрос, как же собрать данные?
Сегодня мы об этом расскажем.

Доброе утро! Сегодня расскажем о процессах Дирихле в машинном обучении и улучшим данные на небольшом примере.

При построении невероятностных моделей или рассмотрении задачи классификации с большим количеством классов возникает проблема дисбаланса классов. В этой статье мы расскажем об одном из методов устранения дисбаланса классов.

В каждом распоряжении всегда присутствуют дата, номер и название, но количество пунктов в тексте всегда отличается. В этой статье мы расскажем, как добавлять новые пункты одним нажатием с помощью надстройки VSTO.

В этой статье я поделюсь способом, который позволит получить только необходимые столбцы в результате выполнения хранимой процедуры.

Добрый день!
В сегодняшней статье хочу поделиться опытом использования xgboost/sklearn для задачи определения потенциально мошеннических операций, совершаемых клиентами кредитной организации.

В этой статье мы расскажем об интерфейсе программирования web-API и приведем пример его применения.

Выдать кредит или отказать в выдаче, отправить подозрительное письмо в спам или довести до адресата – эти и другие задачи классификации успешно решаются разработанными к настоящему времени инструментами, основанными на применении искусственного интеллекта. Один из таких инструментов мы рассмотрим в данной статье

Сколько рабочего времени вы тратите на скучные рутинные операции? Затрачивая каждый день время на генерацию фич или подбор параметров, за месяц вы расходуете очень много времени, которое можно использовать на выполнение новой задачи, обучение нейросети или саморазвитие.
В данной статье мы рассмотрим применение трех решений оптимизации рабочего процесса: генератор признаков featuretools, подборщик гиперпараметров optuna и коробочное решение автоматического машинного обучения от H2O AutoML. Сравним работу новых инструментов против классических pandas и sklearn.
Статья будет полезна DS-специалистам и аналитикам.

Деятельность крупных IT-компаний требует мощных вычислительных ресурсов, а значит оборудования, для корректной работы которого необходимы современные серверные комнаты, удовлетворяющие нормам оснащения.
Важная задача – обеспечить контроль за порядком в серверных помещениях. Найти посторонние предметы в серверных поможет Computer Vision

Классифицировать десятки тысяч скриншотов документов по типу.
Когда стоит такая задача, никто не станет перебирать файлы вручную. В этой статье расскажу о своём опыте классификации изображений с использованием нейросети

В работе мы часто сталкиваемся с материалами в формате текстовых PDF файлов. Сегодня поделимся с вами скриптом, который поможет преобразовать PDF формат. В нашем случае задача заключалась в том, чтобы найти ключевые объекты в содержимом файлов.

В данной статье мы рассмотрим метод поиска банковских карт, на которые осуществляются мошеннические сборы, в социальной сети Instagram

В сфере благотворительности наблюдается много случаев мошенничества. Например, в сети часто подделывают картинки со сборами денег на лечение, меняя данные карты. Попробуем выявить факты мошенничества.

Почему парсер долго выгружает информацию с сайта? Как ускорить его работу? В данной статье я поделюсь с вами опытом работы с многопоточным парсингом с помощью библиотеки Concurrent.futures на Python

Как произвести парсинг сайта, если требуется авторизация для получения доступа к данным? В данной статье я расскажу, как произвести выгрузку таким образом, чтобы ваш аккаунт не заблокировали на сайте.

Эффективная поисковая система — это мощный инструмент, способный принести больше прибыли владельцам веб-сайтов. Если поисковый механизм сайта не дает нужных результатов или его эффективность поиска слишком низкая, люди покидают веб-сайт и переходят к его конкуренту.
В интернете можно найти сведения о нескольких десятках поисковых инструментов, но, если необходимо найти надежное и эффективное решение для своего веб-приложения, имеет смысл рассмотреть имеющихся лидеров: Elasticsearch, Solr или Sphinx.

В этой статье расскажем о методе извлечения информации из текстовых сообщений чата компании. Посмотрим высоко-рисковые чаты, которые содержат случаи игнорирования клиентов и требуют дополнительного анализа и решений. Применим одну из моделей NLP

Доброе утро!
Сегодня расскажем о библиотеке анализа естественного языка Stanza от Stanford NLP Group, предоставляющую превосходный инструментарий для решения задачи NER по распознаванию именованных сущностей в тексте — имён людей, названий населённых пунктов, организаций, дат и т.д.

Издревле человек изобретал механизмы для упрощения своего труда и освобождения своего участия в нём. Развиваясь человечество придумывало всё более сложные системы, появлялись новые отрасли, автоматизировались процессы, повышалась производительность и снижался риск возникновения ошибок, улучшалось качество продукции.
На компьютерах, с большими дисковыми пространствами, стали храниться и обрабатываться огромные объемы данных, не редко содержащие критичную информацию. Во избежание неправомерного получения такой информации сотрудниками, возникла необходимость управлять процессом предоставления доступов к ней.
В данной статье я опишу схему автоматизации предоставления доступов сотрудникам для небольшого DWH на MS SQL Server.

Сегодня на простом примере рассмотрим – как провести краткий обзор неструктурированных данных в виде графа знаний.

При создании Искусственного Интеллекта мы учим его думать и решать различные задачи. А как насчёт того, чтобы научить его формулировать мысли? А рассказывать анекдоты? Тут нам пригодятся цепи Маркова

Перед каждым DS специалистом встает вопрос поиска данных. Большинство сайтов не хотят отдавать вам информацию просто так, у них нет API или инструментов для выгрузки. Тогда перед вами встает вопрос, как же собрать данные?
Сегодня мы об этом расскажем.

Доброе утро! Сегодня расскажем о процессах Дирихле в машинном обучении и улучшим данные на небольшом примере.

При построении невероятностных моделей или рассмотрении задачи классификации с большим количеством классов возникает проблема дисбаланса классов. В этой статье мы расскажем об одном из методов устранения дисбаланса классов.

В каждом распоряжении всегда присутствуют дата, номер и название, но количество пунктов в тексте всегда отличается. В этой статье мы расскажем, как добавлять новые пункты одним нажатием с помощью надстройки VSTO.

В этой статье я поделюсь способом, который позволит получить только необходимые столбцы в результате выполнения хранимой процедуры.

Добрый день!
В сегодняшней статье хочу поделиться опытом использования xgboost/sklearn для задачи определения потенциально мошеннических операций, совершаемых клиентами кредитной организации.

В этой статье мы расскажем об интерфейсе программирования web-API и приведем пример его применения.

Выдать кредит или отказать в выдаче, отправить подозрительное письмо в спам или довести до адресата – эти и другие задачи классификации успешно решаются разработанными к настоящему времени инструментами, основанными на применении искусственного интеллекта. Один из таких инструментов мы рассмотрим в данной статье

Сколько рабочего времени вы тратите на скучные рутинные операции? Затрачивая каждый день время на генерацию фич или подбор параметров, за месяц вы расходуете очень много времени, которое можно использовать на выполнение новой задачи, обучение нейросети или саморазвитие.
В данной статье мы рассмотрим применение трех решений оптимизации рабочего процесса: генератор признаков featuretools, подборщик гиперпараметров optuna и коробочное решение автоматического машинного обучения от H2O AutoML. Сравним работу новых инструментов против классических pandas и sklearn.
Статья будет полезна DS-специалистам и аналитикам.

Деятельность крупных IT-компаний требует мощных вычислительных ресурсов, а значит оборудования, для корректной работы которого необходимы современные серверные комнаты, удовлетворяющие нормам оснащения.
Важная задача – обеспечить контроль за порядком в серверных помещениях. Найти посторонние предметы в серверных поможет Computer Vision

Классифицировать десятки тысяч скриншотов документов по типу.
Когда стоит такая задача, никто не станет перебирать файлы вручную. В этой статье расскажу о своём опыте классификации изображений с использованием нейросети

В работе мы часто сталкиваемся с материалами в формате текстовых PDF файлов. Сегодня поделимся с вами скриптом, который поможет преобразовать PDF формат. В нашем случае задача заключалась в том, чтобы найти ключевые объекты в содержимом файлов.

В данной статье мы рассмотрим метод поиска банковских карт, на которые осуществляются мошеннические сборы, в социальной сети Instagram

В сфере благотворительности наблюдается много случаев мошенничества. Например, в сети часто подделывают картинки со сборами денег на лечение, меняя данные карты. Попробуем выявить факты мошенничества.

Почему парсер долго выгружает информацию с сайта? Как ускорить его работу? В данной статье я поделюсь с вами опытом работы с многопоточным парсингом с помощью библиотеки Concurrent.futures на Python

Как произвести парсинг сайта, если требуется авторизация для получения доступа к данным? В данной статье я расскажу, как произвести выгрузку таким образом, чтобы ваш аккаунт не заблокировали на сайте.

Эффективная поисковая система — это мощный инструмент, способный принести больше прибыли владельцам веб-сайтов. Если поисковый механизм сайта не дает нужных результатов или его эффективность поиска слишком низкая, люди покидают веб-сайт и переходят к его конкуренту.
В интернете можно найти сведения о нескольких десятках поисковых инструментов, но, если необходимо найти надежное и эффективное решение для своего веб-приложения, имеет смысл рассмотреть имеющихся лидеров: Elasticsearch, Solr или Sphinx.

В этой статье расскажем о методе извлечения информации из текстовых сообщений чата компании. Посмотрим высоко-рисковые чаты, которые содержат случаи игнорирования клиентов и требуют дополнительного анализа и решений. Применим одну из моделей NLP

Доброе утро!
Сегодня расскажем о библиотеке анализа естественного языка Stanza от Stanford NLP Group, предоставляющую превосходный инструментарий для решения задачи NER по распознаванию именованных сущностей в тексте — имён людей, названий населённых пунктов, организаций, дат и т.д.

Издревле человек изобретал механизмы для упрощения своего труда и освобождения своего участия в нём. Развиваясь человечество придумывало всё более сложные системы, появлялись новые отрасли, автоматизировались процессы, повышалась производительность и снижался риск возникновения ошибок, улучшалось качество продукции.
На компьютерах, с большими дисковыми пространствами, стали храниться и обрабатываться огромные объемы данных, не редко содержащие критичную информацию. Во избежание неправомерного получения такой информации сотрудниками, возникла необходимость управлять процессом предоставления доступов к ней.
В данной статье я опишу схему автоматизации предоставления доступов сотрудникам для небольшого DWH на MS SQL Server.

Соревнование NTA Payment systems detection challenge завершилось.  Благодарим каждого из вас за участие и надеемся, что и дальше вы будете участвовать в наших соревнованиях.  С участниками, решения которых отметили члены комиссии, мы обязательно свяжемся для организации стажировок. Публикуем 8-ку лучших. В соответствии с правилами конкурса места были распределены между участниками, выполнившими все условия. Место Имя Город 1 […]

Для каких целей можно использовать алгоритмы искусственного интеллекта на банкоматах? Подробности в статье.

Достаточно часто при работе с видео ставится задача узнать – сколько людей было в кадре и получить их лица.
На первый взгляд задача достаточно простая, но порой ее реализация упирается в огромное количество проблем. Наиболее частая – какую библиотеку использовать, чтобы максимально быстро получить хороший результат?

Наши рабочие места уже через несколько лет может взять на себя искусственный интеллект. Это убеждение, во всяком случае, могло возникнуть у вас, если вы следили за средствами массовой информации в последние месяцы. Новые системы будут выполнять наши задачи лучше, быстрее и дешевле, чем мы, люди. История успеха ИИ, похоже, уже установлена. ИИ теперь уже многое может и скоро сможет почти все.

Как не потерять терпение, выгружая данные из очень большой таблицы за период времени

Работая в SQL Server нам приходится искать в базах данных уникальные значения и, привычно, мы используем для этого COUNT(DISTINCT()). В SQL Server 2019 (15.x) появилась функция для поиска уникальных значений APPROX_COUNT_DISTINCT, которая имеет преимущество при работе с большими данными, в отличии от привычной нам функции.

Часто в работе, связанной с анализом базы данных SQL Server, необходимо выполнить хранимую процедуру (stored procedure), для получения некоторых свойств данных, хранящихся в таблице, но не все столбцы в результате вывода могут представлять интерес для этой задачи.
Согласитесь, не всегда удобно прокручивать большую таблицу, чтобы увидеть необходимую информацию. В этой статье я поделюсь способом, который позволит получить только необходимые столбцы в результате выполнения хранимой процедуры.

Добрый день, дорогие читатели! Сегодня расскажем: что такое BPwin и IDEF0 и как построить диаграмму для моделирования бизнес-процесса.

В данной статье исследуются данные затрат на электроэнергию, анализируемые с помощью математической статистики и создается инструмент нахождения аномальных значений.

Поговорим о прикладных вычислениях, с которыми мы регулярно сталкиваемся в задачах: бинарная и многоклассовая классификация, кластеризация, линейная алгебра, визуализация и другие. Все эти задачи обсчитываются в основном с помощью CPU. Но существуют также задачи, которые используют GPU для расчетов. К таким задачам можно отнести рендеринг видео, ретушь фотографий, загрузка текстур в видеоиграх.

Данная статья освещает модуль для поиска данных согласно заданным шаблонам, а также их дальнейшей обработке средствами библиотеки pampy. Данная библиотека позволяет писать читаемый и понятный код для поиска различного рода шаблонных данных (наименования, списки, словари и т.д. и т.п.)

В статье рассматривается способ решения задачи поиска изображений по фрагменту. Представленное решение позволяет быстро и эффективно находить похожие ключевые точки изображений. В работе используется алгоритм ORB.

Счетная палата Российской Федерации — первый федеральный государственный орган, практикующий регулярное проведение хакатонов для решения задач цифровой трансформации. В марте мы приняли участие в таком соревновании в онлайн-формате. Чем же так заинтересовал нас именно этот хакатон? Возможностью выбора конкретной задачи из достаточно большого пула предложенных. Подборнее расскажем в сегодняшнем обзоре.

Нам часто приходится работать с большими массивами данных, представленными в табличной форме. Упростить и облегчить процесс проведения анализа данных можно, если обратиться к использованию функций создания ХML-данных в сочетании с SQL-запросами.

EmptyDataError… Звучит знакомо? В этой статье рассмотрим несколько советов, дабы избежать ошибок при загрузке файлов CSV с помощью Pandas DataFrame.

Знакомство с реализацией алгоритмов машинного обучения для языка python многие начинают с библиотеки Scikit-learn. Эта многопрофильная библиотека содержит эффективные инструменты работы с данными и может использоваться в самых разнообразных сценариях. Однако Scikit-learn не поддерживает работу с графическими процессорами, поэтому при обработке больших массивов данных скорость не всегда удовлетворительна.

Pandas, безусловно, является одним из основных инструментов, необходимых для работы с данными в Python. Он предлагает множество различных способов фильтрации фреймов данных. Один из них сегодня покажем на примере.

Данные играют решающую роль в современном мире, а используя разные инструменты для их анализа можно разрабатывать поразительные вещи. Например, с помощью языка программирования Python — в Netflix осуществляется трансляция видео. Сегодня поговорим про анализ и работу с тестовыми данными, используя встроенные инструменты Python.

В настоящее время сложно представить серьезную организацию, в которой не уделялось бы внимание обеспечению кибербезопасности при работе с автоматизированными системами и средствами вычислительной техники, с помощью которых осуществляется доступ к АС и файловым информационным ресурсам. Одним из важнейших фокусов внимания является исключение риска утечки и несанкционированного доступа к различного рода информации, особенно к конфиденциальной и информации с персональными данными.

Была поставлена задача — в кратчайшие сроки выгрузить 500 ГБ информации из базы данных (БД). Но на тот момент места на жестком диске катастрофически не хватало, и не было возможности оперативно очистить или добавить новый.

При использовании MS SQL появляется проблема, когда размеры расположенных баз данных на физическом носителе увеличиваются до огромных объемов. Одно из решений – это покупка нового жесткого диска с большим объемом памяти. Но тот же самый MS SQL SERVER предлагает более экономичное решение (бесплатное) – свои собственные функции сжатия. Расскажем о четырех основных методах по решению данной проблемы.

Как много пользователей просматривает ваш отчет в Power BI? Что если вам нужно ограничить доступ к данным отчета? Рассмотрим как разграничить права в Power BI?

Добрый день!
В сегодняшней статье хочу поделиться опытом использования xgboost/sklearn для задачи определения потенциально мошеннических операций, совершаемых клиентами кредитной организации.

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Многие методы машинного обучения накладывают ограничение на типы признаков – все они должны быть числовыми. Но как быть, если ваши данные содержат текстовые категории, например, город, тип продукта, вид транзакций и т.п.? Ответ один – закодировать их числами!

На сегодняшний день существует множество программ для сравнения текста или поиска совпадений текста, будь то сообщение на форуме, курсовая, рецепты, дипломные работы и так далее.
Так как эта тема вездесуща, то рассмотрим алгоритм некоторых таких программ и то, как они сравнивают текст.

Если есть подозрительные транзакции по картам, то на их основе можно предсказывать заведомо мошеннические операции при последующих попытках. Насколько эффективно с этим справится метод ML Random Forest и какие метрики оценки модели лучше использовать на НЕ сбалансированных данных?

Подбор параметров – одна из важных задач для построения модели машинного обучения. Изменение параметров модели может принципиально повлиять на ее качество.

Никогда не задумывался, что влияет на цену недвижимости?Рассказываем, как построили первую модель машинного обучения и проанализировали ее качество