Как выгрузить информацию из списка таблиц по полю, зная только часть его названия? Ответ в статье.

Одной из важных тенденций современности выступает визуализация. Она позволяет представить информацию в более простом для понимания виде.
Существует множество инструментов для преобразования данных в графику. Один из них — библиотека Seaborn в Python, в основу которой была взята библиотека mathplotlib. Она имеет тесное взаимодействие со структурами данных Pandas и по мощности сравнима с mathplotlib. Однако функционал Seaborn шире и имеет большую абстракцию для упрощения графиков.
Архитектура этой библиотеки дает возможность быстро проанализировать нужные вам данные. Упрощение во многом позволяет создавать диаграммы, которые в полной мере соответствуют поставленным задачам.
Неоспоримое преимущество Seaborn заключается в непосредственной работе с объектами dataframe из pandas, что значительно упрощает работу.

С развитием информационных технологий, имея ПК и установленный на нем стандартный пакет Python, можно анализировать данные и строить на их основе прогнозы. Во многих случаях достаточно скачать библиотеку для анализа данных, и получить неплохие результаты. При этом процессы, происходящие внутри используемых пользователем библиотек, остаются за пределами внимания и, в итоге, полученные данные могут быть неправильно интерпретированы, особенно если это нейросеть.
В статье представлен пример реализации спектрального анализа функции на примере реальных данных. Этот математический метод позволяет провести более глубокий анализ изменения функции переменной во времени, найти периодические составляющие. Его применение способно существенно повлиять на результат предсказания целевой переменной, поскольку позволяет учитывать сезонные и другие периодические колебания.

В настоящее время существует определенный пул Business Intelligence и Data Science инструментов, которые позволяют исследовать и визуализировать данные.

В этой статье мы будем рассматривать 2 различных запроса, в которых индексы не используются оптимизатором, но могут быть использованы, если изменить запрос. Далее будет описание механизма работы TSQL, и почему небольшое изменение кода даст положительный эффект. Наконец, мы выполним настройку запросов в SQL Server, чтобы увидеть, насколько можно улучшить производительность.

Одним из основных инструментов, используемых при пентесте веб-приложений, является Burp Suite. Burp Suite представляет собой платформу, состоящую из нескольких модулей, которые предназначены для выполнения задач получения «карты приложения», фаззинга, подбора паролей, изменения запроса «на лету» и т.д.

Ранее мы рассматривали основной функционал JQL в Jira. Во второй части разбора JQL мы рассмотрим применение функций для расширенного поиска.

В этой статье я расскажу о том, как написать нейросеть, способную обрабатывать изображения и классифицировать их по признакам. Для хорошей визуализации и наглядности будем делать это на примере фотографий собак и кошек, но можно использовать и любой другой подготовленный набор данных.

Думаю, каждый кто работал с computer vision сталкивался с тем, что его датасет очень мал и было бы неплохо расширить его с помощью модификации уже готовых данных. Например, добавить картинки, которые зеркально отражены или повернуты на некоторый градус. Это один из базовых подходов к пополнению датасета.

Перед нами была поставлена задача по анализу выгруженной из базы данных информации. В связи с этим возникла необходимость разбить его на несколько файлов так, чтобы они содержали заданное количество строк. После успешного решения данной задачи мы решили поделиться использованными методами.

На тему обработки timeseries (временной ряд, англ) написано множество статей и создано несчетное количество часов видео. Но, попробуйте задать поисковой системе вопрос: как работать с временными рядами. Уверен, вы закопаетесь в многообразии ссылок, похожих по смыслу и содержанию. Однако, ни одна из них не ответит на вопрос полностью.

Как выгрузить информацию из списка таблиц по полю, зная только часть его названия? Ответ в статье.

Одной из важных тенденций современности выступает визуализация. Она позволяет представить информацию в более простом для понимания виде.
Существует множество инструментов для преобразования данных в графику. Один из них — библиотека Seaborn в Python, в основу которой была взята библиотека mathplotlib. Она имеет тесное взаимодействие со структурами данных Pandas и по мощности сравнима с mathplotlib. Однако функционал Seaborn шире и имеет большую абстракцию для упрощения графиков.
Архитектура этой библиотеки дает возможность быстро проанализировать нужные вам данные. Упрощение во многом позволяет создавать диаграммы, которые в полной мере соответствуют поставленным задачам.
Неоспоримое преимущество Seaborn заключается в непосредственной работе с объектами dataframe из pandas, что значительно упрощает работу.

С развитием информационных технологий, имея ПК и установленный на нем стандартный пакет Python, можно анализировать данные и строить на их основе прогнозы. Во многих случаях достаточно скачать библиотеку для анализа данных, и получить неплохие результаты. При этом процессы, происходящие внутри используемых пользователем библиотек, остаются за пределами внимания и, в итоге, полученные данные могут быть неправильно интерпретированы, особенно если это нейросеть.
В статье представлен пример реализации спектрального анализа функции на примере реальных данных. Этот математический метод позволяет провести более глубокий анализ изменения функции переменной во времени, найти периодические составляющие. Его применение способно существенно повлиять на результат предсказания целевой переменной, поскольку позволяет учитывать сезонные и другие периодические колебания.

В настоящее время существует определенный пул Business Intelligence и Data Science инструментов, которые позволяют исследовать и визуализировать данные.

В этой статье мы будем рассматривать 2 различных запроса, в которых индексы не используются оптимизатором, но могут быть использованы, если изменить запрос. Далее будет описание механизма работы TSQL, и почему небольшое изменение кода даст положительный эффект. Наконец, мы выполним настройку запросов в SQL Server, чтобы увидеть, насколько можно улучшить производительность.

Одним из основных инструментов, используемых при пентесте веб-приложений, является Burp Suite. Burp Suite представляет собой платформу, состоящую из нескольких модулей, которые предназначены для выполнения задач получения «карты приложения», фаззинга, подбора паролей, изменения запроса «на лету» и т.д.

Ранее мы рассматривали основной функционал JQL в Jira. Во второй части разбора JQL мы рассмотрим применение функций для расширенного поиска.

В этой статье я расскажу о том, как написать нейросеть, способную обрабатывать изображения и классифицировать их по признакам. Для хорошей визуализации и наглядности будем делать это на примере фотографий собак и кошек, но можно использовать и любой другой подготовленный набор данных.

Думаю, каждый кто работал с computer vision сталкивался с тем, что его датасет очень мал и было бы неплохо расширить его с помощью модификации уже готовых данных. Например, добавить картинки, которые зеркально отражены или повернуты на некоторый градус. Это один из базовых подходов к пополнению датасета.

Перед нами была поставлена задача по анализу выгруженной из базы данных информации. В связи с этим возникла необходимость разбить его на несколько файлов так, чтобы они содержали заданное количество строк. После успешного решения данной задачи мы решили поделиться использованными методами.

На тему обработки timeseries (временной ряд, англ) написано множество статей и создано несчетное количество часов видео. Но, попробуйте задать поисковой системе вопрос: как работать с временными рядами. Уверен, вы закопаетесь в многообразии ссылок, похожих по смыслу и содержанию. Однако, ни одна из них не ответит на вопрос полностью.

В статье рассмотрен простой способ построения диаграмм Вороного в python, а также приведён вариант использования для построения карты «зон покрытия» некоторых остановок общественного транспорта.

Обогащение данных является одним из инструментов, который помогает получить более высокие результаты при использовании одних и тех же моделей. В данной статье мы рассмотрим подход, позволяющий обогатить текстовые данные.

В рамках эксперимента перед нами стояла задача выявления дополнительных способов передачи сигналов с одного персонального компьютера (далее — ПК) на другой. В данной статье речь пойдет про один из найденных экзотических способов – передаче файлов-инструкций через аудио разъем ПК. Шаг 1: Подготовка данных для передачи. Нами был создан файл с подготовленными данными для передачи (текст). […]

В данной статье рассказывается, как благодаря сплоченным действиям команды разработан инструмент, позволяющий анализировать большое количество объектов недвижимости по определенным критериям (адрес, координаты, площадь, категория и т.д.), а также поиск лиц, заинтересованных в аренде объектов недвижимости.

Компьютерное зрение — очень интересная и востребованная область искусственного интеллекта. Компьютерное зрение сейчас используется повсеместно, начиная от сегментации медицинских изображений, заканчивая управлением автомобилем. Сейчас мы коснемся одной из основных задач компьютерного зрения — обнаружения объектов.
Множество информации хранится в форме сканированных документов. Извлечь текст можно при помощи методов оптического распознавания. Но если нас интересует структурированная информация, например, таблицы, то ограничиться методами оптического распознавания мы не сможем.

Каждый день люди сталкиваются с огромным количеством данных, но, несмотря на переход к электронному документообороту, встречаются документы, которые отсканированы человеком и содержат рукописный текст, в том числе цифры, даты, подписи и пр.
Распознавание рукописного текста – это огромная проблема, так как существует всего 10 цифр, а почерк человека может сильно варьироваться и порой с задачей распознания рукописного текста не справляется даже сам человек, что уж говорить о почерке врача 😊
Классификация рукописного текста или цифр очень важна на практике, это поможет сократить время на разбор огромного количества данных.
В этой статье я хочу рассмотреть распознавание рукописных цифр от 0 до 9, с использованием известного набора данных digits библиотеки Scikit-learn, применяя классификатор логистической регрессии.

В данной статье мы посмотрим, как можно решить задачу классификации и помощью нейронной сети на языке Python, а также разберемся, какие показатели влияют на точность нейронной сети.

Рассмотрим визуализацию результата работы алгоритма Nettack, основанного на инкрементных вычислениях.  Для выполнения визуализации необходимо использовать библиотеку matplotlibс использованием пакета pyplot. Matplotlib — библиотека, вдохновлённая эмуляцией команд программного обеспечения Mathworks MATLAB. Важнейшей особенностью этой библиотеки является глобальные стиль, т.е. легкодоступность функций для пользователей на верхнем уровне и отсутствие концепции импорта python. Обозначим импортированный пакет как plt […]

При разработке нейронных сетей приходится выбирать архитектуру, на которой она будет работать. Здесь часто можно запутаться, и я решил сделать наглядное сравнение двух нейросетей, обученных на одинаковом наборе данных Open Images Dataset V4, но построенных на разных архитектурах: SSD Mobilenet V2 и faster R-CNN. Это поможет сделать приоритетный выбор в зависимости от конкретных задач.

Мы говорим Big Data, подразумеваем — Apache Spark. Сейчас это, пожалуй, самый мощный и модный фреймворк для распределённой обработки больших данных в задачах Data Science, поэтому для всех аналитиков как никогда важна задача изучения Spark и получения практических навыков работы с ним. Однако привычная среда обитания Spark — это, как правило, серверные кластеры промышленного масштаба […]

Как выгрузить информацию из списка таблиц по полю, зная только часть его названия? Ответ в статье.

Одной из важных тенденций современности выступает визуализация. Она позволяет представить информацию в более простом для понимания виде.
Существует множество инструментов для преобразования данных в графику. Один из них — библиотека Seaborn в Python, в основу которой была взята библиотека mathplotlib. Она имеет тесное взаимодействие со структурами данных Pandas и по мощности сравнима с mathplotlib. Однако функционал Seaborn шире и имеет большую абстракцию для упрощения графиков.
Архитектура этой библиотеки дает возможность быстро проанализировать нужные вам данные. Упрощение во многом позволяет создавать диаграммы, которые в полной мере соответствуют поставленным задачам.
Неоспоримое преимущество Seaborn заключается в непосредственной работе с объектами dataframe из pandas, что значительно упрощает работу.

С развитием информационных технологий, имея ПК и установленный на нем стандартный пакет Python, можно анализировать данные и строить на их основе прогнозы. Во многих случаях достаточно скачать библиотеку для анализа данных, и получить неплохие результаты. При этом процессы, происходящие внутри используемых пользователем библиотек, остаются за пределами внимания и, в итоге, полученные данные могут быть неправильно интерпретированы, особенно если это нейросеть.
В статье представлен пример реализации спектрального анализа функции на примере реальных данных. Этот математический метод позволяет провести более глубокий анализ изменения функции переменной во времени, найти периодические составляющие. Его применение способно существенно повлиять на результат предсказания целевой переменной, поскольку позволяет учитывать сезонные и другие периодические колебания.

В настоящее время существует определенный пул Business Intelligence и Data Science инструментов, которые позволяют исследовать и визуализировать данные.

В этой статье мы будем рассматривать 2 различных запроса, в которых индексы не используются оптимизатором, но могут быть использованы, если изменить запрос. Далее будет описание механизма работы TSQL, и почему небольшое изменение кода даст положительный эффект. Наконец, мы выполним настройку запросов в SQL Server, чтобы увидеть, насколько можно улучшить производительность.

Одним из основных инструментов, используемых при пентесте веб-приложений, является Burp Suite. Burp Suite представляет собой платформу, состоящую из нескольких модулей, которые предназначены для выполнения задач получения «карты приложения», фаззинга, подбора паролей, изменения запроса «на лету» и т.д.

Ранее мы рассматривали основной функционал JQL в Jira. Во второй части разбора JQL мы рассмотрим применение функций для расширенного поиска.

В этой статье я расскажу о том, как написать нейросеть, способную обрабатывать изображения и классифицировать их по признакам. Для хорошей визуализации и наглядности будем делать это на примере фотографий собак и кошек, но можно использовать и любой другой подготовленный набор данных.

Думаю, каждый кто работал с computer vision сталкивался с тем, что его датасет очень мал и было бы неплохо расширить его с помощью модификации уже готовых данных. Например, добавить картинки, которые зеркально отражены или повернуты на некоторый градус. Это один из базовых подходов к пополнению датасета.

Перед нами была поставлена задача по анализу выгруженной из базы данных информации. В связи с этим возникла необходимость разбить его на несколько файлов так, чтобы они содержали заданное количество строк. После успешного решения данной задачи мы решили поделиться использованными методами.

На тему обработки timeseries (временной ряд, англ) написано множество статей и создано несчетное количество часов видео. Но, попробуйте задать поисковой системе вопрос: как работать с временными рядами. Уверен, вы закопаетесь в многообразии ссылок, похожих по смыслу и содержанию. Однако, ни одна из них не ответит на вопрос полностью.

В статье рассмотрен простой способ построения диаграмм Вороного в python, а также приведён вариант использования для построения карты «зон покрытия» некоторых остановок общественного транспорта.

Обогащение данных является одним из инструментов, который помогает получить более высокие результаты при использовании одних и тех же моделей. В данной статье мы рассмотрим подход, позволяющий обогатить текстовые данные.

В рамках эксперимента перед нами стояла задача выявления дополнительных способов передачи сигналов с одного персонального компьютера (далее — ПК) на другой. В данной статье речь пойдет про один из найденных экзотических способов – передаче файлов-инструкций через аудио разъем ПК. Шаг 1: Подготовка данных для передачи. Нами был создан файл с подготовленными данными для передачи (текст). […]

В данной статье рассказывается, как благодаря сплоченным действиям команды разработан инструмент, позволяющий анализировать большое количество объектов недвижимости по определенным критериям (адрес, координаты, площадь, категория и т.д.), а также поиск лиц, заинтересованных в аренде объектов недвижимости.

Компьютерное зрение — очень интересная и востребованная область искусственного интеллекта. Компьютерное зрение сейчас используется повсеместно, начиная от сегментации медицинских изображений, заканчивая управлением автомобилем. Сейчас мы коснемся одной из основных задач компьютерного зрения — обнаружения объектов.
Множество информации хранится в форме сканированных документов. Извлечь текст можно при помощи методов оптического распознавания. Но если нас интересует структурированная информация, например, таблицы, то ограничиться методами оптического распознавания мы не сможем.

Каждый день люди сталкиваются с огромным количеством данных, но, несмотря на переход к электронному документообороту, встречаются документы, которые отсканированы человеком и содержат рукописный текст, в том числе цифры, даты, подписи и пр.
Распознавание рукописного текста – это огромная проблема, так как существует всего 10 цифр, а почерк человека может сильно варьироваться и порой с задачей распознания рукописного текста не справляется даже сам человек, что уж говорить о почерке врача 😊
Классификация рукописного текста или цифр очень важна на практике, это поможет сократить время на разбор огромного количества данных.
В этой статье я хочу рассмотреть распознавание рукописных цифр от 0 до 9, с использованием известного набора данных digits библиотеки Scikit-learn, применяя классификатор логистической регрессии.

В данной статье мы посмотрим, как можно решить задачу классификации и помощью нейронной сети на языке Python, а также разберемся, какие показатели влияют на точность нейронной сети.

Рассмотрим визуализацию результата работы алгоритма Nettack, основанного на инкрементных вычислениях.  Для выполнения визуализации необходимо использовать библиотеку matplotlibс использованием пакета pyplot. Matplotlib — библиотека, вдохновлённая эмуляцией команд программного обеспечения Mathworks MATLAB. Важнейшей особенностью этой библиотеки является глобальные стиль, т.е. легкодоступность функций для пользователей на верхнем уровне и отсутствие концепции импорта python. Обозначим импортированный пакет как plt […]

При разработке нейронных сетей приходится выбирать архитектуру, на которой она будет работать. Здесь часто можно запутаться, и я решил сделать наглядное сравнение двух нейросетей, обученных на одинаковом наборе данных Open Images Dataset V4, но построенных на разных архитектурах: SSD Mobilenet V2 и faster R-CNN. Это поможет сделать приоритетный выбор в зависимости от конкретных задач.

Мы говорим Big Data, подразумеваем — Apache Spark. Сейчас это, пожалуй, самый мощный и модный фреймворк для распределённой обработки больших данных в задачах Data Science, поэтому для всех аналитиков как никогда важна задача изучения Spark и получения практических навыков работы с ним. Однако привычная среда обитания Spark — это, как правило, серверные кластеры промышленного масштаба […]

В Hive запросы даже небольших объемов данных занимают минуты. Предлагаем ознакомиться с основными методами автоматизации, позволяющими достичь существенного увеличения производительности.

Как исследовать комментарии клиентских менеджеров по результатам коммуникаций с клиентами? А если число разговоров измеряется миллионами? На помощь приходит NLTK.

Если вы уже долгое время хотите попробовать в действии нейронные сети, но всё ещё не можете решиться, потому что это кажется очень сложным, самое время познакомиться с fast ai.

Сегодня сравним два подхода реализации логистической регрессии.

При подготовке структурированных данных использование языка программирования Python и в частности применение методов библиотек Pandas и Scikit-learn – это один из способов успешного решения такой задачи для Data Science специалиста.

В этой статье расскажем о применении пакета jug в Python для создания конвейера задач, позволяющего избавиться от проведения вычислений при каждом запуске программного кода.

Статья о том, как сократить время и объем данных за счет Python и стандартной библиотеки ZipFile.

Регулярные выражения в ETL процессах позволяют существенно облегчить поиск текстовых выражений и/или замену текстовых выражений по заданным шаблонам. Существенное облегчение заключается не только в использовании одной функции, но и скорости обработки текстовых выражений в отличие от использования нескольких встроенных строковых функций таких как SUBSTRING, REPLACE, TRIM и других.

В этой статье я расскажу о том, что означает предупреждение при работе с библиотекой Pandas: “SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame” и о том, как правильно присваивать значения внутри датафрейма.

Рассказываем, как можно реализовать инструмент, с помощью которого можно будет работать с содержимым файлов разных форматов и записывать результаты поиска в удобном формате.

При подготовке структурированных данных использование языка программирования Python и в частности применение методов библиотек Pandas и Scikit-learn – это один из способов успешного решения такой задачи для Data Science специалиста.

Применение линейной регрессии “из коробки” – задача нетривиальная. Но важно понимать метрики качества модели, а также то, что задача не всегда может сводится к стандартной линейной функции.

Добрый день!
В сегодняшней статье хочу поделиться опытом использования xgboost/sklearn для задачи определения потенциально мошеннических операций, совершаемых клиентами кредитной организации.

ML – панацея для любых задач или способ определить лучшие подходы для реализации? В своей статье я проведу сравнение различных по своей сути моделей кластеризации и простого метода расчета расстояния между точками при решении прикладной задачи поиска схожих операций.

Многие методы машинного обучения накладывают ограничение на типы признаков – все они должны быть числовыми. Но как быть, если ваши данные содержат текстовые категории, например, город, тип продукта, вид транзакций и т.п.? Ответ один – закодировать их числами!

На сегодняшний день существует множество программ для сравнения текста или поиска совпадений текста, будь то сообщение на форуме, курсовая, рецепты, дипломные работы и так далее.
Так как эта тема вездесуща, то рассмотрим алгоритм некоторых таких программ и то, как они сравнивают текст.

Если есть подозрительные транзакции по картам, то на их основе можно предсказывать заведомо мошеннические операции при последующих попытках. Насколько эффективно с этим справится метод ML Random Forest и какие метрики оценки модели лучше использовать на НЕ сбалансированных данных?