Анализ производительности инструментов Computer Vision в процессе кадрирования видео

Время прочтения: 4 мин.

В аудиторской деятельности мы все чаще в своей работе стали обращаться к материалам камер видеонаблюдения с целью выявления отклонений в обеспечивающих процессах организации. В век высоких технологий анализ огромного объема видео осуществляется с применением различных IT инструментов, в ходе которого на первом этапе производятся действия по кадрированию (формированию фреймов) видео.

Для себя были выделены два инструмента Computer Vision, которые можно использовать для решения нашей задачи: OpenCV, MoviePy.

В тестах будут использованы:

— компьютер мощностью (Intel(R) Core(TM) i3-8109U CPU @ 3.00GHz   3.00 GHz0);

—  видео формата mp4 объемом 128,72 МБ, продолжительностью 9 мин. 30 сек. (570 сек.).

В ходе кадрирования мы будем получать по 24 кадра в секунду. По итогам каждого прогона мы получим на выходе порядка 13,68 тыс. файлов, которые будут сохранены в отдельно созданные папки.

OpenCV

Устанавливаем необходимые библиотеки:

import cv2
import os

Загружаем видео и создаем папку с названием клипа, для дальнейшего сохранения в нее фреймов.

cam = cv2.VideoCapture("Путешествие муравья.mp4")
os.makedirs('data')

Запускаем процесс формирования фреймов с сохранением полученных кадров в созданной ранее папке. В данном случае при обработке 1 секунды видео будет сформировано по 24 фрейма.

%%time
#необходимо для подсчета времени, затраченное на кадрирование видео
currentframe = 0
while(True):
    ret,frame = cam.read()
    if ret:
        name = './data/frame' + str(currentframe) + '.jpg'
        cv2.imwrite(name, frame)
        currentframe += 1
    else:
        break

Фиксируем время выполнения кода. Wall time: 18min 15s

MoviePy

Устанавливаем необходимые библиотеки:

from moviepy.editor import VideoFileClip
import numpy as np
import os
from datetime import timedelta

Загружаем видео и создаем папку с названием клипа, для дальнейшего сохранения в нее фреймов.

video_file = 'Путешествие муравья.mp4'
video_clip = VideoFileClip(video_file)
filename, _ = os.path.splitext(video_file)
if not os.path.isdir(filename):
    os.mkdir(filename)

Функция format_timedelta() принимает объект timedelta и возвращает строковое отображение временной точки видео, в момент которого формируется кадр. В дальнейшем результат выполнения функции будет использован при формировании названия сохраняемого фрейма.

def format_timedelta(td):
    result = str(td)
    try:
        result, ms = result.split(".") 
    except ValueError:
        return result + ".00".replace(":", "-")
    ms = int(ms)
    ms = round(ms / 1e4)
    return f"{result}.{ms:02}".replace(":", "-")

Формируем фреймы с определением шага формирования изображения в переменной step. Сохраняем результат в сформированной ранее папке:

%%time
step = 1/24
#данное значение переменной step определяет шаг кадрирования, соответствующее частоте кадров в видео (24 кадр в секунду)
for current_duration in np.arange(0, video_clip.duration, step):
    frame_duration_formatted = format_timedelta(timedelta(seconds=current_duration)).replace(":", "-")
    frame_filename = os.path.join(filename, f"frame{frame_duration_formatted}.jpg")
    video_clip.save_frame(frame_filename, current_duration)  

Фиксируем время отработки кода: Wall time: 11min 55s

Подведем итоги произведенных нами тестов CV инструментов в сводную таблицу.

Как видим оба инструмента можно использовать при решении нашей задачи. Однако, OpenCV затрачивает больше времени на выполнение задачи и требует выделения дополнительных объемов памяти для сохранения фреймов, а MoviePy.выполнит задачу за меньший промежуток времени и с меньшим использованием дискового пространства.

Для чистоты эксперимента было проведено еще несколько тестов на основе нашего видео, конвертированного и сохраненного посредством внешней программы в разных форматах (avi, mpg, mkv). Ниже итоги тестов:

Как мы видим, дополнительно проведенные манипуляции подтверждают ранее сделанный вывод и наглядно показывают, что инструмент MoviePy имеет преимущество перед OpenCV при кадрировании, в том числе, независимо от формата, обрабатываемого видео.

Следует обратить внимание, что наилучшие показатели производительности инструментов получены при работе с файлом в формате .mpg. Время кадрирования для OpenCV оптимизировано на 50%, для MoviePy на 14%.

 P.S. Через изменение частоты кадрирования видео вы можете значительно ускорить формирование фреймов.

В нашем коде кадрирование соответствует частоте кадров в видео (24-кадра в секунду). В ряде случаев такая частота кадрирования является избыточной, например, при обработке полученных изображений для детекции людей, животных, машин и прочих предметов. Это непосредственно влияет на продолжительность работы инструмента кадрирования и размеры памяти для хранения фреймов.

Путем нехитрых манипуляций мы можем уменьшить частоту формирования фреймов до 1 кадр в секунду:

Для OpenCV

currentframe = 0
while(True):
    ret,frame = cam.read()
    if ret & (currentframe%24==0):
        name = './data/frame' + str(currentframe) + '.jpg'
        cv2.imwrite(name, frame)
    currentframe += 1
    if ret:
        continue
    else:
        break

Для MoviePy

В уже написанном выше коде для переменной step определяем значение, равное 1.

Подобьем итоги произведенных нами действий по уменьшению частоты кадрирования:

Таким образом, при установлении кадровой частоты извлечения изображений из видео с периодичностью 1 фрейм в секунду при обработке исходного видео вместо 13,68 тыс. изображений на выходе получим всего 0,57 тыс. кадров, что повышаем производительность инструментов Computer Vision в 6 раз.