Автоматическая вертикализация коротких видео

В онлайн-кинотеатре используется сервис коротких видео для вовлечения пользователя в просмотр контента. Многие пользователи открывают этот сервис в мобильном приложении в вертикальном режиме. Редакторы изначально нарезают горизонтальные короткие видео, и их нужно вертикализировать, чтобы лучше вовлекать пользователей на мобильных устройствах.

Объем роликов, которые можно вертикализировать, достигает тысяч. Если автоматизировать их вертикализацию, то можно сэкономить время и деньги — решаемая проблема. Автоматизировать получилось с помощью создания проекта, который получает различную метаинформацию из видео: face detection, active speaker detection, shot detection, shot type detection, video object segmentation, face verification.

Поверх этой метаинформации были написаны эвристики. Был собран датасет нарезанной монтажерами вертикализации, выбраны метрики. Оценили модель на датасете, провели статистический анализ отличий ее работы о той, что выполнили люди, и внесли улучшения. Далее провели эксперимент с премодерацией результатов модели на краудсорсинговой платформе и с последующей модерацией профессиональными монтажерами.