Взлом VMAF и VMAF NEG, или Почему сравнивать кодеки в ближайшие годы станет заметно сложнее

На протяжении уже 18 лет Дмитрий и его коллеги по лаборатории проводят ежегодное сравнение видеокодеков. В последнем участвовали более 20 кодеков, размер отчета составил более 200 страниц, а в приложении — более 20 000 графиков.

В сравнении хорошо видна борьба стандартов. В частности резкий взлет количества участников произошел сначала с появлением H.265/HEVC-кодеков, а потом с появлением AV1.

Особенность данного сравнения в том, что разработчики сами предоставляют кодек и настройки, поэтому если кодек потенциально слаб — его снимают с участия. В 2021 году участвовало 6 новых VVC-кодеков, также появился новый «китайский» стандарт AVS3, то есть ситуация становится все жарче и жарче.

Одновременно с этим активно развиваются метрики качества видео, в том числе все шире используется VMAF от Netflix. Эта метрика действительно лучше по корреляции. Но как показали исследования, ее можно «взломать», то есть улучшить результат за счет препроцессинга без улучшения кодека.