Методы ускорения инференса нейронных сетей на примере видеоаналитики

Спикер осветит актуальные вопросы применения и оптимизации нейронных сетей в реальных условиях. На примере задачи обработки видео с камер дорожного наблюдения и обнаружения транспортных средств продемонстрирует, как методы оптимизации могут значительно улучшить производительность нейронных сетей, применяемых в видеоаналитике.

Цель – продемонстрировать эффективность применения методов оптимизации, таких как квантизация и использование аппаратно-ориентированных библиотек. Александр покажет, что техники и подходы, которые они используют, можно обобщить и применить в любой области, где используются нейронные сети.

Погрузимся в детали проблемы низкой эффективности многих современных нейронных сетей при переносе их в реальные условия и рассмотрим конкретные решения, которые помогли команде преодолеть эти проблемы. Особое внимание уделим сравнению производительности инференса, написанного на Python и на С++, роли правильного выбора языка программирования, а также оптимизации работы с памятью при ускорении нейронных сетей.

Результатом работы над оптимизацией стало значительное увеличение производительности – с 8 FPS до 30 FPS на конечном устройстве Jetson NX без существенного ухудшения метрик. Это подтверждает, что с правильными методами и подходами даже самые сложные и требовательные к ресурсам модели могут быть оптимизированы для эффективного использования в реальных условиях.

Доклад будет полезен специалистам по машинному обучению, разработчикам в области видеоаналитики и всем, кто заинтересован в повышении эффективности нейронных сетей.