Инженер-программист входящей в «ИКС Холдинг» российской компании «Криптонит» Антон Подлегаев написал плагин nminfer для популярного фреймворка GStreamer. Этот плагин позволяет выполнять обработку видеоданных нейросетями на отечественном ускорителе вычислений NM Card производства НТЦ «Модуль».

С помощью нового плагина российские компании и государственные структуры смогут осуществлять автоматическое распознавание лиц, номеров и различных объектов в видеопотоке, а также выполнять другие задачи обработки видео с использованием ИИ на базе отечественных программных и аппаратных решений.

Новый плагин может рассматриваться как российская альтернатива плагинам инференса нейросетевых моделей пакета Nvidia Deepstream, также основанного на Gstreamer и реализующего нейросетевой вывод в составе конвейеров обработки данных. Плагин выполняет подготовку и конвертацию как нейросетевых моделей, так и самих потоковых данных в формат, поддерживаемый NM Сard.

Ускоритель NM Card изготавливается на основе российских микросхем К1879ВМ8Я. Они представляют собой процессор цифровой обработки сигналов, который содержит 16 ядер NeuroMatrixCore с тактовой частотой до 1024 МГц.

Такие нейросети широко применяются в системах компьютерного зрения и видеоаналитики, включая разработанную в «Криптоните» платформу «Чароит».

По производительности ближайший аналог NM Card — ускоритель Nvidia Jetson Nano.

«Развитие nminfer как аналога плагинов инференса в Deepstream упростит дальнейшие разработки приложений нейросетевой обработки потоковых мультимедийных данных, так как сохранит преемственность с этим популярным инструментом, а также внесёт вклад в обеспечение технологической независимости и безопасности России», — считает создатель плагина Антон Подлегаев.