Сбербанк запатентовал технологии, помогающие повысить точность и эффективность обнаружения синтетического изменения изображений лиц людей в видео. Об этом сообщает пресс-служба банка.
В пресс-релизе компания рассказала, что получила патенты на ряд ансамблей нейросетевых моделей класса EfficientNet (патент №2768797) и метод амплификации и анализа средствами ИИ микроизменений в цветах объектов на кадрах (патент №2774624). Система, включающая в себя эти технологии, помогает точно различать видео с дипфейками.
Принцип ее работы заключается в анализе лиц в видеороликах. Технология «разбивает» лица на несколько кадров и для каждого кадра извлекает красный цвет RGB-палитры. После этого составляется массив изменений красного цвета для каждого пикселя кадров и рассчитывается изменение в этом спектре. Ряд ансамблей нейросетевых моделей и метод амплификации и анализа цвета позволяют с высокой точностью определить синтетически измененные изображения лиц на видео
Отличительной особенностью системы является возможность обработки видеоконтента с несколькими лицами в кадре. В этом случае система выявляет отдельное лицо, созданное синтетическим образом, и оценивает его достоверность, что позволяет противодействовать ряду методов обхода систем выявления дипфейков. Показатели эффективности системы при замерах на независимых тестовых выборках составили 98%, что существенно выше показателей опубликованных аналогов.
Разработанные технологии помогут защититься от кибератак, выявлять на ранних стадиях информационные атаки с целью борьбы с фейковыми новостями, а также обеспечить защиту переговоров по видеоконференцсвязи.