В НГТУ НЭТИ создали нейросеть для распознавания фейковых изображений
Разработка анализирует частотные «отпечатки» изображений, чтобы отличить реальные фотографии от сгенерированных нейросетями
Генеративные нейросети всё чаще создают изображения, которые почти неотличимы от настоящих — это создаёт риски для криминалистики, журналистики и защиты авторских прав. Учёные НГТУ НЭТИ предложили способ, как с этим бороться: их разработка ищет в изображениях скрытые частотные следы, характерные для синтетических картинок.
Специалисты протестировали разные алгоритмы и выяснили, что лучше всего с задачей справляется Vision Transformer (ViT). В отличие от свёрточных сетей, которые «цепляются» за отдельные фрагменты, трансформер анализирует кадр целиком, что позволяет ему замечать артефакты даже при небольшом объёме данных для обучения. Такой подход оказался особенно эффективным на ограниченных датасетах. Точность модели на тестах составила 89%.
«Наш метод не требует миллионных датасетов и показывает стабильную работу даже на ограниченных данных. Это особенно важно для задач криминалистики, где непросто собрать размеченные примеры синтетических изображений. Кроме того, мы визуализировали, какие области изображения анализирует модель: трансформер охватывает весь кадр, тогда как свёрточная сеть “цепляется” за мелкие текстуры, которые легко исчезают при обработке», — рассказали разработчики — студенты третьего курса факультета автоматики и вычислительной техники Виталий Заозернов и Александр Леонтьев.
Технология предназначена для выявления фейков в системах новостей, соцсетей и правоохранительных органов, а в будущем ляжет в основу гибридных детекторов, устойчивых к новым генеративным моделям и искажениям изображений.
