Google представила технологию восстановления изображений из пикселей (выглядит прямо как в фильмах)

В блоге Google, посвященном нейросетям и машинному обучению появился пост под названием «Создание изображений высокой четкости с использованием моделей диффузии». Новая технология позволяет увеличивать разрешение изображения в 16 раз, сохраняя ключевые детали.

Как отмечает PetaPixel, представленная технология позволяет повысить разрешение с  32×32 пикселя до 64×64, а затем до 256×256. Фотография размером 64×64 может быть увеличена до 256×256, а затем до 1024×1024.

Изображение с высоким разрешением из картинки 32×32

Google опубликовала описание двух алгоритмов. Первый называется Super-Resolution via Repeated Refinements (SR3), или «сверхразрешение посредством повторного уточнения» и он хорошо работает при масштабировании портретов и естественных изображений. 

При использовании для 8-кратного апскейлинга лиц SR3 имеет «коэффициент смешения» почти 50%, и результаты работы этого алгоритма действительно фотореалистичны и напоминаю кадры из фильмов, где герои могут узнать номер авто ил ли любую другую мелкую деталь из некачественной записи с камеры наблюдения.

Как только Google убедился, насколько эффективен SR3 для апскейлинга фотографий, компания пошла еще дальше, предложив второй подход под названием CDM (модель условно-классовой диффузии). Второй алгоритм в несколько подходов увеличивает маштаб изображения добавляя недостающие пиксели.

Google опубликовал набор примеров, демонстрирующих каскадное масштабирование фотографий с низким разрешением. Фотография 32×32 может быть увеличена до 64×64, а затем до 256×256. Фотография размером 64×64 может быть увеличена до 256×256, а затем до 1024×1024.

Потенциальные сферы применения этой технологии достаточно обширны — от восстановления старых семейных фотографий и до улучшения медицинских изображений, как снимков МРТ или рентгена. Но пока что Google не предоставляет доступ к алгоритмам SR3 и CDM.