Google+
О том, как «глупые» камеры в наших смартфонах вдруг стали
«умными».
Несколько последних лет меня мучил вопрос, как при
использовании старых технологий изготовления модулей камеры современным
флагманам удается «вытянуть» картинку до качества недорогих «зеркалок». В том,
что это происходит, сомневаться не приходится, интернет наполнен красивыми
снимками, которые люди делают на мобильный телефон. Надо отметить, что сам
модуль камеры никак не изменился за последние лет десять. Да, разрешение
матрицы фотодиодов росло, но более значимый параметр – физический размер этой
матрицы (и площадь конечного фотодиода), а значит, и светосила – находится
плюс-минус на прежнем уровне. Так что же конкретно делает современная «умная
камера» в современных флагманах? И зачем ей дополнительный блок «ИИ»,
находящийся в чипсете? Чтобы ответить на эти вопросы, было решено провести
маленькое исследование, используя прямые руки, ясную голову и бесплатное программное
обеспечение.
Содержание
и постановка задачи
технологии
проверка догадок
и выводы
Фотографирование и постановка задачи
Недавно по всей стране прогремел Международный женский день –
8 марта. Это подходящий случай, чтобы сфотографировать праздничный стол на
разные смартфоны и изучить вопрос самым результативным методом – сравнением.
Для этой цели у одного из гостей был отнят Honor 10, а вторая фотография была сделана с помощью ветерана Sony Xperia Z1 Compact. Фотографирование велось от окна
(теневая сторона дома) в сторону центра комнаты, условия довольно жесткие в
любом случае. И вот что получилось:
Режим интеллектуальной съемки Honor 10 впечатляет, огурцы как живые, а
помидоры имеют правильный оттенок дозревавшего в магазине овоща. Задний фон
обработан нормально, близкие по оттенку ковры не сливаются в месиво, узор на
них четкий. Не расстраивает и разрешение снимка, упавшее c 24 МП (основная камера) до 4,9 МП в
процессе обработки. Уменьшение размера кадра часто сопровождает автоматическую
обработку, почти все алгоритмы, когда не знают, что делать с оттенками серого,
«съеживают» изображение до полного их уничтожения. Камера Honor 10 обладает искусственным
интеллектом, по мнению ее создателей. Пора ее сравнить с «глупой» камерой. Та
же композиция, сфотографированная на Z1 Compact:
Недостаток света привел к появлению белесой пелены и
цветности сумеречной зоны по всему кадру. Камера Z1C не поддерживает Camera API от
Google
на уровне железа, и ей недоступны современные способы улучшения снимка
«на лету», что делает ее идеальной для нашего опыта.
Пришло время поставить задачу и рассмотреть варианты ее
решения. Итак, у нас есть хороший снимок умной камеры Honor 10 и отвратительно-ущербный снимок
Z1C.
Задача: выяснить суть алгоритма «умной камеры».
Возможное решение:
- Провести ряд простых операций, которые превратят
плохой снимок Z1С в
аналогичный снимку Honor
10 - Провести обратные операции со снимком Honor 10, которые превратят
его в отвратительный снимок, подобный Z1C.
Если предполагаемый алгоритм сработает в обратную сторону,
то принцип его действия можно считать доказанным. По крайней мере, в данном
конкретном случае.
Доступные технологии
Перед тем, как приступить, необходимо определиться, а что,
собственно, умеет делать с изображением камера современного смартфона без
«умных» функций. Итак, камера умеет:
- Определять фокусное расстояние, используя
различные способы измерения расстояния до объекта. - Применять HDR, искусственно расширяя диапазон яркости.
- Делать боке, определяя границы силуэта
ближайшего объекта и размазывая фон вокруг него.
Это базис, прописанный в
драйверах большинства современных камер. На него и стоит опираться, если ты
искусственный интеллект и тебе надо «вытянуть» снимок.
Практическая проверка догадок
В нашем конкретном случае
изменение фокусного расстояния не даст ничего. Если вглядеться в снимки, то обе
камеры корректно сфокусировались на праздничном столе, предлагая похожую
четкость по краю тарелки с салатом (шестислойным).
Вид стола недвусмысленно указывает на применение HDR в процессе получения снимка на Honor 10, все объекты яркие, цвета очень сочные. Добиться эффекта HDR на любой фотографии очень просто, для этого достаточно зайти в Google Фото и применить фильтр «Пальма», что и является довольно агрессивным HDR. Вот что получилось в отношении оригинального снимка Z1C:
Отлично видно, что цветовая гамма
и яркость объектов на столе стали идентичными тем, что мы видим в Honor 10. При этом вокруг
стола творится настоящий цветовой беспредел с царящим над всем и вся красным
цветом. И вот тут-то и закрадывается первая догадка о том, что в алгоритме
«искусственного интеллекта» использована стандартная функция – боке. Возможно,
сначала объект в фокусе был вырезан из кадра, оба полученных изображения были
обработаны отдельно (объект в фокусе более агрессивно), а потом совмещены
обратно.
Для вырезания праздничного стола
из кадра я использовал бесплатное приложение Paint.NET.
Если вам совсем нечем заняться и вы хотите повторить весь путь (процесс трудоемкий),
то можете попробовать фотошоп или еще что-нибудь, чем вы умеете пользоваться.
Чтобы в ходе операций не наделать новых артефактов изображения, крайне
рекомендую все манипуляции проводить с фотографиями в растровом формате BMP, а не JPEG. Вот что получилось:
Расширяем динамический диапазон
яркости (HDR) обоим
изображениям с разной степенью агрессивности и склеиваем их в одно изображение:
Фотография Z1C после раздельной обработки объектов
Можно и дальше поиграться с
настройками и разными фильтрами, но наша задача – получить общее представление
и прийти к схожему с «умной камерой» результату. И считаю, что цель достигнута.
Теперь пройдем обратный путь с фотографией Honor 10:
Фотография Honor 10 после сужения динамического диапазона яркости (HDR)
Считаю методы улучшения
изображения, примененные вручную, точно такими же, как и используемые «искусственным
интеллектом» в камерах современных смартфонов.
Результат и выводы
Результатом можно считать только описание
алгоритма обработки фотографии камерой смартфона, в которой заявлено
существование некоторой умности. По моему мнению, описание алгоритма может
выглядеть так.
Камера смартфона делает несколько
снимков, включая «боке» и «обратное боке», где вместо размытия происходит
удаление фона. Каждое изображение подвергается обработке различными фильтрами –
агрессивным HDR для центрального объекта и более мягким для фона. После чего
«боке» и «антибоке» склеиваются в одну фотографию и выдаются пользователю. Это
частный случай для дневной съемки, но и в отношении ночной съемки ключом к
успеху может являться отлаженная технология «боке» с возможностью раздельной
обработки частей изображения.
Справедливость метода
подтверждает простейший опыт – достаточно зафиксировать камеру и сделать два
снимка, один с фокусом по центру экрана, а второй с фокусом на заднем фоне. В
процессе съемки камера будет изменять не только фокусное расстояние, но и
экспозицию (если света недостаточно), делая дальние объекты более светлыми.
После прогона центрального объекта через HDR-фильтр и совмещения двух фотографий в режиме «боке-антибоке»
получается фотография, достойная современного флагмана. Жаль, но сделать так
сразу я не догадался, поэтому и пришлось изменять одну-единственную фотографию.
Все эти функции на первый взгляд очень просты и не требуют
дополнительной вычислительной мощности, которую сейчас реализуют в виде
отдельных блоков ИИ в чипсете. Но давайте вспомним, что для такой обработки
камере необходимо сфокусироваться не один, а максимально возможное количество
раз в разных областях кадра, уметь мгновенно разделять и склеивать фотографии.
Этим и может быть вызвано создание специализированных вычислительных блоков.
Так называемый «искусственный интеллект» в камере смартфона найти снова не
удалось, что и неудивительно.
Каждая компания-производитель
хранит свой алгоритм как зеницу ока и использует различные методы для борьбы с
расхитителями интеллектуальной собственности. В Sony используют
скрытый TA-раздел и
хранящиеся в нем DRM-ключи,
утеря которых моментально превратит снимок в мыло мыльное. Другие используют
дополнительные микросхемы защиты, препятствующие разблокировке загрузчика и
доступу к содержимому. По этим причинам нам показывают только результат работы
такого алгоритма и никогда – последовательность производимых им манипуляций. В
любом случае прогресс не стоит на месте, и рынок камерофонов замер в ожидании
появления мобильной технологии добавления утраченных частей изображения, что произойдет
совсем скоро. Но даже и тогда речь будет идти об ускорении расчетов и
усложнении уже существующих технологий сопоставления, реализованных, к слову,
во всем известной оптической мыши. Или в зрительном аппарате пчелы, которая
умудряется выжать из сопоставления двух снимков, параллельно обновляющихся по
двум каналам (глазам), информацию о своем положении в пространстве и расстоянии
до объекта по курсу, и которая не имеет механизма объемного зрения.
Уважаемые читатели, согласны ли
вы с результатом или можете предложить свое видение работы умной камеры?
