Искусственный интеллект, или AI-обработка в камерах смартфонов
Натолкнулся на мнение, которое оказалось достаточно широко распространенным: AI-алгоритмы в камерах смартфонов — это фильтры и ничего больше, они позволяют украсить ваши фотографии, но никакого смысла, кроме этого, не имеют. В какой-то мере такая точка зрения имеет право на существование, особенно если не хочется разбираться даже в самых простых вещах. Но давайте попробуем вспомнить, когда и как началась эпоха AI-камер в смартфонах и куда идет развитие рынка.
Очень часто я натыкаюсь на отсылку к камерам Sony, в которых автоматическое определение сцен появилось одним из первых, по аналогии с тем, что делают современные смартфоны, их считают прообразом AI-камер. Возможно, такое толкование было бы оправданным, если бы не одно возражение — AI-камера не может существовать без мощного процессора, который обрабатывает все изображения с нее, причем картинки как уже сделанные, так и те, что еще не сфотографированы. Первым производителем, сделавшим ставку на AI как будущее рынка не только камер, но устройств в целом, стала компания Huawei. В октябре 2017 года в Мюнхене компания показала свой флагман Mate 10/10 Pro. Это первый аппарат, для которого использовали словосочетание “встроенный AI”, упомянули, что он используется для фотографии, но выделять в отдельный термин не стали. Упор был сделан на чипсете Kirin 970, в нем впервые появился отдельный процессор для AI-вычислений, это особый вид задач и алгоритмов. Обычные процессоры могут выполнять такие алгоритмы, но они не оптимизированы для них, как результат, их производительность оставляет желать лучшего. Поэтому отдельный процессор, отвечающий за AI-вычисления, стал логичным развитием рынка чипсетов, и то, что в первую очередь он нашел применение для фотографии и встроенных камер, вполне логично.
Тогда на корпусе не писали, что аппарат обладает AI-алгоритмами, это стало популярно позднее, а волна таких моделей пришлась на 2019 год, когда AI-обработка снимков стала функцией по умолчанию во всех современных смартфонах. Например, на корпусе Huawei P Smart 2019 вы можете видеть надпись AI Camera, что в какой-то мере дань маркетингу и той популярности, что эта опция приобрела в глазах покупателей.
Как-то попытался узнать, как понимают AI-камеру обычные покупатели. Стоя в магазине в центре Москвы в качестве продавца, разговаривал с покупателями, спрашивал про эту функцию. Большинство ответов сводились к тому, что камера сама понимает, что перед ней, и улучшает фотографии соответствующим образом. Лица людей лишает изъянов, траву подкрашивает зеленым цветом, небо делает голубым. Рискну предположить, что большинство людей определяет AI в телефоне именно так и никак иначе. Фактически мы говорим о том, что камера телефона умеет понимать, что именно вы фотографируете, и менять настройки в зависимости от этого. Первоначально таких сценариев у Huawei было несколько десятков, но лиха беда начало. К выходу Huawei P20 Pro нейронные сети натренировали определять 19 категорий снимков, всего было около 500 сценариев. В Mate 20 Pro число категорий увеличилось до 25, а общее число сценариев превысило 1500. В данный момент их число еще больше, и оно постоянно растет.
На практике в интерфейсе камеры есть “Мастер ИИ” (AI — это искусственный интеллект, ровно так же переводится аббревиатура), вы можете его как включить, так и выключить.
Когда мастер работает, то вы видите подсказку, например, наводите камеру на текст, и тут же появляется окошко, где говорится, что это текст.
Ровно так же все работает, когда вы наводите камеру на кошку или собаку, цветы и другие предметы, смартфон определяет, на что смотрит камера, и выставляет наилучшие параметры, чтобы ваш снимок для социальных сетей или для собственного использования был наилучшего качества. Кто-то говорит о том, что ратует за “натуральность”, но это настолько вымирающая тенденция, что тут просто нечего обсуждать, большая часть фотографий, которые вы видите в сети, имеют ту или иную редактуру, вольную или невольную. То, что большинство людей хочет навести камеру на предмет и получить качественный снимок, не вызывает сомнений. Меньшинство хочет некой натуральности, того, как предмет выглядит в их воображении. Но это скорее ностальгия по своим представлениям, не более того.
Вычислительная фотография пришла в нашу жизнь прочно и надолго. В темноте зачастую невозможно получить резкий, качественный снимок лица, чтобы были прорисованы отдельные волосы. А значит, можно взять примерно совпадающие волосы из базы телефона, добавить их к фотографии и получить снимок, который будет выглядеть принципиально иначе. Идея простая, но реализация на практике намного сложнее, чем это звучит. Тем не менее, это уже реализовано, и в Huawei даже пошли дальше.
На презентации Huawei P30 Pro нам показали сценарий Moon Shot, это снимок Луны. Телефон понимает, что вы направили его на Луну, использовали зум, и в этот момент делает “снимок”. Моему возмущению не было предела, так как я понимал, что оптика аппарата неспособна сделать такой снимок, и это выглядело как подделка. Спустя несколько месяцев я изменил свое мнение, и причина в том, что это ровно та же вычислительная фотография. Смартфон определяет предмет, который вы фотографируете, в нашем случае это Луна, а затем подставляет его из базы. Качественных снимков Луны много, выбрать есть из чего. Но никогда вы не могли сфотографировать Луну на свой смартфон. Тут же вам дали эту возможность, и она подкупает. Это не отражение реальности, если не считать таковым положение Луны на снимке, другие детали, например, окно или дерево, попавшее в кадр. Это скорее некая работа редактора, который подставляет качественное изображение объекта.
И вот этот пример отлично описывает то, куда движется вычислительная фотография, многие объекты не будут натуральными, их возьмут из уже существующих баз снимков, либо AI-алгоритмы дорисуют их так, как мы хотим их видеть. Самое время забыть о том, что когда-то существовала натуральность, отражение реального мира, фотография еще задолго до появления смартфонов стала манипулятивной, она не отражает реальный мир. Теперь эти манипуляции просто выходят на принципиально иной уровень, в какой-то мере становятся узаконенными. Первоначально это вызывает отторжение, стойкое неприятие. Но по зрелом размышлении ты начинаешь понимать, что весь мир будет устроен именно так и стоит это принять как можно раньше, чтобы не переживать о своих иллюзиях позднее. Прическа вашей девушки на снимке, текстура кожи и другие детали — все это отдаленное приближение к реальности, более того, сама реальность волнует немногих. Тут скорее вопрос в том, как сохранить грань между красотой снимка и искажением первоначальной картинки, как найти правильный баланс. Именно AI-алгоритмы будут их искать.
Теперь давайте посмотрим на уже готовые снимки, тут также задействуют AI-алгоритмы, в галерее можно увидеть, как снимки автоматически распределены по папкам, — смартфон понимает, где какая категория, и с каждым годом учится делать фото все лучше и лучше.
В той же Huawei специально создают AI-чип для своих процессоров, с каждым годом их производительность растет и остается одной из самых высоких. Причина в том, что именно такие алгоритмы становятся важны и постепенно выходят за рамки только камер и получения снимков. Сделанные снимки нужно распознать, AI-алгоритм определяет, есть ли на снимке люди, кто это и что они делают (радость, печаль, веселье и так далее — это определение эмоций), вещи и предметы, цвета и многое другое. Это кажется детской задачей, но она открывает целый спектр новых возможностей. Например, камера вашего телефона может научиться определять жесты и соответствующим образом реагировать. В том же Mate 30 Pro есть распознавание жестов, вы можете сделать скриншот, сжав кулак над экраном.
В какой-то мере AI — это познание внешнего мира, причем большая часть алгоритмов полностью автономна, она не требует сетевого соединения. И говорить о том, что AI — это только камера, невозможно, следует рассматривать камеру как внешний сенсор, который дает информацию для смартфона и тех алгоритмов, что в него вшиты. Мы только в самом начале пути, так как в будущем алгоритмы станут сложнее, замысловатее и при этом предложат совсем другой уровень персонализации.
Я не ставил задачей в небольшом материале остановиться на всех AI-алгоритмах, специфике их работы, это скорее статья для того, чтобы вы могли оценить направление развития, получить обзор того, куда идет индустрия.
Источник
AI-камера на Xiaomi: что это такое?
Наверняка пользователи смартфонов Xiaomi успели заметить надпись AI CAMERA на отдельных устройствах компании — обычно надпись располагается рядом с основной камерой. Разумеется, это сразу породило вопрос — что такое AI-камера и как ею пользоваться? Все очень даже просто.
Для начала — изображение смартфона с указанной надписью. В примере — Xiaomi Mi 9 Lite:
AI-камера — это камера, работающая при поддержке искусственного интеллекта. ИИ в автоматическом режиме «подстраивается» под изображение на экране вашего смартфона, которое вы хотите запечатлеть, и накладывает тот или иной фильтр. В большинстве случаев созданное изображение улучшается, но не всегда, поэтому может понадобиться отключение искусственного интеллекта.
По умолчанию ИИ обычно включен в смартфоне. Вы просто запускаете камеру и делаете снимок.
В данном случае AI-камера включена:
Для отключения нажмите на иконку AI:
После чего увидите сообщение об отключении ИИ.
Некоторые пользователи и специалисты считают, что AI-камеры — это продукт маркетологов, который не способен улучшить изображение. Мы с этим не согласны, ведь во многих случаях AI действительно позволяет получить фото с куда более правильными цветами или даже более высокого качества.
Источник
AI-камера Xiaomi: что это такое и как это работает?
Сравнительно недавно функция Artificial intelligence (AI) присутствовала только на флагманских моделях телефонов Xiaomi. Постепенно технологии искусственного интеллекта при фотосъемке стали доступными и для бюджетных моделей, например, такая опция есть даже у смартфона Redmi 7A. Как она работает и зачем нужна, мы расскажем в нашей статье.
Что значит AI режим камеры на Xiaomi?
В мобильных устройствах китайского бренда устанавливается специальное ядро, которое предназначено для функционирования совместно с нейросетями и приложениями, которые работают с элементами нейросетей.
Так в телефонах Сяоми появился искусственный интеллект. Он в автоматическом режиме выбирает оптимальный режим фотосъемки вне зависимости от количества установленных модулей. AI самостоятельно определяет тип сцены (сейчас во многих моделях доступно около 30 распознаваемых сцен), настраивает условия освещения и осуществляет коррекцию цветов. Также происходит наложение нужных фильтров, что обычно приводит к улучшению качества снимка. Все это происходит в режиме реального времени при нажатии на соответствующую кнопку AI, которая находится в верхней строке приложения «Камера».
О том, что функция сработала, т.е. сцена была определена, будет свидетельствовать изменение иконки, например, это может быть буква «Т» при работе с текстами, изображение цветка при съемке цветочных композиций и пр. Аппараты умеют определять природу, пищу, человека, животных и иные сцены с выбором оптимальной экспозиции для конкретных условий.
В подавляющем большинстве случаев фотографии получаются заметно лучше, чем без использования искусственного интеллекта. Это отличный вариант для тех, кто не владеет профессиональными знаниями по настройке экспозиции и иных параметров вручную в режиме «Профи».
Источник
Что такое AI камера в смартфонах?
Что такое AI камера?
AI означает искусственный интеллект. Искусственный интеллект, который в основном является программным обеспечением, используется для обозначения машин, демонстрирующих когнитивные функции, обычно связанные с человеческими умами, такие как мышление, обучение и решение проблем.
Камера AI делает тяжелую работу в отделе фотографии, ранее зарезервированном для профессиональных фотографов. Из-за характера их работы они кое-что понимают о настройке камеры и обработке изображений. автоматическая выдержка затвора и экспозиция, насыщенность, глубина цвета, динамический диапазон, а также контрастность — вам не нужно знать, что они собой представляют или что они делают. Кто действительно понимает что такое диафрагма, или баланс белого? По крайней мере, многие от этого далеки, и все же все мы хотим делать хорошие снимки.
На первый взгляд, AI Camera делает автоматическое распознавание сцены. После того, как вы направите камеру в правильном направлении, камера AI автоматически переключит настройки для идеального снимка. Камера AI должна определить, какой тип сцены она видит, а также настроить условия освещения в мгновение ока. Давайте не будем забывать добавлять некоторые динамические эффекты и настройки цвета.
Как это работает?
Производители смартфонов используют машинное обучение для разработки движков распознавания изображений, которые используют нейронную сеть, обученную миллионами изображений. Из этого машинного обучения камера AI развивает умение автоматически идентифицировать сцены, доступный свет и даже угол сцены. Таким образом, ваша камера знает, что она направлена на человека, пищу, природу, животных и т. д. Впоследствии камера AI выбирает наиболее подходящие настройки экспозиции и цвета для идеального снимка.
Как мы очень хорошо знаем, для смартфонов не хватает оптического зума, как в случае с камерами DSLR. По этой причине, независимо от того, что делает камера AI, подпадает под так называемую вычислительную фотографию. Это в основном метод цифровой обработки изображений, который использует алгоритмы для улучшения качества изображения. Некоторые из наиболее известных конечных результатов — манипуляция (или фальсификация) эффекта глубины резкости AKA Bokeh (японское слово означает размытие) и режим Beauty, который удаляет пятна и разглаживает кожу. До сих пор эти эффекты и многое другое были продуктом Photoshop или Lightroom.
Источник
