Умная камера яндекс что это значит

В приложении Яндекс появилась умная камера

Интернет, 13 апреля 2021 года. В приложении Яндекс теперь есть умная камера: в ней объединились технологии компьютерного зрения, машинного перевода и поиска. Камера умеет в реальном времени распознавать и искать предметы, которые попали в объектив. А ещё — переводить текст и сканировать документы.

Стоит навести на что-нибудь камеру, и она отметит объекты, которые смогла распознать. Про многие из них можно узнать, что это и где продаётся. Скажем, если понравился чей-то рюкзак, легко посмотреть, где купить такой же или похожий. Точно так же можно выяснить, как называется растение, порода собаки или, например, памятник архитектуры.

Приложение поможет перевести надпись на незнакомом языке. Если направить на неё камеру, Яндекс тут же переведёт её с помощью Яндекс.Переводчика.

Переведённый текст появится поверх изображения. Это удобно, если нужно понять, что написано на этикетке или, скажем, на указателе. В приложении также есть сканер: он позволяет сделать цифровую копию любого документа, будь то паспорт или диплом.

В основе умной камеры лежат технологии компьютерного зрения. С их помощью камера выделяет на изображении отдельные объекты и распознаёт, что перед ней — стол, стул или, например, комнатное растение. Для этого используются нейронные сети, обученные на огромном числе примеров. Также технологии компьютерного зрения позволяют найти и распознать надпись на картинке, которую нужно перевести.

Умная камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке. Скриншоты, иллюстрирующие работу умной камеры, можно найти на Яндекс.Диске.

Источник

Умная камера Яндекса научилась распознавать еду, машины и уравнения

Интернет, 29 сентября 2021 года. Яндекс объявил о масштабном обновлении умной камеры. Теперь с её помощью можно узнать, сколько белков, жиров и углеводов в чипсах, что за необычный автомобиль припаркован у дома или как решить квадратное уравнение — для этого достаточно навести на них камеру или сфотографировать. В основе новых возможностей лежат поисковые технологии и компьютерное зрение.

«Визуальный поиск — это принципиально иной способ искать информацию. Вам даже не нужно формулировать вопрос, вы просто наводите камеру на объект и узнаёте о нём всё. Мы верим, что за визуальным поиском будущее, и смотрим, как люди реагируют на умную камеру, что им нравится, а что нет. Это помогает нам понять, куда двигаться дальше, чтобы камера становилась более удобной, функциональной и полезной для пользователей», — рассказывает Елена Бондарь, руководитель умной камеры Яндекса.

Поиск продуктов

Умная камера улучшила поиск по продуктам питания. Теперь она не только находит их в интернете, но и даёт подробное описание. Стоит навести камеру на пакетик сока или плавленый сырок, и она покажет их состав: количество жиров, белков и углеводов; наличие сахара и ГМО; содержание микроэлементов. А также — сколько в продукте калорий и как долго нужно плыть или бежать, чтобы их израсходовать.

Поиск автомобилей

Если навести камеру на автомобиль, она покажет его описание: марку, модель и технические характеристики. Человек сможет понять, что за машина перед ним, какая у неё мощность, скорость и расход топлива. Технические характеристики снабжены коротким и ёмким пояснением: например, «разгоняется как спринтер» или «вместительная, как сундук».

Решение задач

Умная камера подскажет порядок действий для решения линейных и квадратных уравнений. Для этого достаточно перейти в режим «Решения» и сфотографировать задание. Кроме того, камера поможет найти обучающие видео, которые подробно объясняют решение задач такого типа.

Новые функции

Пользоваться камерой стало удобнее. Если интерес вызвало что-то мелкое, теперь можно приблизить изображение с помощью зума. Появилась возможность сфокусировать камеру на интересующем объекте. А если его нет перед глазами, можно загрузить фото из галереи. Кроме того, появилась фронтальная камера. Она позволяет показать камере самого себя — например, чтобы она нашла стихотворение (поиск стихов по изображению работает в режиме «Поэзия»).

Умная камера была запущена весной этого года. Она умеет также сканировать документы, переводить текст и распознавать предметы. Например, она подскажет название цветка, породу собаки или магазин, где можно купить понравившуюся вещь. Камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.

Источник

В приложении Яндекса на Android и iOS появилась умная камера — да-да, новая

Наверное, многие из нас переводили тексты с помощью камеры в переводчике Яндекса и искали что-то по картинкам (например, именно с помощью такого поиска в Яндексе мне удалось найти части коллекционного сервиза — ни Avito, ни ручной поиск не справились). Но Яндекс пошёл дальше, развил функциональность и выкатил новый релиз — с непередаваемыми нотками коммерции.

Камера реализована на стыке технологий перевода, поиска и компьютерного зрения — теперь она может делать несколько важных и нужных вещей:

• распознавать и искать предметы в поиске;
• распознавать предметы и ставить метку цены и ссылку на магазин, где товар можно купить;
• переводить тексты (а главное, вывески, этикетки, чеки, объявления и т.д.);
• сканировать документы и имитировать типы скана (просто фото, цветной скан, чёрно-белый скан).

Ну что, как всегда, новую фичу нужно протестировать.

Проверяем поиск товаров и их цены. Возьмём что-то местное. Всё отлично: цена адекватная (очевидно, за упаковку 6 шт.), ссылка на очевидный Яндекс.Маркет. Но вот что мне непонятно уже сейчас: эта бутылка точно есть в Яндекс.Лавке (и там куплена) — почему приложение не даёт ссылку на Лавку, в которой гораздо логичнее купить бутылку минералки, чем на Маркете?

Проверим на парфюме без коробочки. Итак, флакон с чёткой надписью камера распознала и цену нашла, а вот старый Shalimar с нечёткой надписью, но очень характерной уникальной формой флакона камера смогла найти только по поиску, без сделанного фото (то есть в режиме наведения) парфюм она не обработала. Ну и опять удивление: почему выбран не топовый сетевой магазин, а какая-то не внушающая особого доверия площадка?

Ещё интересное наблюдение: проверим схожие товары, например, творог 200 грамм, 9% и 12%. Камера в обоих случаях распознаёт товар, но не угадывает, ни вес, ни жирность (точнее, в первом случае угадывает жирность, во втором — вес). И опять же, ссылка на не самый популярный магазин (интересно, со временем будут подкидывать похожие товары из своих и партнёрских маркетов?).

Растения наведением камера не распознаёт, только по фото:

Сканер документов аккуратный, отображает и цветной, и чёрно-белый формат (кстати, иногда просят именно ч/б скан, а не фото и приходилось креативить в фотошопе).

Ну и напоследок перевод — он стал гораздо приятнее и удобнее, чем был у Яндекса раньше: больше нет дурацких жёлтых рамок и блоков. Однако сам перевод и работа с некоторыми фактурами упаковки — такое себе. Пока искала пример для перевода, камера при наведении перевела клавиатуру — так и оставим.

Что можно сказать об умной камере от Яндекса? Хороший, удобный инструмент, кейсов использования и коммерческих вариантов работы с ней — море. Вот мелочь, а хочется, чтобы Яндекс довёл идею до конца, потому что именно из таких приятных мелочей складываются пользовательские впечатления.

Источник

Сколько калорий у вас на тарелке, что за марка машины и как решить уравнение – «Яндекс» обещает определять это по фото

Мы проверили – это не совсем так на практике.

В приложении «Яндекса» обновилась «Умная камера». Раньше она только определяла товары на фото, а теперь должна облегчать жизнь школьникам и зожникам. Но есть сомнения.

Волшебная камера

Мы рассказывали об этой функции, когда она только появилась. Недавно функционал камеры значительно расширился: теперь по фото можно определить калорийность еды и проверить стоимость машины соседа.

Должна определять калорийность блюд

Приложение должно определять калорийность блюд. Вот что оно делает в реальности.

Во-первых, определяет, что за продукт находится на фото, и показывает его калорийность на 100 гр – определить вес продукта камера, естественно, не может.

Функция работает шустро: камера определяет, что перед ней, за секунды. Правда, не всегда корректно. Например, может спутать апельсин с мандарином.

Думаем, по фотографии и человек спутает два фрукта.

Калорийность каждого блюда в отдельности определить нельзя. «Камера» распознает, что за блюдо перед ней (у нас тут торт «Захер»), но калорийность сообщаться отказывается – просто ссылается на сайты с рецептами, каждый из которых сообщает свою калорийность. А вот КБЖУ клубники показало сходу.

Калорийность полноценного обеда в приложении тоже не рассчитать. Оно просто сообщает: «Кажется, фотография похожа на завтрак». При этом на фотографии появляются белые точки. По клику на них открывается информация о конкретном блюде со ссылками на сайты, где указана примерная калорийность этих блюд.

С ходу определять модель машины

Вот что «Яндекс.Камера» делает действительно хорошо, так это определяет модель автомобиля, даже если он находится далеко от пользователя. Приложение сразу же показывает характеристики машины и добавляет характеристики от себя: «проста в управлении»,«экономична» и так далее.

Решать уравнения

Еще приложение поможет решать уравнения – так заявляет разработчик.

По факту, когда фотографируешь пример, встроенный поиск просто предлагает сайты для решения уравнения и обучающие видео. При этом есть сложности с распознаванием почерка:

Реакция в интернете

Новую функцию «Яндекса» пользователи уже назвали «шазамом для еды».

Может ли «Яндекс.Камера» составить конкуренцию программам, которые подсчитывают калорийность блюд и реально выполняют домашку за школьников? Нет. Сделает ли она жизнь пользователей чуть легче? Скорее всего, да. Сделает ли она жизнь веселее? Определенно.

В Google и «Яндексе», соцсетях, рассылках, на видеоплатформах, у блогеров

Источник

Умная камера «Яндекса» мгновенно переводит текст и распознаёт предметы

Разработчики «Яндекса» добавили в официальное приложение функцию умной камеры. С её помощью пользователи могут эффективно использовать технологии компьютерного зрения, машинного перевода и поиска.

В режиме реального времени «Яндекс» распознаёт и ищет предметы, которые попадают в объектив смартфона. Кроме того, всего в один тап пользователи могут переводить фрагменты текста с отсканированных документов. Для этого достаточно навести камеру смартфона на любой документ.

Примечательно, что при поиске предметов приложение «Яндекс» включает в поисковую выдачу информацию об их стоимости, а также приводит магазины, в которых они продаются. Новая функция особенно полезна для поиска предметов и аксессуаров, имя или модель которых неизвестны. С помощью приложения также можно узнать точное имя памятника архитектуры.

Приложение поможет перевести надпись на незнакомом языке. Если направить на надпись камеру, «Яндекс» тут же переведёт её с помощью «Яндекс.Переводчика». Переведённый текст появится поверх изображения. Это удобно, если нужно понять, что написано на этикетке или, скажем, указателе. В приложении также есть сканер: он позволяет сделать цифровую копию любого документа, будь то паспорт или диплом.

В основе умной камеры лежат технологии компьютерного зрения. С их помощью камера выделяет на изображении отдельные объекты и распознаёт, что перед ней — стол, стул или комнатное растение. Для этого используются нейронные сети, обученные на огромном числе примеров. Также технологии компьютерного зрения позволяют найти и распознать надпись на картинке, которую нужно перевести.

Умная камера доступна в приложении «Яндекс» для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.

Источник