Компания Google анонсировала скорое появление новой опции в своём инструменте визуального поиска Lens. Пользователи смогут осуществлять поиск в интернете по снятому видео. Прежде Google Lens мог обрабатывать запросы только со статическими изображениями, но уже скоро пользователи смогут записывать как видео, так и аудио, чтобы задать свой вопрос.

Источник изображения: Google

Разработчики считают, что упомянутое нововведение может оказаться полезным во многих ситуациях, например, когда сломалось что-то в автомобиле или требуется получить дополнительную информацию о каком-то предмете, находящемся в поле зрения пользователя. Функция поиска информации по видео стала ещё одной точкой проникновения искусственного интеллекта в продукты Google.

Мультимодальный поиск сейчас имеет важное значение для компании, а обработка видеозапросов относится именно к этой категории. Когда Lens распознаёт изображения, то пользователю приходится давать уточнения, что именно его интересует на том или ином снимке. В случае с видео пользователь может, например, навести камеру на какую-то деталь автомобиля и просто спросить, что это и зачем оно здесь нужно. У Google есть всё необходимое, чтобы обрабатывать и отвечать на такие вопросы.

Компания Google нашла способ предоставить владельцам iPhone возможность, схожую с функцией Circle to Search («Обведи чтобы найти») в Android. Это стало возможным благодаря новому ярлыку для функции Back Tap, который запускает поиск Google Lens.

Источник изображения: Copilot

Ярлык был представлен Минсангом Чоем (Minsang Choi), дизайн-менеджером Google Lens. Он позволяет мгновенно делать скриншот текущего экрана и отправлять его в приложение Google для анализа через Google Lens. По словам Чоя, это «фактически то же самое, что и Circle to Search, только быстрее».

Этот ярлык можно активировать через кнопку быстрого действия на iPhone 15 Pro. Но, как выяснил один из авторов сайта 9to5Mac Эбнер Ли (Abner Li), им также можно воспользоваться на других моделях iPhone, поддерживающих функцию Back Tap, которая позволяет активировать различные функции двойным или тройным тапом по задней панели телефона.

Чтобы воспользоваться этой функцией, нужно сначала убедиться, что на iPhone (начиная с модели 6S) установлена последняя версия iOS. Кроме того, необходимо установить приложение Google, если оно не установлено, и специальный ярлык в разделе «Специальные возможности» — «Сенсорный». Далее следует выбрать вариант «Двойное касание» или «Тройное касание» (рекомендуется двойное) задней панели телефона. Это активирует выбранное действие при касании. В разделе «Ярлыки» нужно указать опцию «Искать по снимку экрана».

Теперь, просматривая любую информацию на iPhone, можно просто коснуться задней панели устройства и ярлык автоматически создаст скриншот текущего экрана и запустит поиск Google Lens по изображению. Отмечается, что эта функция не так точна, как аналогичная в ОС Android, где можно просто обвести интересующий фрагмент экрана. Но тем не менее, это работает, и интеграция с Google Lens значительно расширяет возможности iOS, позволяя быстрее находить нужную информацию.

Google анонсировала сегодня ряд любопытных новинок, включая ИИ-функции в поисковике компании и улучшения фирменного переводчика. Вместе с этим было объявлено, что функция мультипоиска, которая позволяет одновременно искать по тексту и изображениям, становится доступна всем пользователям мобильного приложения Google Lens.

Источник изображений: Google

Инструмент мультипоиска был представлен в апреле прошлого года и позиционировался как способ модернизации поисковика Google. Согласно имеющимся данным, в течение нескольких месяцев пользователям приложения Lens также станет доступна функция «мультипоиск рядом со мной», которая представляет собой разновидность данной функции для поиска местных организаций и компаний.

Основой мультипоиска стал ИИ-алгоритм Multitask Unified Model (MUM), который способен обрабатывать данные в разных форматах, в том числе текстовом, фото и видео, а затем делать выводы и устанавливать связи между темами, концепциями и идеями. Google задействовала MUM в приложении Lens, благодаря чему пользователи могут объединять изображения и текст в рамках одного запроса.

«Мы переосмыслили значение поиска, представив Lens. С тех пор мы перенесли Lens непосредственно в строку поиска и продолжаем внедрять новые возможности, такие как покупки и пошаговая помощь в выполнении разных заданий», — заявил курирующий поисковик вице-президент Google Прабхакар Рагхаван (Prabhakar Raghavan).

К примеру, пользователь может найти в поисковике изображение понравившейся рубашки, а затем через Lens найти такой же рисунком, но на другом типе одежды, или такую же рубашку другого цвета. Или можно сфотографировать сломанную деталь, например, велосипеда, отправить снимок в поисковик и дополнить запрос текстом «как починить». Поисковик обработает такой запрос из текста и изображения и выдаст подходящие результаты.

В октябре прошлого года функция мультипоиска стала доступна в США, а в декабре — в Индии. Теперь же мультипоиск в Lens становится доступен на всех устройствах, для всех пользователей и во всех странах, где доступен Lens.

Google достаточно давно интегрирует технологию распознавания изображений Lens в разные продукты, включая «Google Фото» и Chrome. На этот раз функция поиска изображений с помощью Lens появилась на главной странице веб-версии поисковика компании.

Источник изображения: Google

В Google отметили, что главная страница поисковика компании меняется не часто, и нынешнее нововведение является важным, поскольку делает проще процесс поиска изображений. Для начала взаимодействия с новым инструментом достаточно нажать на пиктограмму Lens, которая отображается прямо в поисковой строке. После этого пользователю будет предложено загрузить изображение или указать URL-адрес картинки. Результаты поиска отобразятся на странице, облик которой хорошо знаком всем, кто хоть раз пользовался сервисом Lens.

Отметим, что в поисковике Google давно есть возможность поиска картинок, однако добавление функции Lens выведет этот процесс на новый уровень. Кроме того, с помощью этой функции пользователь сможет узнать, что именно изображено на том или ином изображении. Например, это может оказаться полезным, если требуется узнать, какое животное или растение изображено на картинке, какая достопримечательность демонстрируется на фото и др. При сканировании изображения с текстом пользователь сможет скопировать его и даже перевести на нужный язык. Вместе с этим Lens поддерживает возможность сканирования QR-кодов.

Конечно, ни одна из упомянутых функций не является новой для пользователей Lens на устройствах с Android и iOS. Однако для пользователей веб-версии поисковика данный инструмент может оказаться весьма полезным.