Последние несколько дней владельцы iPhone всё чаще жалуются на то, что будильники на их смартфонах периодически не срабатывают. Сообщения об этом появились в TikTok и на других площадках. Apple подтвердила наличие проблемы и сообщила, что ведётся работа по её устранению.

При этом Apple не уточнила, что именно является причиной сбоев в работе будильника на iPhone, а также не сообщила, как долго будет решаться проблема и есть ли какие-то обходные пути, которые пользователи могли бы задействовать уже сейчас для нормализации работы будильника.

Некоторые пользователи iPhone связывают проблемы с будильником с функцией Attention Aware, которая впервые появилась в iPhone X. Эта функция использует камеру TrueDepth на фронтальной стороне iPhone для отслеживания положения лица пользователя. Например, если пользователь смотрит на смартфон во время оповещения, Attention Aware определяет, что устройство находится в его руке, и автоматически уменьшает громкость сигнала.

Функция Attention Aware также предотвращает отключение экрана, когда пользователь длительное время смотрит на него. Удобная функция, но является ли именно она причиной сбоев в работе будильника на iPhone, неизвестно. Пользователи, которые столкнулись с данной проблемой, могут попробовать отключить упомянутую функцию в настройках устройства. Очевидно, что полностью проблема с будильниками на iPhone решится только после того, как Apple выпустит соответствующее исправление.

Аналитическая компания CIRP (Consumer Intelligence Research Partners) опубликовала результаты исследования, посвящённого продажам Apple iPhone 15. Оно отражает, какие модели iPhone оказались наиболее популярными в США в I квартале 2024 года, и как потребители приняли iPhone 15 по сравнению с iPhone 14 и более ранними моделями.

Показатели за I квартал имеют значение, поскольку период с января по март — всего лишь второй полный квартал продаж линейки Apple iPhone 15. Наиболее продаваемыми моделями оказались iPhone 15 Pro и Pro Max, занявшие доли в 22 % и 23 % соответственно — 45 % в совокупности. На iPhone 15 Plus пришлись 9 % проданных iPhone; при этом третье место по популярности заняли базовые iPhone 15 и 14, набравшие по 14 % — 28 % вместе взятые.

Источник изображения: cirpapple.substack.com

Доля продаж iPhone 15 Pro и Pro Max в I квартале 2024 года оказалась почти идентичной продажам iPhone 14 Pro и Pro Max за аналогичный период прошлого года, но вся линейка iPhone 15 заняла 68 % продаж, уступив предшественнице. Это на 7 % ниже, чем доля всех iPhone 14 в I квартале 2023 года — тогда она была 75 %.

«Мы рассматриваем это как продолжение тенденции последней пары кварталов, когда недорогие актуальные модели уступают долю более старым. Некогда флагман, а теперь базовый iPhone 15 более не является передовым вариантом, ведь эту роль взяли на себя модели Pro и Pro Max», — пояснили показатели продаж в CIRP. Аналитики также указали на «незначительные» улучшения в последних линейках iPhone и непростую экономическую обстановку — всё это могло сказаться на продажах.

Администрация мессенджера WhatsApp сообщила, что начала развёртывать поддержку беспарольного входа через ключи доступа в версии приложения для Apple iOS. Когда эта функция включена, пользователи могут входить в свои учётные записи через биометрическую аутентификацию — Face ID или Touch ID — или посредством ввода пароля для телефона.

Источник изображения: Dima Solomin / unsplash.com

В WhatsApp для Android вход через ключи доступа появился ещё в октябре прошлого года, и только в январе эта возможность была добавлена в бета-версию приложения для iPhone. Сейчас функция начинает развёртываться для всех пользователей iOS — полностью охватить аудиторию платформы администрация мессенджера рассчитывает «в ближайшие недели».

Предполагается, что технология ключей доступа станет относительно безопасным вариантом аутентификации, который вытеснит пароли и двухфакторный вход по SMS. Технология также позволяет производить вход, когда устройство не подключено к интернету. Проверить поддержку ключей доступа на конкретном устройстве можно в настройках приложения.

С внедрением нового типа входа пользователи сохранят возможность производить вход в WhatsApp на других платформах, отсканировав QR-код в приложении для смартфона — оно остаётся основным для учётной записи, имея приоритет перед клиентами для Windows и macOS, а также веб-версией сервиса.

Официальные квартальные отчёты американских компаний только начинают формироваться, а независимые аналитики из Counterpoint Research уже определили, что по итогам первого квартала объёмы продаж Apple iPhone на китайском рынке упали сразу на 19 %, продемонстрировав худшие показатели с 2020 года, когда разразился Covid. При этом местный рынок смартфонов в целом вырос на 1,5 % в годовом сравнении и на 4,6 % в последовательном.

Источник изображения: Apple

Столь неутешительными результатами квартала в Китае, как считают аналитики, компания Apple «обязана» возвращению в премиальный сегмент устройств марки Huawei, которая по-прежнему высоко ценится китайскими покупателями. Именно смартфоны Huawei продемонстрировали в первом квартале рост объёмов продаж на 69,7 % в годовом сравнении, но компания смогла вернуться лишь на четвёртое место в пятёрке лидеров, уступив 0,2 % рынка той же Apple и заняв 15,5 % местного рынка. Условно родственная марка Honor тоже продемонстрировала рост объёмов продаж смартфонов на двузначное количество процентов — 11,5 %. Её продукция занимала в Китае по итогам первого квартала 16,1 %, уступая только Vivo с её 17,4 % рынка.

Просев на 15,5 % в годовом сравнении по объёмам поставок, продукция Oppo по итогам первого квартала заняла 15,3 % китайского рынка смартфонов. Xiaomi нарастила продажи на 8,6 % в годовом сравнении, но ограничилась 14,6 % китайского рынка. Впрочем, она всё равно увеличила свою долю на один процентный пункт.

Источник: Counterpoint Market Pulse Service

Представители Counterpoint Research призывают не списывать со счетов продукцию Apple. По их мнению, уже сейчас спрос на смартфоны этой марки начинает восстанавливаться, во втором квартале его могут поддержать скидки и появление новых расцветок корпуса, а к третьему кварталу станут известны некоторые нововведения, о которых расскажут на конференции WWDC 2024 для разработчиков, что дополнительно подогреет интерес публики к iPhone.

Напомним, что статистика IDC также указывала на снижение объёмов поставок iPhone почти на 10 %, но уже в масштабах всего мира. Эксперты Counterpoint Research добавляют, что в последние годы владельцы iPhone стали реже обновлять свои устройства.

Издание South China Morning Post отдельно сообщает, что Apple в прошлом фискальном году, который завершился в сентябре, добавила восемь китайских компаний в перечень своих поставщиков, а удалила из него только четыре китайские компании. Подобный перевес произошёл впервые с 2021 года, и он в целом противоречит видимому курсу на снижение зависимости Apple от Китая. В общей сложности компания располагала по состоянию на сентябрь прошлого года 157 поставщиками на территории Китая, что на 6 поставщиков больше, чем было зарегистрировано за год до этого.

По сообщениям сетевых источников, компания Apple заключила соглашение с тайваньским производителем Advanced Semiconductor Engineering на поставку ёмкостных модулей system-in-a-package (SIP) для будущих смартфонов серии iPhone 16. Такие модули Taptic Engine позволят заменить традиционные кнопки сенсорными аналогами с тактильной отдачей.

Источник изображения: Unbox Therapy

В сообщении сказано, что Apple планирует заменить обе физические кнопки на ёмкостные аналоги, которые всё же обеспечат тактильную отдачу. Такие кнопки определяют силу нажатия и имитируют эффект взаимодействия с обычной кнопкой с помощью специального механизма, генерирующего вибрацию. Отметим, что Apple вполне могла заказать ёмкостные модули в рамках подготовки и к другим будущим производственным планам, поэтому данный контракт может быть не связан с iPhone 16.

Ранее СМИ писали, что Apple намерена оснастить iPhone 16 сенсорными кнопками с тактильной отдачей и внутри компании этот проект был известен под именем Bongo. Однако позднее появилась информация, что разработчикам не удалось решить все технические проблемы, и от реализации проекта пришлось отказаться. Это означало, что в iPhone 16 останутся традиционные механические кнопки.

Более ранние слухи говорят о том, что iPhone 16 всё же будет оснащён механическими кнопками, причём к переключателям громкости и питания добавится ещё один. Речь идёт о новой кнопке с поддержкой распознавания силы нажатия и предназначенной для съёмки фото и видео. Также ожидается, что пользователи смогут задействовать новую кнопку для изменения масштаба, для чего будет достаточно провести пальцем вдоль переключателя. Легкое нажатие на кнопку позволит камере сфокусироваться, а более продолжительное нажатие запустит видеосъёмку.

В нынешнем сообщении о том, что Apple заказала поставку ёмкостных модулей сказано, что массовое производство этих компонентов начнётся в третьем квартале 2024 года. Поскольку Apple обычно представляет новые iPhone в начале осени, дата начала производства ёмкостных модулей может указывать на то, что они будут использоваться лишь в iPhone 17.

В минувшие выходные известный колумнист Bloomberg Марк Гурман (Mark Gurman) не только предавался рассуждениям о том, почему Apple очень нужен новый смартфон за $250, но и поведал о подходе компании к интеграции в свои устройства функций искусственного интеллекта. По его словам, компания пытается значительную часть вычислений поручить локальным компонентам пользовательских устройств.

Источник изображения: Unsplash, Gilles Lambert

Другими словами, если речь идёт о смартфонах марки, то некий нейронный процессор внутри iPhone должен будет осуществлять локальные вычисления при обработке запросов, в меньшей степени полагаясь на обмен информацией с облачной инфраструктурой. Такой подход позволит ускорить отклик системы на поступающие запросы, а для пользователя это станет видимым преимуществом. Кроме того, локальная обработка чувствительной информации повысит степень информационной защищённости.

При этом, как утверждает представитель Bloomberg, компания Apple не отметает окончательно идею использования сторонних больших языковых моделей, которые предлагаются Google или Microsoft. Собственную языковую модель Apple тоже разрабатывает, но ориентирует её именно на использование локальных вычислительных ресурсов. Подробности об этой концепции Apple могут быть оглашены уже в середине июня на конференции для разработчиков WWDC 2024, как поясняет источник.

В попытках избежать штрафа до 10 % годового оборота на мировом рынке от антимонопольных регуляторов ЕС, Apple предложила открыть доступ к NFC на iPhone, iPad и других мобильных устройствах без необходимости использовать Apple Pay или Apple Wallet.

Источник изображения: Niccolò Chiamori / unsplash.com

Два года назад Европейская комиссия обвинила Apple в том, что она препятствует конкуренции, не давая разработчикам сторонних программ для мобильных платежей доступ к NFC. Под давлением регуляторов Apple пришлось предоставить дополнительные функции, включая выбор мобильного приложения для платежей по умолчанию и доступ к средствам аутентификации, в том числе FaceID.

Еврокомиссия рассмотрит предложение Apple и может принять его уже в мае — во многом это зависит от того, как быстро компания справится с техническими деталями процесса. В случае принятия предложения оно будет действовать 10 лет.

Азиатский тур генерального директора Apple Тима Кука (Tim Cook) в этом году хоть и начался с Китая, логикой дальнейших перемещений руководителя компании доказывал, что она готова развивать присутствие производственных мощностей своих подрядчиков в других странах региона. После Вьетнама Кук отправился в Индонезию, сообщив местному президенту, что готов рассмотреть возможность локализации производства изделий Apple в этой стране.

Источник изображения: Apple

«Мы говорили о желании президента увидеть наше производство на территории страны. Это то, о чём мы готовы подумать», — подытожил результаты встречи с президентом Индонезии Джоко Видодо (Joko Widodo) глава Apple. По словам Тима Кука, инвестиционный потенциал Индонезии бесконечен, есть множество подходящих площадок для инвестиций, и компания уже вкладывает деньги в экономику страны. В чём это выражается, он уточнять не стал.

На острове Бали, как стало известно ранее, Apple собирается открыть четвёртую по счёту школу для разработчиков приложений. В четыре проекта на территории страны Apple уже вложила $98 млн, как отметили представители индонезийского правительства. Они также попросили Apple открыть ещё две академии в разных частях страны. В августе Индонезия собирается перенести столицу из Джакарты в Нусантару, поэтому в новом столичном городе потребуется новая школа для разработчиков Apple. Специалистов Apple также планируется привлечь к развитию экосистемы «умного города» в новой столице Индонезии.

С 2022 года власти страны ужесточили требования к степени локализации электронных устройств, продаваемых на внутреннем рынке. Минимальный порог локализации в смартфонах был поднят с 20 до 35 % в стоимостном выражении. Учебные центры Apple начали появляться в Индонезии с 2018 года, поскольку этого требовало местное законодательство. Страна с численностью населения более 270 млн человек становится важным рынком для Apple, но в сегменте смартфонов её доля не превышает 11,57 %, уступая не только Samsung (17,44 %), но и китайской Oppo (18 %). При этом у Apple до сих пор нет официального магазина в Индонезии, продукция марки продаётся через местных дистрибьюторов.

В прошлом году в Индонезии было выпущено 49 млн смартфонов, а импортировано только 2,79 млн штук, причём 85 % импорта формировала как раз продукция Apple. Во время своего недавнего визита во Вьетнам Тим Кук также заявил, что компания готова тратить больше денег на развитие местных поставщиков.

Apple разрешила пользователям из Евросоюза загружать и устанавливать приложения в обход App Store, напрямую с сайтов разработчиков. Для этого разработчикам придётся соответствовать некоторым требованиям и получить от Apple разрешение, однако важен сам факт, что пользователи iPhone из ЕС смогут загружать и устанавливать приложения с сайтов компаний.

Источник изображения: Mariia Shalabaieva / unsplash.com

Ранее Apple старательно боролась с установками приложений в обход официального магазина, что позволяло практически безраздельно контролировать денежные потоки на платформе и направлять их в нужное русло. Однако «Закон о цифровых рынках» (DMA) изменил положение вещей. Он накладывает на технологических гигантов обязательства, которые по замыслу законодателей позволят развить здоровую конкуренцию и защитят потребителей от злоупотреблений.

Представитель Apple рассказал журналистам, что желающие распространять приложения напрямую разработчики могут воспользоваться этой возможностью уже во второй бете iOS 17.5. Для этого им придётся согласиться с новыми условиями Apple в ЕС, включая «технологический сбор» в €0,5 за каждую установку приложения свыше одного миллиона за последние 12 месяцев, независимо от способа распространения. Избежать этого можно лишь отказавшись от новых условий Apple, а значит и от новых возможностей по «Закону о цифровых рынках».

Чтобы распространять приложения напрямую, необходимо не нарушать условий сотрудничества с Apple и подтвердить готовность самостоятельно решать споры об интеллектуальной собственности, обрабатывать запросы от органов власти на удаление информации и предоставлять техподдержку пользователям. Кроме того, Apple должна проверить, что в приложении нет вредоносного кода — этот автоматический процесс называется «нотаризацией». Таким образом, Apple продолжает настаивать, что загрузка приложений в обход официального магазина небезопасна.

При первой попытке загрузить приложение с сайта разработчика пользователю iOS придётся предоставить разрешение на установку. Текущая версия механизма заставляет пользователя несколько раз подтвердить разрешение на установку сторонних приложений, однако после этого процесс заметно упрощается. Apple уведомит пользователя, что за «обновления и покупки отвечает разработчик», а также предложит «проверить информацию о приложении». По словам компании, всё вышеперечисленное — разумные меры безопасности, соответствующие требованиям DMA.

Критики данного подхода уже заявили, что своими многочисленными предостережениями Apple запугивает пользователей и принуждает их отказаться от загрузки приложений вне официального магазина. У Европейской комиссии тоже есть некоторые претензии к Apple, что послужило поводом для расследования. В частности, Еврокомиссия намерена проверить обоснованность вводимых Apple комиссий.

Специализирующаяся на аналитике сетевой инфраструктуры компания Ookla опубликовала отчёт о скорости работы с сетями 5G смартфонов серии Samsung Galaxy S24. Как выяснилось, актуальные флагманы Samsung обходят по скорости передачи данных в сетях 5G не только прошлые модели серии Galaxy S, но и представителей семейства iPhone 15.

Ookla собирала данные с 1 февраля по 24 марта в странах Азиатско-Тихоокеанского региона, Ближнего Востока и Африки, Европы и Северной Америки, сравнивая серию Galaxy S24 и более ранние устройства Samsung с iPhone 15. Как говорится в отчёте, «серия Samsung Galaxy S24 продемонстрировала значительное превосходство в медианной скорости загрузки в сетях 5G в 7 из 15 участвовавших в исследовании стран».

Семейство iPhone 15 превзошло по медианной скорости 5G смартфоны Samsung лишь в одной стране, Японии. Однако «в некоторых проанализированных странах разница в скорости между устройствами Galaxy S24 и iPhone 15 была незначительной». В целом же смартфоны Samsung вырвались на первое место, превзойдя серию iPhone 15 по скорости загрузки данных в 5G-сетях США в среднем на 34 Мбит/с.

На прошлой неделе Apple изменила правила App Store, позволив размещать в магазине приложений эмуляторы старых игровых платформ. И они не заставили себя ждать: в App Store появился iGBA — бесплатный эмулятор Game Boy для iPhone и iPad.

Источник изображения: 9to5mac.com

iGBA, пусть и всего лишь копия проекта с открытым исходным кодом GBA4iOS, в которую добавили встроенную рекламу, остаётся полнофункциональным эмулятором, понимающим загруженные из сети ROM-файлы Game Boy Advance и Game Boy Color. В нём есть сохранение состояний, настройка виртуального контроллера, тактильной обратной связи и передача изображения на внешний экран через AirPlay.

Изменение правил App Store оставляло некоторые вопросы относительно возможности загружать образы программ из Сети, поскольку они могут быть защищены лицензиями, запрещающими подобные действия. Однако если появление iGBA не ошибка модератора, значит в App Store и правда начнётся эпоха эмуляторов.

Сегодня Apple объявила, что в скором времени позволит клиентам и независимым мастерским использовать при ремонте её устройств бывшие в употреблении запчасти, что поможет продлить срок службы продукта и уменьшить количество электронного мусора, сократив воздействие на окружающую среду. Бывшие в употреблении запчасти пройдут заводскую калибровку и обеспечат ту же функциональность и безопасность, что и новые оригинальные детали Apple.

«Мы всегда ищем новые способы предоставить нашим клиентам наилучшие впечатления, одновременно уменьшая воздействие, которое оказываем на планету, и ключевой частью этого является разработка продуктов, которые прослужат долго, — заявил вице-президент по аппаратному обеспечению Apple Джон Тернус (John Ternus). — Инновации в дизайне и производстве продуктов обеспечат ремонт с использованием бывших в употреблении запчастей Apple, не поставив под угрозу безопасность, защищённость или конфиденциальность пользователей. Мы рады предоставить нашим клиентам ещё больше выбора и удобства, одновременно помогая продлить срок службы наших продуктов и их частей».

Apple за последние два года проделала большую работу, чтобы обеспечить повторное использование таких деталей, как биометрические датчики, используемые для Face ID или Touch ID. Начиная с этой осени калибровка оригинальных деталей Apple, новых или бывших в употреблении, будет происходить непосредственно на устройствах после установки запчасти. Сам процесс ремонта будет упрощён — клиентам и поставщикам услуг больше не нужно указывать серийный номер устройства при заказе запчастей для ремонта, не связанного с заменой материнской платы.

Процесс подтверждения подлинности запчасти и сбора информации о ней, часто называемый «сопряжением», имеет решающее значение для сохранения конфиденциальности и безопасности владельцев iPhone. Apple распространит функцию «Блокировка активации» на запчасти iPhone, чтобы предотвратить использование запчастей из украденных устройств. Если устройство, находящееся на ремонте, обнаружит, что установленная в него деталь была получена от устройства с включённой блокировкой активации, возможности калибровки для этой запчасти будут ограничены.

Поскольку срок службы устройства увеличивается, Apple стремится предоставить следующим владельцам информацию о ремонте и использованных деталях, которую показывает «История запчастей и обслуживания» в настройках iOS. Начиная с осени 2024 года туда будет добавляться информация об использованных для ремонта бывших в употреблении оригинальных запчастях.

За последние пять лет Apple почти удвоила количество сервисных центров, предоставив доступ к оригинальным запчастям и инструментам Apple и обучив более 10 000 авторизованных поставщиков услуг Apple. Программа самостоятельного ремонта, запущенная в 2022 году, теперь поддерживает 40 продуктов Apple в 33 странах и регионах на 24 языках. Она предоставляет доступ к руководствам, оригинальным запчастям Apple и инструментам, используемым в Apple Store и авторизованных сервисных центрах Apple.

Apple накануне разослала уведомления владельцам iPhone в 92 странах мира о том, что они, вероятно, стали объектами атаки шпионского ПО. Компания не раскрыла, кто может стоять за этой атакой; список стран, в которых пользователи получили эти уведомления, тоже не приводится.

Источник изображения: Gerd Altmann / pixabay.com

«Apple обнаружила, что вы стали жертвой заказной атаки шпионского ПО, которое пытается удалённо скомпрометировать iPhone, связанный с вашим Apple ID <..>. Эта атака, вероятно, нацелена именно на вас из-за того, кто вы и чем занимаетесь. Хотя никогда нельзя достичь абсолютной уверенности при обнаружении таких атак, Apple уверена в этом предупреждении — пожалуйста, отнеситесь к нему серьёзно», — говорится в тексте уведомления.

Производитель iPhone рассылает подобные уведомления несколько раз в год, и с 2021 года он сообщил о таких угрозах владельцам устройств Apple в более чем 150 странах. В октябре прошлого года схожее предупреждение компания направила ряду журналистов и политиков в Индии. Позже некоммерческая правозащитная организация Amnesty International обнаружила, что на iPhone, принадлежащих известным журналистам в Индии, была установлена программа-шпион Pegasus израильского разработчика NSO Group.

«Мы не можем предоставить дополнительную информацию о том, почему направляем вам данное уведомление, потому что это поможет злоумышленникам адаптировать свои действия, чтобы избежать обнаружения в будущем. <..> Заказные атаки шпионского ПО, например, с использованием Pegasus от NSO Group, исключительно редки и гораздо более изощрённы, чем обычная деятельность киберпреступников или потребительского вредоносного ПО», — отметила Apple и добавила, что полагается исключительно на «внутреннюю информацию об угрозах и расследования для обнаружения таких атак».

Предпринимаемые подрядчиками Apple в последние годы усилия по переносу производства смартфонов этой марки из Китая в прочие страны азиатского региона привели к тому, что в данный момент один из семи iPhone собирается на территории Индии, как отмечает Bloomberg. В прошлом фискальном году в этой стране было выпущено смартфонов Apple на общую сумму $14 млрд.

Источник изображения: Apple

Подобные итоги стало возможно подвести после завершения в конце марта очередного фискального года в календаре многих азиатских партнёров Apple. Недавний визит генерального директора компании Тима Кука (Tim Cook) в Китай и сопутствующие заверения в наличии на территории Поднебесной «лучших в мире цепочек поставок» не отменяют того факта, что всё большее количество iPhone начинает собираться на территории Индии. По данным местных властей, такая миграция уже позволила создать 150 000 рабочих мест на локальных предприятиях подрядчиков Apple.

По неофициальным данным, в прошлом фискальном году тайваньская Foxconn Technology Group собрала 67 % выпущенных на территории Индии смартфонов Apple, а на долю Pegatron пришлись 17 % собранных в Индии iPhone. Прочие смартфоны этого семейства были собраны предприятием Wistron в штате Карнатака, которое в прошлом году перешло под контроль индийского конгломерата Tata Group. Пару дней назад появились слухи о намерениях этой индийской компании заполучить в своё распоряжение предприятие Pegatron на территории Индии. По крайней мере, индийская сторона хотела бы контролировать до 65 % акций предприятия Pegatron на юге страны в Тамилнаде. На этой площадке собирается по 5 млн iPhone ежегодно. Стороны также планируют построить в этом штате новое совместно управляемое предприятие по сборке iPhone.

Сейчас партнёры Apple собирают на территории Индии смартфоны от iPhone 12 до младших моделей семейства iPhone 15, но версии Pro и Pro Max здесь пока не производятся. Основная часть выпускаемых в Индии смартфонов Apple отправляется на экспорт, доля продукции этой марки на внутреннем рынке страны не превышает 6 %. Два первых фирменных магазина Apple на территории Индии появились только в прошлом году. До 2027 года в Индии планируется открыть ещё три фирменных магазина Apple.

Исследователи компании Apple опубликовали работу, в которой описали систему генеративного искусственного интеллекта Ferret-UI, предназначенную для распознавания интерфейсов мобильных приложений. С её помощью ИИ сможет без предварительного обучения понимать интерфейс разных приложений и взаимодействовать с ними.

Источник изображения: Carl Heyerdahl / unsplash.com

Ferret-UI представляет собой большую мультимодальную языковую модель (MLLM), характерная особенность которых — способность к обучению на самых разных материалах, включающих текст, изображения, видео- и аудиоконтент. MLLM пока плохо справляются с распознаванием интерфейсов приложений и тому есть множество причин, одна из которых — несоответствие пропорций используемых для обучения изображений соотношению сторон экрана типичного смартфона. Искусственный интеллект плохо понимает мелкие изображения, такие как значки и кнопки, а кроме того, для анализа интерфейса приложения ему необходимо с ним взаимодействовать. По словам исследователей, им уже удалось превзойти GPT-4V и другие специализирующиеся на анализе интерфейсов MLLM.

Сфера применения Ferret-UI описана довольно расплывчато. С одной стороны, Apple может делать это намеренно, дабы не подавать конкурентам идеи конкретных продуктов, с другой — исследователи разрабатывают технологии, а поиск возможностей их применения не входит в их задачи. Но есть очевидные варианты: например, с помощью Ferret-UI можно попробовать оценить эффективность пользовательского интерфейса или помочь слепым лучше понять происходящее на экране смартфона. Другим возможным применением нового ИИ может стать интеграция с Siri, благодаря чему последней можно будет отдавать команды для взаимодействия с приложениями, например, купить авиабилеты на определённое время и по указанному тарифу.