Компания Apple рассказала о некоторых новых функциях, которые появятся в будущей операционной системе iOS 18, чей полноценный анонс ожидается в июне на ежегодном мероприятии WWDC. Среди прочего новая ОС предложит поддержу управления движением глаз, а также функцию, призванную снизить эффект укачивания при использовании iPhone и iPad в транспорте.

Источник изображений: Apple

Одной из ключевых функций новой мобильной операционной системы от Apple станет Eye Tracking, которая позволит управлять мобильным устройством с помощью движения глаз. Для этого iOS 18 будет использовать возможности фронтальной камеры, которая будет следить за тем, в какую часть экрана смотрит пользователь, позволяя осуществлять навигацию внутри пользовательского интерфейса. Для нажатия той или иной кнопки или выделения блока текста достаточно будет просто посмотреть на элемент и задержать на нём взгляд на несколько секунд. Функция может оказаться крайне полезной для людей с ограниченными возможностями.

Также iOS 18 предложит функцию Music Haptics. Она создана для того, чтобы люди с плохим слухом тоже могли наслаждаться музыкой. Функция будет задействовать тактильный моторчик мобильного устройства для обратной связи и синхронизировать вибрацию в такт с музыкой.

Новая фонация Vehicle Motion Cues призвана снизить эффект укачивания при использовании iPhone и iPad в двигающемся транспорте. При включении Vehicle Motion Cues, функция создаёт на экране паттерн из анимированных точек, которые следуют в направлении движения транспорта. По словам Apple, это сокращает нарушения сенсорных взаимодействий в мозге и снижает интенсивность эффекта укачивания.

В новой ОС также будет доступна функция Vocal Shortcuts. Она позволяет пользователям назначить определённые фразы для запуска ярлыков приложений и выполнения различных многоступенчатых действий с помощью голоса. Кроме того, в iOS 18 появится режим Listen for Atypical Speech, который повышает точность распознавания речи у пользователей с церебральным параличом, боковым амиотрофическим склерозом или у перенёсших инсульт.

Apple также улучшит доступность для людей с ограниченными возможностями CarPlay. Она получит поддержку функций голосового управления, настройки цветовых фильтров и распознавания звуков, которые уже имеются в составе iOS.

Компания также сообщила о ряде небольших улучшений специальных возможностей, которые появятся в составе операционной системы, включая новые голоса для VoiceOver, новую опцию набора текста, которая увеличивает текущее содержимое текстового поля во время редактирования, доступ к режиму Magnifier (лупа) с помощью кнопки действия на iPhone 15 и улучшения для клавиатуры Брайля.

Более подробно с новыми функциями iOS можно ознакомиться в пресс-релизе Apple.

Не так давно руководство Apple провело виртуальную встречу с инвесторами, в рамках которой были озвучены финансовые результаты компании по итогам второго квартала 2024 финансового года. В собрании принял участие и глава Apple Тик Кук (Tim Cook), который поднял тему технологий на основе искусственного интеллекта и выразил уверенность в том, что у Apple есть преимущества, которые позволят её выделиться с функциями на базе генеративного ИИ на фоне конкурентов.

Говоря о ежегодной конференции WWDC 2024, которая состоится в следующем месяце, Кук сказал, что рад поделиться тем, над чем работает компания. Хотя он напрямую не сказал, что в iOS 18 появятся ИИ-функции, было отмечено, что Apple продолжает делать «значительные инвестиции» в развитие генеративных алгоритмов, и что компания уже скоро поделится со своими клиентами «некоторыми очень интересными вещами». Глава Apple добавил, что компания по-прежнему очень оптимистично настроена в отношении собственных возможностей в сфере генеративных нейросетей.

Тим Кук и раньше упоминал, что Apple работает над созданием генеративных алгоритмов, но вместе с тем компания ведёт переговоры со сторонним разработчиками, включая Google, о применении их ИИ в своих будущих продуктах. На этом фоне глава Apple заявил, что у компании есть преимущества, которые позволят ей выделиться с функциями генеративным ИИ на на фоне конкурентов — задача непростая, ведь у многих новейших смартфонов ИИ-функции очень похожи. В качестве примеров таких преимуществ Кук отметил наличие нейронного сопроцессора в фирменных чипах Apple, плотную интеграцию программной и аппаратной составляющих, а также внимание компании к обеспечению конфиденциальности пользователей.

«Мы верим в преобразующую силу и возможности искусственного интеллекта, и мы верим, что у нас есть преимущества, которые будут отличать нас в эту новую эпоху, включая уникальное сочетание бесшовной интеграции аппаратного и программного обеспечения с сервисами Apple, революционный Apple Silicon с нашим ведущим в отрасли нейронным сопроцессором, а также нашу непоколебимую ориентированность на обеспечение конфиденциальности, которая лежит в основе всего, что мы создаём», — заявил Тим Кук.

По слухам, Apple работает над интеграцией нескольких функций на базе искусственного интеллекта в свои операционные системы. Ожидается, что некоторые из них будут представлены в рамках мероприятия WWDC в следующем месяце. Речь идёт о чат-боте, умных плейлистах в Apple Music и интеллектуальном помощнике в браузере Safari. Компания развивает собственные большие языковые модели для обеспечения работы ИИ-функций в автономном режиме, а также ведёт переговоры с OpenAI и Google для лицензирования их технологий и последующего использования в iOS 18.

По мере приближения анонса iOS 18 о новой версии мобильной операционной системы Apple становится известно больше информации. На этой неделе журналист издания Bloomberg Марк Гурман (Mark Gurman) поделился своими ожидания касательно того, что разработчики реализуют в iOS 18.

Источник изображения: 9to5mac.com

В сообщении Гурмана сказано, что, помимо новых функций на базе искусственного интеллекта, iOS 18 принесёт обновления для многих встроенных приложений, таких как «Фотографии», «Почта», «Заметки» и «Фитнес». Приложение «Калькулятор» получит ряд новых функций и в этом году впервые появится на iPad, поскольку оно будет включено в состав iPadOS 18.

Ожидается, что iOS 18 станет одним из крупнейших обновлений программной платформы iPhone за последние годы. Вероятно, разработчики добавят в ОС новые функции, но на этом изменения не закончатся. По словам Гурмана, iOS 18 позволит располагать иконки приложений в произвольном порядке, т.е. они не будут выравниваться по сетке, чего прежде никогда не было.

Вся ОС будет обновлена и, вероятно, изменения затронут элементы дизайна, но каких-либо кардинальных перемен ждать не стоит. Гурман уверен, что изменения в дизайне сделают приложения более «модульными» и «более простыми в плане настройки и обновления».

Какие именно обновления в iOS 18 ждут пользователей, будет ясно уже в скором времени, когда Apple представит ОС официально на конференции WWDC в июне. До этого у компании запланировано мероприятие на 7 мая, в рамках которого ожидается презентация новых iPad Pro и iPad Air.

Как уже отмечалось, Apple не исключает возможности интеграции сторонних систем искусственного интеллекта в свои будущие устройства, и компания недавно возобновила переговоры с OpenAI на эту тему. Операционная система iOS 18, под управлением которой будут работать iPhone нового поколения, в итоге может получить поддержку экосистемы OpenAI, как сообщает Bloomberg.

Источник изображения: Apple

Это уже не первая попытка Apple реализовать такую интеграцию с OpenAI, переговоры начинались в этом году, но были поставлены на паузу, а теперь возобновляются, как отмечает источник. Не списывает Apple со счетов и Google с её чат-ботом Gemini, поэтому среда, в которой ведутся эти переговоры, довольно конкурентна. Выбор партнёра в этой сфере Apple пока не сделала, и нет гарантий, что твёрдые договорённости будут вообще достигнуты.

Некоторые функции грядущей операционной системы Apple iOS 18 будут использовать элементы большой языковой модели собственной разработки — например, она поможет пользователям генерировать текст, похожий на созданный человеком. При этом на уровне взаимодействия с пользователями через чат-бот Apple рассчитывает полагаться на сторонние решения типа ChatGPT. Когда о поиске партнёра для реализации этой функции впервые стало известно в марте, среди потенциальных участников переговоров фигурировал и стартап Anthropic.

Apple рассчитывает за счёт тесного взаимодействия с разработчиками систем ИИ добиться не только их более глубокой интеграции со своей операционной системой, но и высокой степени информационной безопасности. Тим Кук (Tim Cook) ранее обещал, что функции ИИ будут внедряться в экосистему Apple после их тщательной оценки и адаптации.

Для работы первых функций на базе искусственного интеллекта в iOS 18 не потребуется подключение к облачным серверам — они будут выполняться прямо на iPhone. Об этом сообщил журналист издания Bloomberg Марк Гурман (Mark Gurman).

Источник изображения: macrumors.com

«Мир в ожидании презентации ИИ-функций от Apple в рамках мероприятия, которое начнётся 10 июня. Похоже, что первая волна функций будет работать локально исключительно на устройстве. Это означает, что в большой языковой модели компании, программном обеспечении на основе которого работают новые функции, не будет компонента облачной обработки», — говорится в сообщении Гурмана.

Журналист предполагает, что Apple продолжит предлагать пользователям некоторые облачные ИИ-функции на базе алгоритма Google Gemini или большой языковой модели от других разработчиков. Согласно имеющимся данным, Apple провела переговоры с Google, OpenAI и Baidu, которые были посвящены потенциальному партнёрству в области генеративных нейросетей.

Ожидается, что в iOS 18 не будет интегрирована поддержка ИИ-бота от Apple, но не исключено, что вместо этого на данном этапе разработчики задействуют алгоритм Gemini или какой-то аналог. Велика вероятность, что в будущем Apple сможет предложить пользователям функции на базе генеративных нейросетей собственной разработки. На это указывает тот факт, что в последнее время компания активно закупает серверы и другое оборудование, предназначенное для обучения больших языковых моделей.

По слухам, в iOS 18 дебютируют несколько ИИ-функций в разных продуктах, включая Spotlight, Siri, Safari и др. Ранее Марк Гурман писал, что генеративные алгоритмы позволят голосовому помощнику Siri более точно и развёрнуто отвечать на сложные вопросы, а в приложении «Сообщения» появится функция автоматического написания текста на основе небольших подсказок. Ожидается, что Apple анонсирует iOS 18 на ежегодной конференции для разработчиков WWDC, которая пройдёт с 10 по 14 июня.

Разработчики из Apple продолжают трудиться над iOS 18, которая должна стать крупнейшим обновлением за всю историю iPhone. Новая версия программной платформы принесёт большое количество нововведений, одним из которых станет возможность гибкой настройки рабочего стола.

Журналист издания Bloomberg Марк Гурман (Mark Gurman) уверен, что Apple сделает рабочий стол «более настраиваемым». Помимо прочего, пользователи смогут размещать значки приложений на экране в соответствии с собственными предпочтениями. Это означает, что Apple впервые разрешит группировать значки таким образом, чтобы между ними были пробелы.

Предстоящая iOS 18 не зря позиционируется как крупнейшее обновление операционной системы, поскольку оно принесёт множество нововведений. Ключевое внимание будет уделено функциям на основе искусственного интеллекта. Apple также может интегрировать в ОС ИИ-бота Gemini от Google. Apple стремится догнать других технологических гигантов в плане интеграции в свои продукты ИИ-технологий. По данным Марка Гурмана, в iOS 18 появится множество функций на базе нейросетей, которые «помогут пользователю управлять своими повседневными делами».

Ранее в СМИ появлялась информация о том, что Apple работает над улучшением голосового помощника Siri, функцией создания плейлистов с помощью ИИ-алгоритма в Apple Music, инструментами взаимодействия с документами в iWork и многим другим. Вероятнее всего, iOS 18 будет анонсирована в рамках ежегодного мероприятия WWDC в июне, а общедоступной операционная система станет в сентябре, когда широкой публике представят iPhone 16.

По сообщениям сетевых источников, будущая iOS 18 может стать крупнейшим обновлением программного обеспечения за всю историю iPhone. По мнению журналиста Bloomberg Марка Гурмана (Mark Gurman), разработчики из Apple имеют большие планы на iOS 18, которая должна стать доступна пользователям совместимых устройств осенью этого года.

Источник изображения: macrumors.com

«Мне сказали, что новая операционная система рассматривается внутри компании как одно из крупнейших обновлений iOS — если не самое большое — в истории компании», — говорится в сообщении Гурмана.

Он также написал о планах поделиться более подробной информацией о конкретных изменениях и функциях, которые должны появиться в iOS 18. Однако уже сейчас известно о двух существенных нововведениях, которые должны стать частью будущего обновления. Оно станет общедоступным в сентябре, а бета-версия для разработчиков — после ежегодной конференции WWDC в июне.

В ноябре прошлого года Apple объявила, что приложение iMessage в iOS будет поддерживать кроссплатформенный стандарт обмена сообщениями RCS в 2024 году. На основе этого с большой долей вероятности можно предположить, что поддержка RCS будет реализована в iOS 18. Это приведёт к ряду улучшений в плане обмена сообщениями через iMessage между iPhone и устройствами с Android. Речь идёт о возможности обмена фото и видео в высоком разрешении, отправке аудиосообщений, появлении индикатора набора текста и др.

По мнению Гурмана, iOS 18 принесёт с собой существенные обновления для голосового помощника Siri за счёт использовании технологий искусственного интеллекта, включая генеративные алгоритмы. Он также отметил, что Apple изучала возможность интеграции ИИ-алгоритмов в другие приложения, включая Apple Music, Pages, Keynote и Xcode.

В преддверии анонса Apple новых функций ИИ для iOS 18, который, как предполагается, состоится в июне, компания усиливает исследования и разработки в этой области. Проанализировав код свежей бета-версии iOS 17.4, эксперты обнаружили попытки интеграции больших языковых моделей Apple в экосистему iOS, особенно в таких приложениях, как Messages и голосовой помощник Siri.

Источник изображения: Apple

В коде бета-версии iOS 17.4 был найден новый фреймворк SiriSummarization, представляющий собой частный интерфейс для работы с API ChatGPT, разработанного OpenAI. Это намекает на то, что Apple активно использует внешние ресурсы для совершенствования собственных разработок в области ИИ. Примечательно, что системные запросы в рамках SiriSummarization включают команды вроде «пожалуйста, сделай краткое изложение» и «пожалуйста, ответь на эти вопросы», что указывает на потенциальные возможности Siri в автоматической обработке и интерпретации текстовых данных.

Источник изображения: 9to5mac.com

Особое внимание в нововведениях Apple заслуживает интеграция ИИ с приложением Messages. Ожидается, что система сможет анализировать входящие СМС и сообщения iMessage, предлагая пользователю наиболее релевантные действия на основе контекста сообщения. Это может включать ответ на сообщение, напоминание, звонок или даже сохранение контакта. Ключевым моментом здесь является высокая точность и уверенность системы в предложенных действиях, оцениваемая по шкале от 0 до 1.

Источник изображения: 9to5mac.com

Тем не менее, следует отметить, что вряд ли Apple будет использовать модели OpenAI напрямую в своих ИИ-функциях для iOS 18. Скорее, эти модели служат эталоном для сравнения и тестирования собственных разработок Apple. Так, например, фреймворк SiriSummarization может выполнять функции краткого изложения, используя ИИ-модели, работающие непосредственно на устройстве пользователя. Это подчёркивает стремление Apple к обеспечению конфиденциальности и безопасности данных пользователей при работе с ИИ.

Источник изображения: 9to5mac.com

В ходе анализа кода iOS 17.4, в дополнение к SiriSummarization, было выявлено тестирование четырёх различных ИИ-моделей Apple. Среди них — внутренняя ИИ-модель Apple под названием Ajax, о которой ранее упоминал Bloomberg. В документации обнаружены две версии AjaxGPT, одна из которых работает непосредственно на устройстве, а другая — нет, что позволяет предположить о разнообразии подходов Apple к обработке пользовательских данных. Кроме того, в коде упоминаются модели ChatGPT и FLAN-T5, что свидетельствует о масштабности исследовательских усилий Apple в этой сфере.

Источник изображения: 9to5mac.com

Apple активно работает над интеграцией больших языковых моделей в iOS, стремясь к созданию собственной, уникальной ИИ-системы. Это подтверждается параллельной разработкой собственных ИИ-моделей и сравнением результатов их работы с уже существующими моделями, такими как ChatGPT и FLAN-T5. Журналист издания Bloomberg Марк Гурман (Mark Gurman) в октябре прошлого года уже писал о целях Apple в области разработки ИИ для будущей iOS 18. Тогда он упоминал, что в команде Крейга Федериги (Craig Federighi) есть чёткое указание на то, чтобы наполнить iOS 18 функциями, работающими на основе собственной большой языковой ИИ-модели Apple.

Ранее в этом месяце появлялась информация о том, что Apple приостановила разработку новых функций для iOS 18, чтобы сосредоточиться на исправлении известных ошибок. Несмотря на эту паузу, компания по-прежнему имеет большие планы относительно обновления программного обеспечения iPhone в следующем году. Такой точки зрения, в частности, придерживается обозреватель издания Bloomberg Марк Гурман (Mark Gurman).

В одной из недавних публикаций Гурман заявил, что в документации для внутреннего использования Apple называет iOS 18 «амбициозной и убедительной». Цель разработчиков заключается в том, чтобы добавить в мобильную операционную систему значимые новые функции и изменения дизайна, а также существенно повысить производительность и уровень безопасности. Никаких подробностей касательно конкретных функций, которые могут появиться в iOS 18, Гурман не раскрыл, но отметил, что будущая версия ОС должна стать самым крупным обновлением с момента выхода iOS 14 в 2020 году.

«Перед Apple стоит сложная задача, касающаяся программного обеспечения компании и запланированная на 2024 год. После нескольких лет скромных обновлений iOS следующая версия программной платформы для iPhone и iPad может стать относительно революционной. Внутри компании руководство Apple охарактеризовало будущие обновления операционной системы как «амбициозные и убедительные» со значимыми новыми функциями и изменениями в дизайне, а также улучшениями производительности и безопасности», — говорится в сообщении Марка Гурмана.