見出し画像

WWDC24|これさえ読めば全て分かる!


皆さんこんにちは。X-HEMISTRY 技術チームのHiroです。

今回は、毎年6月に行われているAppleのWWDC 2024(Worldwide Developers Conference)での発表内容をまとめていきます!スマートホームにフォーカスした記事は、すでに上がっているのでこちらをチェック!


今回の発表内容


まずは、こちらの新しいOSたちの発表です。今年の2月に米国で発売されたApple Vision Proの新OSや、先月発売されたばかりのiPadのOSなど、この時点で盛りだくさんです。


vision OS 2

まず、visionOS 2が発表されました!空間ビデオに加えて、空間写真が追加されたり、空間ペルソナなどを活用してより没入感のある体験が可能に。既存の写真を空間写真に変換できるようです。アプリを立ち上げるモーションがよりスムーズになり、ホームビューもカスタマイズ可能に。

「ultrawide screen」によりMacでの作業領域が大幅に拡大し、超巨大なウルトラワイドディスプレイの様に扱える様になります(今秋のMacのソフトウェアアップデート要)。

巨大なスペースで作業ができます

また、飛行機でのユースケースは初期からアピールされてきましたが、今回トラベルモードに電車が追加されました。

そして、ついに日本での発売が発表されました(既にストアで確認できます)。予約販売の開始は、6月14日午前10時より、同月28日に販売開始とのことです。

iOS 18

iOS 18では、ホームスクリーン、コントロールセンターなどのカスタマイズ性が大幅に進化しています。ホームスクリーンにおいて、アプリが今までは左上から順にしか並べられなかったところが、好きな位置に配置することができ、壁紙の愛犬を隠さなくてもよくなりました。

また、今までのダークモードオプションのみならず様々な色をカスタマイズして自分好みにできます。

また、コントロールセンターが今まで1枚しかなかったところを、複数のページを設けてカテゴリごとの整理などが可能になりました。

いちいちHomeアプリを開かずとも、自宅のライトや鍵のコントロールが可能になります。


また、標準アプリに鍵をかけて起動するのにパスコードやFace IDを必要とする設定や、アプリを隠す設定なども追加されよりプライバシーにも配慮したアップデートになっています。


Audio&Home

こちらも面白い機能が追加されました。AirPodsを着用している際、例えば満員のエレベーターの中で電話がかかってきたとしましょう。Siriは即座に、「応答しますか?」と問うてきます。そして、首を横に振れば「NO」、縦に振れば「Yes」とジェスチャーで応答することができます。また、通話中の雑音を限りなく聞こえなくすることで通話の質を改善なども行われるようです。見ている映画の会話が聞こえにくい時にダイアログをより鮮明に聞こえるような設定も。

電力の可視化
ハンズフリー会場ができるExpress mode
ゲストへのアクセス許可も簡単

電力モニタリング(現在対応している電力会社は1社のみ)や昨年Matter対応製品にも追加されたロボット掃除機のHomeへの追加なども。ゲストモードで特定の場所のアクセスを許可したり、UWBでのハンズフリー開錠「Express Mode」などの追加もありました。


watchOS 11

watch OS 11では、今までのウェルネスやフィットネス機能が更にパーソナルになりました。そして、運動量の計測と評価(適切なのか運動しすぎなのか、など)を提示してくれたり、計測している自分の体調に関してAIを活用して普段の数値との差異が見えた場合に通知してくれる機能などが追加されました。

メッセージの返信や翻訳機能などのウィジェットがよりアクセスしやすくなるなどの改善も見られ、無理にiPhoneを引っ張り出さなくても自分のやりたいことができるようになっています。


iPadOS 18

ノートアプリ内で画期的な進化が

iPadは、今まで(なぜか)計算機アプリが標準装備されていませんでした。しかし、Appleはただ計算機を追加するわけではありません。

計算のログが見れる様になる、などのアップデートと並行して、特筆すべきはApple Pencilの活用と自動で計算を行ってくれるシステムです。画像のように、数式を書き込むだけで答えを出してくれますし、数式の一部を編集すればそれが即座に反映されます。数式の=をタップすることで、数式をグラフ化するなどの機能も追加されます。

更にこの計算機能はNoteアプリにも反映されています。また、自身の手書きの文字を学習して、書くたびに自分の文字を滑らかな読みやすい仕様に変換してくれるようにもなりました。

画面いっぱいにコンテンツを楽しめます

各アプリで使いたいメニューなどをこの様に浮かせる機能も(自分でカスタマイズ可能)。画面の端っこまでコンテンツを楽しめます。

通話相手のデバイスへ遠隔操作。デバイスが苦手な母親へも楽に機能を教えることができそうです

SharePlay機能で、遠隔で通話先の相手のデバイスのレイアウトを変更なども。


macOS Sequoia

新たなOS「Sequoia」が発表されました。特筆すべきは、「iPhone Mirroring」です。

Macの中にiPhoneが

Mac上でワイヤレスでiPhoneに完全にアクセスすることができ、機能の制限はないとされています。アプリの起動も壁紙の変更も、更にiPhoneに来る通知をMacで受け取り、通知をクリックするとミラーリングが開始されるのです。ミラーリング中はiPhoneはロックされたままで心配することはありません。Macで作業中に手元にiPhoneがなくても、ドアベルの通知を受け取ってゲストを家に入れてあげたりできるようになるかもしれません。データのドラッグアンドドロップも可能になるようです。これらのOSは今秋にはつかえるようになります。


様々なAPIが公開

これらの全てが既に開発者に公開されています

更に、ここまでの機能において共通していたことは、随所で様々なAPIをAppleが公開しており、新機能を第三社がアプリ開発にすぐに使えるようになっていることです。ダブルタップやコントロールセンターへのインテグレーション、iPadのタブバーなど、今日から開発者は仕事に勤しむことができます。



Apple Intelligence

本命の発表です

Appleの統合したAIが、OS全体についに搭載されました。その名も「Apple intelligence」、AIの自社定義をしてきました。

パワフル、直感的、完全統合されていてパーソナルで、プライベートなAIです

メールやドキュメントを書いている際、自分の言いたいことを書き直しするオプションが用意されており、より簡単に自信をもって文章を書けるようになりました。また、自分がその場でリクエストしたような画像を文脈に基づいて生成できるので、自分が表現しようとしている画像を手軽に生成できます。

また、Large Action Model要素もしっかり組み込まれており、様々なアプリで具体的な行動まで支持ができるようになりました。

複数のアプリを跨いでのアクションも可能なようです。

言語、画像、行動、その時のシチュエーションの理解度が大幅アップ

Apple intelligenceは、自社開発したソフトウェアとハードウェアのおかげで、完全なデバイス上での処理で生成を行います。生成のリクエストを行うと、デバイス上で関連する情報をかき集めて、プライバシーを保護しながらリクエストしたアクションを行ってくれます。

もしクラウド接続が必要なリクエストの場合、「Private Cloud Computing」という特別に保護されたApple Silicon特有サーバーを経由して生成ができます。そのタスクに必要な情報のみをクラウドと連携してより強力な生成を可能にします。

Siriも進化しました。まずは、UIが変化しました。スクリーン全体が光るような仕様になっています。更に、今までは端的に要件を伝えないと話している途中で聞き取りを終えていたところを、伝えたいことがまとまっていない場合でも言い直した内容などを踏まえてSiriは返事をしてくれます。より自然なコミュニケーションが可能になりました。また、文脈を考慮した継続的なやり取りができます。例えば場所の天気を聞いた後、「そこに明日14時に行く」と言うだけで具体的に「どこ」かを表現しなくてもカレンダーにそれを反映することができます。まさにChatGPTのような使い方ができますね。

あの球体はいなくなりました

Siriは、Appleデバイスの完全なLLMとなりました。CESではBMW社が自社のマニュアルに関してのLLMを車に音声AIで搭載していましたが、Siriも同じように使えるということですね。どんな設定の内容でも、何がしたいかだけでも伝えればどのような機能が最適な提案をSiriは提供します。

アプリを跨いでのアクションを起こせるのは、Siriも同じです。特定の写真を検索させた後に、その写真アプリ内でリクエストに応じて写真の編集も行えます。ミーティングの議事録をまとめさせるなどの生成も可能になります。

また、文章の添削と編集も進化しました。要約やニュアンスの調整などを通して書類や送りたいメールを編集できます。Smart Replyでは、アンケート形式のような形で自分で文章を打たなくても、自動で返信を生成してくれます。例えば、友人との食事に誘われた際に、行けるかどうかを選択する、などを押していくだけで自分の伝えたいメッセージを生成してくれるのです。

さらに言語の理解が大幅に改善されており、常に溜まり続けるメールの中から大事な情報(本日のフライトやディナーの予定など)を優先度のタグをつけて上に見やすく載せたり、コントロールセンターの通知にも優先度をつけて重要な情報を逃さない工夫がされています。

「Genmoji」という機能も追加されました。既存の絵文字では自分の言いたいことや表現ができない時、どの様なイラストが欲しいのかを説明すればまさに自分の欲しいGenmojiを生成してくれるのです。

Tutuを履いたサーフボードに乗ったティラノサウルス、、生成できます笑

「Image Wand」という要素も追加されました。これは、自分が描いたイラストを更に具体化したり要素を足したりしたいときに使うもので、編集したいイラストを囲うだけでノートアプリ内で生成ができます。更に、何もないところを囲っても周りに書いてある文章の文脈などから自動で適切なイラストを提案して生成することもできる様です。写真のバックグラウンドの処理なども、この魔法の杖で行えます。

文脈からも生成してくれるのはありがたいです
画像に写り込んだ他人をハイライトして消すことも

そして、以前から噂になっていた「ChatGPT」がついに追加されました。Siriに何かをリクエストした際、ChatGPTが役に立つとSiriが判断した場合、この様に使用を希望するかどうかを問われます。

そして、Siri内で生成を行ってくれるのです。

更に、写真をリクエストに加えることも可能で、上記の様な写真に「どんなデコレーションが合うかどうか」を聞けば、許可の上で様々なアイディアを提供してくれます。子どもを寝かせるオリジナルの子守唄も、どんなストーリーにしたいかアイディアを渡せばこの通り。

生成したストーリーに応じて画像生成まで!

もうネタには困りません

ChatGPT機能は無料で使え、アカウントも必要ありません。有料アカウント保持者は、ログインを行うことでそれらの恩恵もiOS上で受けることができます。この機能は、同じく今秋に公開される様です。


Apple Intelligenceは、今年の夏からベータ版などを徐々に発表し、iOSやiPad OSなどは秋ごろに発表されていきます。ただ日本語などの多言語対応は来年まで実現することはなさそうです。


いかがでしたでしょうか?スマートホームに直接関係のある情報は多くはありませんでたが、満を持してAppleがAIに本腰を入れてきましたね。個人的には、macOS SequoiaのiPhone Mirroringと、Apple intelligenceによるSiriの進化に鳥肌が立ちました。iOS内でしか対応してないスマートホーム製品のアプリにもMacからリモートアクセスが可能ですし、Siriを通してスマートホームの活用などもできるかもしれません。特に、Appleは率先して発表したデバイスにThreadを搭載しており、スマートホームを今後引っ張っていく準備をしている様にも見えます。Apple intelligenceと今後のAppleのスマートホーム面でのアップデートに注目しましょう!


この記事が気に入ったらサポートをしてみませんか?