gmailとAIの融合を発表(google)

Googleは火曜日のI/O開発者会議の基調講演で、Googleは「AI」という言葉を120回以上も言及しました。

しかし、GoogleのAI発表のすべてが重要だったわけではありません。いくつかは漸進的なものであり、他のものは再掲されました。そこで、Google I/O 2024で発表された新しいAI製品と機能の中から、特に注目すべきものをまとめました。

検索における生成AI

Googleは生成AIを使用してGoogle検索結果ページ全体を整理する予定です。

AIが整理したページは、検索クエリによって異なりますが、AIが生成したレビューの要約、Redditのようなソーシャルメディアサイトからの議論、AIが生成した提案リストなどを表示するかもしれないと、Googleは述べています。

現在のところ、Googleはユーザーがインスピレーションを求めていると判断した場合、例えば旅行計画を立てる際に、AIが強化された結果ページを表示する予定です。近いうちに、ユーザーが食事の選択肢やレシピを検索する際にもこれらの結果が表示されるようになり、映画、本、ホテル、eコマースなどの結果も続く予定です。

Project AstraとGemini Live

GoogleはAI搭載のチャットボットGeminiを改良し、周囲の世界をよりよく理解できるようにしています。

Googleは、Gemini Liveと呼ばれるGeminiの新しい体験をプレビューしました。これにより、ユーザーはスマートフォンでGeminiと「詳細な」音声チャットを行うことができます。ユーザーが話している間にGeminiを中断して質問をすることができ、リアルタイムでユーザーの話し方に適応します。また、Geminiはスマートフォンのカメラで撮影された写真やビデオを通じてユーザーの周囲を認識し、応答します。

Gemini Liveは今年後半にリリース予定で、スマートフォンのカメラで見えるもの（または最近見たもの）に関する質問に答えることができます。例えば、ユーザーがいる地域や壊れた自転車の部品の名前などです。Liveを駆動する技術的革新は、DeepMind内の新しいプロジェクトAstraから部分的に生まれたもので、リアルタイムのマルチモーダル理解のためのAI搭載アプリや「エージェント」を作成することを目指しています。

Google Veo

テキストプロンプトを入力することで1分間の1080pビデオクリップを作成

Googleは、テキストプロンプトを入力することで1分間の1080pビデオクリップを作成できるAIモデル、Veoを発表しました。

Veoは、風景のショットやタイムラプスなど、さまざまな視覚および映画のスタイルをキャプチャし、生成された映像を編集および調整することができます。このモデルは、プロンプト（「パン」、「ズーム」、「爆発」などの記述子）からカメラの動きやVFXをかなりよく理解します。また、Veoは流体力学や重力などの物理学をある程度理解しており、生成されたビデオのリアリズムに寄与します。

Veoは特定のエリアのビデオを変更するためのマスク編集をサポートしており、安定したビデオのような生成モデルから静止画をもとにビデオを生成できます。最も興味深いのは、ストーリーを伝える一連のプロンプトが与えられた場合、Veoは1分を超えるビデオを生成できることです。

Ask Photos

Google Photosは、Googleの生成AIモデルであるGeminiファミリーを活用した実験的な機能「Ask Photos」の導入により、AIが注入されます。

今夏にリリース予定のAsk Photosでは、ユーザーがGoogle Photosコレクションを自然言語クエリを使用して検索できるようになります。これは、Geminiが写真の内容や他のメタデータを理解する能力を活用したものです。

例えば、「One World Trade」という特定のものを検索する代わりに、「訪れた国立公園ごとの最高の写真」など、より広範で複雑な検索ができるようになります。この場合、Geminiは照明、ぼけの具合、背景の歪みの有無などのシグナルを使用して、そのセット内で「最高」とされる写真を特定し、位置情報や日付の理解と組み合わせて関連する画像を返します。

GmailのGemini

Gmailユーザーは、Geminiのおかげで、メールの検索、要約、作成ができるようになるだけでなく、返品処理などのより複雑なタスクにも対応できるようになります。

I/Oのデモでは、親が学校からの最近のメールをすべて要約するようにGeminiに依頼し、子供の学校で何が起こっているかを把握できる方法を示しました。Geminiはメールの本文だけでなく、PDFなどの添付ファイルも分析し、重要なポイントとアクション項目を含む要約を出力します。

Gmailのサイドバーから、ユーザーはGeminiにメールから領収書を整理し、それをGoogleドライブフォルダーに入れるか、領収書の情報を抽出してスプレッドシートに貼り付けるように依頼できます。例えば、出張で経費を追跡するビジネストラベラーの場合、Geminiはこのワークフローを自動化することを提案することもできます。