見出し画像

ゼルダToKの何がすごいか、メタバースxAI視点で初日を振り返る

しらいはかせ(Hacker作家)

生成AIの進化がカンブリア爆発を起こしており、毎日「これがすごい構文」の驚き屋さんによるまとめツイートや、OpenAI公式のリリースに振り回されている皆さんこんばんわ。僕もそうです。
ところでゼルダToK(Tears of the Kingdom)をはじめました。
メタバースとAIを研究開発するうえで見ておかねばならない要素が多く存在するからです。

▼始まりの島からハイラルの大地に降り立つまで

ぼくのブログの読者さんは「ゼルダToKなんてゲームでしょ？家庭用の。それがどうして生成AIに関係あるの？」みたいなおじさんトークしないでくださいね。これは生成AIの技術の粋かもしれないんです、気づいてください。

グラフィックスだけでもこれぐらいは語れる

・HDR環境における絵作り
・超解像技術による絵作り
・自然すぎるワールド

HDR環境における絵作り

ティザー動画の冒頭画面からどうぞ。

0:14。HDRでの絵作りに自信がなければこんなオープニングは作らない。

※HDRって言ってもディスプレイやYouTubeはRGB各色255レベルなのでLDR(ローダイナミックレンジ)です。HDRレンダリング（内部的な処理は明かされていないので「HDRレンダリングしたかのような」）の画像をLDRに変換する処理に興味がある人はこちらの資料とか、研究発表を見るとよいかもしれない。

HDRShopの日本語訳だったら2004年ぐらいに終わってたよ？

論文：立石理菜、「人間の視覚特性を考慮したハイダイナミックレンジ画像のトーンマッピング」
京都産業大学 コンピュータ理工学部 ネットワークメディア学科 蚊野研究室 立石 理菜
プレゼン資料

2013年の卒業論文と思われますが、まあそんなわけで20年前には理論化やツール化が実施され、10年前には卒業論文になっていたような技術ですが、いきなりHDR対応のディスプレイが世界に普及するわけではなく（Windows10やAndroidにおいては標準化されています、対応ディスプレイがない。Apple iPhoneXS以降もHDR対応済）、「家庭用TVゲーム」という分野では後れを取ってきた分野でもあります。それも『ディスプレイが普及せんことにはなあ』といった言い訳も、Nintendo Switchの成熟期においては通用しませんね（ディスプレイも込みで家庭用ゲーム機を作ったので！）。そんなわけで絵作りにおいてHDR（のように見えるLDR）を意識した「完成した絵作り」が行われたことは特筆に値すると思います。

超解像技術による絵作り

ゼルダの伝説ToKでは「超解像技術」が使われています。発売前の予約購入者向け事前ダウンロードにAMDのFidelityFX Super Resolution（以下、FSR）の技術が知的財産表記にて確認されていました。

AMDのFSRとは

グラフィックス技術について説明するブログはそこそこに信頼筋があるのでそちらを引用していきますね。

(FSRは)レンダリングした映像に対してシェーダでエフェクトを掛けるポストエフェクト処理を用いた超解像技術。競合のDLSSに近い技術だが、DLSSは専用のTensor コア AI を利用する必要がある一方で、FSR2.0はそうしたハードウェアの制限がないのが特徴。
もちろん、古すぎるビデオカードでは使用できないが、「AMD Radeon RX 480/470/460」それ以降の各Radeonシリーズ、Radeonを内蔵したRyzenプロセッサー、競合ではGeForce RTX GTX 16/10シリーズ以降と、そこそこ昔のビデオカードでも利用できる。

FSRとDLSSの違いや、テレビに実装されている超解像技術との関係を知りたい人は西川善司さんの解説が超わかりやすいのでお勧めです。

AMDの超解像技術「FidelityFX Super Resolution」は，DLSSのライバルとなり得るのか　去る2021年6月1日，AMDは，「COMPUTEX 2021」のオンライン基調講演において，同社独自の超解像（Super Resolution）技術「FidelityFX Super Resolution」（以下，FSR）を6月22日にリリースすると発表した。
(略)
「FSRとDLSSのどちらがいいの？」という点だ。結論から言えば，優劣は付けがたい。どちらにも長所と短所があるからだ。
　DLSSは，NVIDIAがGeForce RTXシリーズに搭載している推論アクセラレータ（俗に言うAI処理機能）であるTensor Coreを活用している。詳細は過去記事にあるが，DLSSは，処理系に与える学習データを切り換えることで，超解像処理だけでなくノイズ低減（デノイザ）やアンチエイリアシング（ジャギー低減）にも応用できるという技術だ。ただ最近は，超解像用途に用いる事例が多いようだ。
　いずれにせよ，大前提としてDLSSを利用するためには，GeForce RTXシリーズが必要になる。つまり，GeForce GTXシリーズのユーザーはDLSSを利用できない。ここは留意すべき点である。
　利点としては，「実処理にTensor Coreを活用するため，グラフィックスレンダリングに余計な負荷をかけない」という点が挙げられる。もともとTensor Coreは，AIベースの処理を高速化する目的で搭載されたものであり，NVIDIAとしては，GPUにTensor Coreが載っていることに価値を見出すために提供したのがDLSSなので，当たり前と言えば当たり前だ。
　いずれにせよ，DLSSをオンにしてもオフにしても，グラフィックスレンダリングの負荷には一切の影響がない。ここはDLSSの利点だといえよう。
　その一方で，FSRと比較した場合，DLSSのほうが実装難度が若干高めという問題点もある。
　ゲームプログラム側に統合されていないと利用はできない点は，DLSSもFSRと同じだが，ゲームグラフィックス側でピクセル単位の動きベクトル情報（Motion Vector）を生成しなければならないのだ。
　とはいっても，今どきのゲームグラフィックスでは，モーションブラー表現用に生成する中間バッファである「ベロシティバッファ」（Velocity Buffer）がそれなので，もともとそうした設計になっているゲームグラフィックスであれば，追加の手間はない。ただ，原画像を入力するだけで超解像化してくれるFSRよりも，パイプラインが複雑というのは確かであろう。

西川善司の3DGE：AMDの超解像技術「FidelityFX Super Resolution」は，DLSSのライバルとなり得るのか（2021/6/21）

ToKでは1.1が使われていますが、現在FSRの最新は2.2になっています（2023年2月16日）。

なおAMDのこの手の技術は「GPU Open Effects」というプロジェクトでGitHubにて公開されています。

ちなみに念押しですが、Stable Diffusionは内部に超解像技術が使われています。というか、超解像技術を逆に学習したAIモデルがノイズからあのような画像を生成しているのです。あまりに知られていないのでTV番組にて解説させていただきました。短い時間で素晴らしく上手に解説できているのでぜひオンデマンドで見てほしいです。

https://note.com/o_ob/n/ne7e9d01a2f27

自然すぎるワールド

ここまで「HDRと超解像」とサラッと書いちゃいましたが、HDRも超解像も絵作りするうえではとても制御が難しい技術なのです。特に家庭用ゲーム機の場合は、モニター（いわゆるテレビ）の液晶の性能もまちまちなので、ディスプレイの表現力が弱ければ、とってもギラギラしてしまう可能性がある。
（きっとネット掲示板でも「ToKはギラギラしすぎ」なんて言われる）
でもそれは、「そこに文句を言うならディスプレイを買い替えろ」とコメントしてあげたほうがいい気がします。本体だってOLED化しているし。画質（特にコントラスト）も+25%もよくなってますしね。

https://jisakuhibi.jp/review/nintendo-switch-oled-vs-lcd

そもそも最近の4Kテレビはこれぐらい優秀です

なお前作「ゼルダの伝説 ブレス オブ ザ ワイルド」を、NVIDIAのハイエンドGPU「RTX4090」を使い、8K/60fps・レイトレーシングONで動作させる猛者すらいます。

（おそらくエミュレーションなので、よい子はマネしちゃいけません）

自然すぎる、自然すぎて全くわからないが…「庭師の仕事」を感じる楽しみ

前作は「ブレス オブ ザ ワイルド(BotW)」、つまり「野生の息吹」という意味で、「3Dのオープンワールド」を本格的に採用したタイトルともいわれていました。そもそも「オープンワールド」ってなんやねん、となると定義がなかなか難しいのですが、ゲームをあまりやらない人向けに分かりやすく表現すれば「一直線のレールではなく、ローディングもなく、移動の制約もなく、箱庭的な世界で自由に動き回れる」といったところでしょうか。初代「ゼルダの伝説」だって上下左右がループしてつながっているので2Dマップ的にはそうなんですが、ローディングによって気持ちが途絶えたりせず、さらにBotWでは時間の経過なども表現されていました。まあゼルダ過去作でもすでにオープンワールドは実現していましたが、今回のToKではさらに『オープンワールドって何なんだっけ』ぐらいのインパクトがあります。

※そもそも任天堂の宮本茂さんは文化庁のインタビューで「オープンワールド」ではなく「オープンエアー」と表現しています。

https://mediag.bunka.go.jp/article/article-12007/


確かにゲームとしてはクラフト要素が加わったおかげで「自由に何でもできる」がやばいぐらいに拡張されていて、これはもう作った人とQAした人に拍手喝采ものなのですが、この辺はゲームをもうちょっと進めてから褒めまくるとして、グラフィックス面では「自然すぎて謎がわからない」という副作用すらあるような感じがします。具体的には「仕掛けが仕掛けであると見抜くことが難しい」というおじさん的な視点なのですが、どうやらうちの次男氏（15歳・前作プレイ時間3桁）は普通にクリアしていくので多分おじさんの目が節穴なのでしょう。

おじさんの老眼的な要素は、大画面のいいディスプレイ化、有機ELモデルで解決しましょう。おじさんなので。

（実際、コロナ禍で、視力落ちましたね…私まだ眼鏡不要なのですがそれでもキツイ）

ゲーム開発者的な具体的なWow！として、今作は空に浮いた島がたくさん存在するため「マップ上、座標が一致していても目的地にたどり着けない！」という状況が多々あります。これはGoogle Mapsとかでも起きる現象ですが、ゲーム序盤の祠（ほこら=必ず通らないと先に進めない事が多いコンビニ頻度で探す必要がある謎解きダンジョンの入口）がこんな感じ。

そこ、かなりの確率で迷子になりますよね…
戦闘で運悪く落下することで、下層が見える、見えるからトーレルーフが使える、
生き延びているだけだと、下も上も見ない、それも含めて「計算された自然」なんだなあという感想を今のところ抱いています。

つまり…「俺はラピュタを見たんだ」とパズーの父のような話を聞いて「きれいな景色だなー」といって観光しつつ人生を歩んでいると、一生、ラピュタどころかゼルダ姫の残留思念にすら会えません。上をみたり、下を観たり、時には戦闘で弾き飛ばされて絶命したり、自分から何もない場所に飛び込んでいって、さらに天井を突き破るぐらいの発想力と行動力が求められます。
（とはいえマップには3次元座標が数字で表示されているので、熟練すると体感できるようになるんだろうなという感じはする。攻略Wiki対策なのかもしれない)

そういう意味で「素晴らしい着地点」

グラフィックスってハードウェアの性能を上回って描けない、のですが、人々は時に「それを上回ったことができる」と信じてしまいがち（昔グラフィックスミドルウェアの仕事をしていた時、プロ中のプロであるゲーム開発のプロデューサーさんたちですら、そういうことを口にしていました）。でもそういう意味で今作も「6年前にリリースされたハードで素晴らしい着地点」なのだなあとしみじみと思いました。

涼宮ハルヒの憂鬱の音楽を担当された斎藤滋さんも同じようなことをブログに書かれております。

この「素晴らしい着地点」ってほんと大事で、ここまで解説してきた「自然すぎる自然、わからない謎」などは現状の単なる生成系AIにはできない芸当なのです。

グラフィックスに関しては、もっと深い考察もあります。
でも今は書かない、オープンソース利用情報のような検証方法やエビデンスがないので。

こんな超大作だけど90分でクリアする猛者もいるから大丈夫

『こんな超大作だときっと数百時間のプレイ時間が溶けていくんだろうな、そんな簡単にはできないな…』と思いのおじさんの心を支えるニュースが飛び込んでまいりました。

▼『ゼルダの伝説 ティアーズ オブ ザ キングダム』発売日に1時間30分でクリアしたRTA報告早くも挙がる。驚異的すぎる記録ながら走者は「すぐ更新される」と謙虚なコメント

そうなんです、ゼルダBotWの時もそうだったのですが、このゲームのすごいところはオープンワールドなだけでなく、そのオープンワールドさを利用した「この世界のバグ？のようなルール」を利用した超速すっ飛ばしプレイが次々に発見されるという点なのです。
つまり開発者側は「そういうすっ飛ばしプレイも想定?のうち」として作っています。いや想定はしていないのかもしれないけど、一度リリースしたら数年、数十年にわたってプレイし続けられるようなゲームを作る側って、本当にすごいなという感覚があります。さらにプレイヤーはゲームの外側、つまりTwitterやYouTubeの上で、ライブでゲームを楽しんでいくのです。
メタバースの時代においても、パッケージ販売の非オンラインゲームにおいて、コンピュータの中での体験がライブで更新されていくという興奮、わかりますでしょうか？

なお前作BotWは最終的に30分ぐらいでクリアできる人が世界記録達成。


「自然を人間が作り出す」という自然と不自然と"庭師の仕事"

落合陽一は2019年には「自然と計算機の境界が溶けていく」と言っていました。この境界は生成AIの一般化によってより明確に溶けていきます。

▼自然と計算機の境界が溶けていく未来に思いを巡らせる　日本科学未来館に落合陽一氏総合監修の新常設展示がオープン

https://www.asahi.com/and/article/20191204/7900625/

生成AIは「ランダムで生成しました」と何ら変わらない印象になってしまうかもしれない（乱数発生は計算機科学という"自然"だからね）。

例えば最近、こんなゲーム？のようなAI利用3Dワールド生成プラットフォームが発表されたんです。
Lovelace Studio「NyricWorlds」(2023年5月8日)

そのランダム関数と大して変わらない生成AIによる生成物をみて「これでどういうゲームにするのか」なんて発想をしてしまうのは、ゲーム開発者に「遊べる保証ができているおもてなしテーマパークを求める」という発想で、これは間違いなく「昭和生まれのおじさん的発想」ではないかと。

ぼくは昭和生まれの今年50歳になるおじさんゲーマーなので「難しいことを考えないで遊べるおもてなしテーマパーク」も求めているし、一方で息子たちがワイルドにこのコンピュータ上で再現された「世界」で、作られた物理モデルやリアルタイムシミュレーションの中で、空を飛んだり、壁を抜けたりして楽しんでいます（前作BotWはそんなことできないはずなのに、できるバグがある）。それでいいんじゃないでしょうか。
「自分から飛び込んでいくファーストペンギンもふくめて、それが自然だ」
僕はそういうことを教えてくれるゲームのほうが健全だと思います。
（おじさんとしては不親切なゲームは苦手なんですけど…親切すぎても不親切すぎても寝てしまう）

もちろん「NyricWorlds」が人々の砂場、箱庭として機能して欲望やウケ狙いが大量に発生して、その中から尊いUGCが生まれていく…それはわかります。「スーパーマリオメーカー」はすごい。でもその元祖もすごい。それがよくわかっているおじさんゲーマーの今日時点の感想。

人間にしか作れない「遊び」もきちんとある

人間にしか作れない「遊び」もきちんとあります。
正確に言うと、京都の花札屋さんじゃないと作れない遊びというか。

この世界にある（もしかすると数百あるかもしれない）祠の命名なのですが、まるでランダムで生成されたかのようですが、実は違う。
京都の地名から作られています。

なお前作は開発者の名前から作られていることがプレイヤーによって解明されています。

（もちろんGPTなりを使えばこんなリストも作れるのかもしれませんけど）普通の人が、それを作ろうと思ったか。
「遊び心」とそのボリューム感は「さすが京都の花札屋！」と言わざるを得ないとおもいます。
海外版はどうなってるんだろう？日本人でよかったと思う瞬間。

そんなわけでゼルダToKは、
京都が生み出した自然と庭師の仕事を味わうゲーム、という一面があります。

ゲーム開発者的にはガチなAI活用が気になる。

なおゲーム開発者的には以下の3点もめちゃ気になります。

・世界に配置されたゴーレムとモンスターが自動で戦っている
　敵と敵が勝手に戦っていて、プレイヤーがそこに乱入して勝つ…みたいな体験ができます。ティザーを見ているとこの後はプレイヤーと他の登場人物との共闘などもありそうです。こういった自律的に行動するゲームエージェントのAI、特に3D空間での道具を使った格闘はなかなか見どころが多いです。それを美しくとらえるカメラワークなども。スクエニのFFXVなどでも実装されていますが、これは間違いなくAIエージェントの研究対象としては大事な1作であります。

・この世界そのものを作るツールがあるはず
　広大な3Dマップ、は人間が設計したものでしょう、しかしその細部の立体構造や植栽、こんな場所にはこんな生物がいそう…といった「自然さ」は「人間が人力で細かに作り上げた」というよりは、自然な景観や生物の植生を生成する創造神のようなモデルがあって、そこに人間がフィードバックを加えつつ、庭師のように手作業で手入れをした、という印象があります。上述したような「仕掛けを仕掛けと気づかせない自然さ」とか「いいところで雲が出てきてよく見えない」は庭師の職人仕事かもしれません。一方で、制作スタジオ内でアーティストを助力するようなツールはありそうですし、存在しないとこの規模の作品のルックや"作りこみの密度"を一貫して管理するのは難しいでしょう。
それに「祠」を作るツールの存在も気になります。前作BotWのCEDEC2017講演の中でもこのようなツールが存在することは語られており、協力会社さんに提供することであのようなボリュームのある脱出ゲームが大量に制作された背景があります。このようなタイトルで生成AIにこれを助力させないということはなさそう。

・ライブで更新される要素があるようにも思う

前作BotWの開発秘話がたくさん発表されたCEDEC2017を思い起こすと、「プレイヤーがどこを通るのか」をヒートマップにして評価するという技術が紹介されていました。

このようなユーザ評価技術をリリース前のテストプレイで実施しているのが任天堂のすごいところですが、本当はオンラインでフィードバックしていいなら、もっといろんなことできるんだろうな…どうなってるんだろうその辺……。

このへんはCEDEC2024あたりで明かされるのでしょうか。楽しみです。
（未公開情報と推察でいろいろ書くのは今じゃない、また今度にしよう）

それでもプレイする気がない人は、この動画。

▼プロデューサーの青沼英二がプレイする『ゼルダの伝説　ティアーズ オブ ザ キングダム』

ハイラルの大地に降り立ったあたりで、もういちどこの公式動画を見直しましたが『作り手のプロデューサーが、どういう気持ちでこんな初心者みたいなプレイガイドができるんだろう…』という気持ちになってきました。さすがであるね。
（青沼さんがリンクを「リング」と発音しているのはいつも気になるけど）
「木なんで、浮力があって」みたいな内部の実装に関わる話とか、
「私も、動体視力が追い付かないんで…」みたいなおじさんトークもいいな

よく見るとハートが4つでGlideがある。左上のアイコンが消されている？

プレイヤーの進行状況としてはちょうどハイラルの大地に降り立ってからぐらいなんだろうか

まあゲームのネタバレになるような話は、この「ハイラルの大地に降り立つまで」にしておきますし、このゲームのすごさや可能性を感じるには十分でしょう。

まずは買ってプレイしてください。ダウンロード版ならいますぐ遊べますし、パッケージ版なら本棚に飾れます。お子さんが自分のSwitchぶことで遊んで「人生を変える1本」になる可能性も高いと思います。

それにしてもなんでゴールデンウイーク前に出さなかったんだろ…ほかの作品とか流通の都合なんだろうか…それとも早解きさせない対策とかコロナの出戻り配慮？？最大の謎です。

とにかく今は初速でしっかり売れてほしいタイトルです。

以上、ゼルダToKの何がすごいか、メタバースxAI視点で初日を振り返る、でした。

（また続くかもしれない）

Twitterで拝見したおもしろ動画

この記事が気に入ったらサポートをしてみませんか？