![見出し画像](https://assets.st-note.com/production/uploads/images/126140480/rectangle_large_type_2_d70597683260957adac9611b5acd13b4.png?width=1200)
2023年 制作物まとめ
どうも、YORIMIYAです。
2023年もそろそろ終わる!?ので今年の活動や作ったxR系のコンテンツなどなどを1月から12月まで順にまとめますー!(割と自分用)(今年も早かった…)
忙しい方向けにピックアップして30秒動画にしました~
①UnityのCinemachineテスト
UnityのCinemachineてすと。#untiy3D pic.twitter.com/PcHzV7vMvw
— YORIMIYA (@jav6868) January 6, 2023
2023/01/06 UnityのCinemachineを使用してカメラワークのテストつくってみた
カメラ見やすいようにしてみた。
— YORIMIYA (@jav6868) January 6, 2023
一本のタイムライン上で制御していて動画の切り貼りはしていませぬ。あとTimeScaleの制御×VRMspring boneの揺れ具合の調整かなり鬼門だった。Recorderとの相性がよくない笑
この制御の仕方あっているのかはたして。教えてくれ笑 pic.twitter.com/kBvjAccufl
②NeRFテスト
食わせた!だいぶ適当に撮ったのにNeRF精度高くてびっくり#LumaAI #NeRF #ホロライブ https://t.co/FjqnLN3vcp pic.twitter.com/8684QuZr7f
— YORIMIYA (@jav6868) January 15, 2023
2023/01/15 NeRF(Neural Radiance Fields)を使用して秋葉原アニメイトに展示してあった等身大の兎田ぺこら氏を3D空間記録してみた。LumaAI使用
③「ParticleLiVE"FACE"」をVIVE XR Elite"MRデモコンテンツとして提供
HTCさんの新製品"VIVE XR Elite"のMRデモコンテンツとして「ParticleLiVE"FACE"」を提供しました~!(STYLYで公開したもの)
— YORIMIYA (@jav6868) February 7, 2023
MoguLiveさんにも取り上げていただいてます!!!嬉しス #VIVE #STYLY #パーティクルライブ https://t.co/t47Wk7fNMf pic.twitter.com/9YeXmUlSix
2023/02/07 STYLYにて公開していたMRパーティクルライブ「ParticleLiVE"FACE"」がHTC公式イベントにてデモコンテンツとして採用。
こういう形で見えます
VIVE XR Elite持っている人”STYLY”インストールして【ParticleLiVE"FACE"】ぜひ体験してほしいワ。まだ世に全く存在してないHMD型のMRミュージックビデオ/ライブ。
— YORIMIYA (@jav6868) April 22, 2023
インストール方法↓#VIVEXRElite #STYLY #パーティクルライブ pic.twitter.com/klhngDvdCl
⑤【The パーティクルライブの歴史】公開
2018年〜2023年現在までの”パーティクルライブ”に関する情報を時系列でまとめた【The パーティクルライブの歴史】を書きました!!!!!
— YORIMIYA (@jav6868) February 12, 2023
忘れないうちに!!https://t.co/LOYHq2pAYg#パーティクルライブ #VRChat pic.twitter.com/K27VRDuMDz
2023/02/12 パーティクルライブの歴史を2018~時系列にまとめたnoteを公開。こちら
⑥ChatGPTとHololens2を使用したAIアシスタント作ってみた
ChatGPT AIアシスタントをARデバイス(HoloLens)で召喚。
— YORIMIYA (@jav6868) March 4, 2023
SAOのユイ再現できそう!!!#ChatGPT pic.twitter.com/77BTwM5wBb
2023/03/04 ChatGPTのAPIが公開されて数日後、MRデバイスのHololens2と3Dキャラクターを組み合わせてAIアシスタント作ってみた。返答を生成する時間が課題だったが、演出として活用する実験も兼ねてます
⑦ChatGPTとLookingGlassを組み合わせて卓上AIアシスタント作ってみた
ChatGPT × LookingGlassでタメ口&人をバカにしてくる理想のAIアシスタントできたwww#ChatGPT #LookingGlass pic.twitter.com/6Hn19l8iOn
— YORIMIYA (@jav6868) March 26, 2023
2023/03/26 ChatGPTのAPIと裸眼立体視ディスプレイを使用して【タメ口でユーザーを馬鹿にしてくるAIアシスタント】を作ってみた。プロンプトをかなり考えて制作しています。
屋外へ持ち出せます。
会社でChatGPT AIアシスタントのデモ持ってったワ。他人に対しても塩対応で草#ChatGPT #lookingglass pic.twitter.com/e8RrmeE8YE
— YORIMIYA (@jav6868) April 11, 2023
⑧UnityAssetStoreへ出品
やっとUnity Asset Storeの申請おりた〜!!!!!!
— YORIMIYA (@jav6868) April 28, 2023
SCI-FIな表現をしたいときに使えるParticleSystemを使ったUI風表現アセットですー。
ゲーム&アプリ開発者向けにUnityライセンスで欲しい方が多そうだったので進出。今まで通りVRChatやcluster等でも自由に使えますわ。いろいろどうぞ… pic.twitter.com/agElT7GKWN
2023/04/28 UnityのAssetStoreへParticleSystemを出品してみた。めーーーちゃ大変だった。Asseto作るよりも税務関係の書類やPaypalアカウント周りの設定が何倍も時間かかった
⑨物理フィギュアをNeRF/動かしてみた
検証した。Sony α7Ⅳ+ FE 24mm F1.4 GMで撮影。
— YORIMIYA (@jav6868) June 11, 2023
順に、
①F値上げてISO高め
②F値標準、ISO低め
③S-Log
④それぞれのMesh
結論は①のF値上げて合わせてISO上げた方がよさそう(それはそう)
動画だと①②あんまり変わらないような見えるけどobj落とすと結構違う。… https://t.co/q5Acq5ccIN pic.twitter.com/mZwqNzLA76
2023/06/11 LumaAIを用いて私物のフィギュアをNeRFしてみた。検証を兼ねていろいろ試しました
そしてそのデータにBoneいれて動かしてみた↓ (LookingGlass,SonyELF-SR1,XRealLightで表示)
3Dスキャンしたフィギュアを動かすことに成功した! pic.twitter.com/SkzXFRVPkK
— YORIMIYA (@jav6868) June 12, 2023
LookingGlassで出してみた。コレクションしたい。#LookingGlass pic.twitter.com/sANxRkcYXc
— YORIMIYA (@jav6868) June 12, 2023
LumaAIでキャプチャしたフィギュアNeRF (Luma Field file)をSony ELF-SR1で表示。Meshじゃないよ。ボリュームレンダリング。
— YORIMIYA (@jav6868) June 16, 2023
実在感が異次元でとてもすごい!!!(全く伝わらないやつ)#UE5 #Luma #NeRF pic.twitter.com/e7Sin97Fs7
NrealLightで表示。デバイスによって特性が異なるけど基本的にフィギュアの質感は保たれている印象。デジタルだと簡単に等身大で出せるのはかなりメリット#XREAL pic.twitter.com/waaGMEaTsn
— YORIMIYA (@jav6868) June 21, 2023
⑩株式会社ホビージャパン様より物理フィギュア提供
こちら【株式会社ホビージャパン様】より物理フィギュアの提供いただけました!!!!😀
— YORIMIYA (@jav6868) June 22, 2023
今後のあらゆる"XRデジタルフィギュア"関連のベンチマークになるようなコンテンツ案があるのでその実験しつついろいろ試させていただきます!
ご提供ありがとうございます!#ホビージャパン #3Dスキャン https://t.co/7IQovEbxn9 pic.twitter.com/ZQ9kwAvTbY
2023/06/22 フィギュアの3Dスキャンを本格的に始動するためにフィギュアの提供してくださる個人/法人様を募集したところホビージャパン様より提供いただきました。
検証結果は下記へ
ご提供頂いたフィギュアたちを3Dスキャンしてみた~!!めちゃめちゃ非常に満足の行く精度が出ててうれしい#LumaAI #NeRF #ホビージャパン pic.twitter.com/kziryRmHkv
— YORIMIYA (@jav6868) June 24, 2023
⑪春日部つむぎちゃんAIアシスタントの開発
春日部つむぎちゃんをデスク上に設置した。ギャル感よい。
— YORIMIYA (@jav6868) June 26, 2023
いつでもあーしとおしゃべりできるね#春日部つむぎ #VOICEVOX #ChatGPT pic.twitter.com/tg3q6LAC4F
2023/06/26 ChatGPT✖春日部つむぎちゃんで卓上AIアシスタント作ってみた。(春日部つむぎちゃん公式より3Dデータを借りています)
後日、展示してきた
AIキャラクターオフ会にて「春日部つむぎちゃんAIアシスタント」展示してきた!
— YORIMIYA (@jav6868) August 13, 2023
みんなとお話しできてつむぎちゃんも大変満足でしょう!機会があればパワーアップさせてまた展示したい💪🏻
VOICEVOX:春日部つむぎ#春日部つむぎ #VOICEVOX #LookingGlass pic.twitter.com/nwQWRVPfeI
⑫青木アリス氏のデジタルフィギュアボックス制作
Gateboxさんのブースでデジタルフィギュアボックス見てきた~!技術協力した青木アリス氏含め他の子たちもすごくよかった😀(デモ作りたい) pic.twitter.com/GI1I5H1XD8
— YORIMIYA (@jav6868) June 28, 2023
2023/06/28 第1回 メタバース総合展にてGateboxブースに展示する青木アリス氏のデジタルフィギュアボックスコンテンツを制作
明日から展示するNYAVATAR青木アリスちゃん@NYAVATAR_JPV のデジタルフィギュアボックスでは、
— 武地 実 @Gatebox 12月 逢妻ヒカリV2配信&デジタルフィギュアボックス発送 (@takechi0209) June 27, 2023
YORIMIYAさん@jav6868 が開発してるフローティングデジタルフィギュアの技術で、フィギュアがふわふわ浮いてるような体験を楽しむことができます!
これずっと見てられる…!
うちの子もお願いしたい… pic.twitter.com/2805jrWkQb
⑬ホロアースで行われたヤマトファンタジアにて空間演出周り担当
【制作報告】
— YORIMIYA (@jav6868) July 15, 2023
ホロアースで行われたヤマトファンタジアにて空間演出周り担当しました!とても楽しかった〜! #ヤマトファンタジア #ホロアース pic.twitter.com/h7ZrON2X5N
2023/07/15 ホロアースで行われたヤマトファンタジアにてVFX空間演出周り制作担当しました。めっちゃ楽しかった
⑭3Dスキャンしたフィギュアの新しい見せ方の検証
フィギュアの空箱にデジタルフィギュア表示してるテスト。
— YORIMIYA (@jav6868) July 20, 2023
ちゃんと中に"存在"してる。かなりいい感じ#XRデジタルフィギュア #ホビージャパン pic.twitter.com/1u2vgwWUfk
2023/07/20 ホビージャパン様より提供いただいたフィギュアとその空箱を活用して【3Dスキャンしたデジタルフィギュアが空箱の中に存在しているような見せ方】を開拓してました
⑮熊野ふぁい氏の3D化お手伝い
3D化のお手伝いをチョロっとしました~!わいわい!
— YORIMIYA (@jav6868) July 29, 2023
改めておめでとうございます~✨#熊野ふぁい3Dお披露目 https://t.co/sWPrqxNCZi pic.twitter.com/BXaFZzsrOr
2023/07/29 Vtuber"熊野ふぁい"氏の3D化のお手伝いしてました。主に相談役的なポジションでした。改めて3D化おめでとー!!
⑯Vtuberおさんぽシステム作ってみた
みて、【Vtuberおさんぽシステム】できた。
— YORIMIYA (@jav6868) August 15, 2023
これをスタッフの首からかけてもらってタレントは家からDiscord通話。ユーザーはディスプレイ越しにコミュニケーション取れるしタレントはカメラ越しに外の世界見れる。結構よさそう#Vtuber pic.twitter.com/ZvnffhTZaF
2023/08/15 Galaxy Z Flip5のサブディスプレイを使用してVtuberを屋外へ連れ出して相互にコミュニケーションする体験を作ってみた。だれかやらないかい
⑰NYAVATAR バーチャルライブ制作
本日は『NYAVATAR TV』第5回目をご覧頂きありがとうございます!🥳 Layla(@Layla_LAG )さん、なぎさちゃん(@AIdol_Nagisa)もありがとうございました!🥰
— NYAVATAR | -AI VTuber / AITuber- (@NYAVATAR_JPV) August 26, 2023
※アーカイブはこちらhttps://t.co/Vy2HPA98Qq
バラエティコーナーの大喜利、そして本日初披露のLIVEZONEはいかがでしたか・・・?🤔… pic.twitter.com/jUzpz3XvdH
2023/08/27 AI VTuber『NYAVATAR』さんのバーチャルライブを制作。
⑱Vtuberアクリルスタンド✖ARコンテンツ
アクリルスタンドとAR組み合わせて【モーション付き3Dモデルをアクスタにオーバーレイするコンテンツ】作ってみた。
— YORIMIYA (@jav6868) September 4, 2023
指でスマホ画面スライドすると物理/バーチャルが切り替わる#AR #STYLY pic.twitter.com/UCmh6aERyw
2023/09/04 アクリルスタンドとスマホARを組み合わせて、3Dモデルがアクリルスタンド上にオーバーレイされるコンテンツ作ってみた。
こういうことですね。インタラクティブな要素あると一気に楽しくなるね😀 pic.twitter.com/OZX48Ju2fJ
— YORIMIYA (@jav6868) September 4, 2023
⑲動くデジタルフィギュアカード作ってみた
みて、”動く”デジタルフィギュアカード作ってみた。
— YORIMIYA (@jav6868) September 8, 2023
ソシャゲガチャ風の春日部つむぎちゃん。裏返すとちゃんと後ろ姿見える。#春日部つむぎ pic.twitter.com/j5kDqBJ8PR
"動く"デジタルフィギュアカード。初音ミクver
— YORIMIYA (@jav6868) September 8, 2023
かわよ!!!#初音ミク #miku16th pic.twitter.com/ANuNeSmqfX
2023/09/08 今年で一番バズった。フレキシブルOLEDディスプレイを2枚使用して動くデジタルフィギュアカードを作ってみた。未来のデジタルコンテンツはこういう方向に向かうかも?!
いろんなメディアさんに取材してもらいました↓↓
①次世代のトレーディングカード?動くデジタルフィギュアカードがすごすぎた (おたくま経済新聞)
②神人自製「會動的」ACG人物卡,未來打牌每張都超炫炮? (海外のメディア 台湾Yahoo)
③「すごすぎる」「どういう仕組み!?」初音ミクの“動く”デジタルカードがまるでSF映画の世界。実現のポイントを作者に聞いた
⑳デジタルフィギュアボックス公式コンテンツ制作
こちらはホログラムのようにふわふわ浮いている表現を試みたコンテンツ。
— 武地 実 @Gatebox 12月 逢妻ヒカリV2配信&デジタルフィギュアボックス発送 (@takechi0209) September 23, 2023
箱のデザインともマッチして未来感ある展示になってます✨
こちらもxRクリエイターのYORIMIYAさん(@jav6868 )に作成いただきました!#TGS2023#デジタルフィギュアボックス pic.twitter.com/bxU0JgUi48
2023/09/23 Gateboxさんのデジタルフィギュアボックスのコンテンツを開発。TOKYO GAME SHOW 2023にて展示。
㉑3D Gaussian Splattingを活用してフィギュアをデジタル化してみた
2023/10/02 3D Gaussian Splattingという最新の空間記録手法を使用しフィギュアの記録を試してみた(元ポスト)
それを裸眼立体視ディスプレイのLookingGlassで表示してみた (元Post)
㉒春日部つむぎちゃんAIアシスタントをスマホにいれてみた
![](https://assets.st-note.com/img/1703937313171-7ue45aSziB.png?width=1200)
2023/10/21 Vtuberおさんぽシステムを活用してChatGPT✖3Dモデル✖VOICEVOXを使用してAIアシスタントのAndroidアプリを作ってみた
㉓投球モーション映像
2023/11/04 MyDearestモーキャプスタジオで撮影した投球モーションを使用してUnityでレンダリングしてみた。元Post
㉔春日部つむぎちゃんお誕生日カード作ってみた
春日部つむぎちゃんのお誕生日ということで”動く”バースデーカード作ってみた〜!おめでとうー🎉🎉🎉
— YORIMIYA (@jav6868) November 14, 2023
ニコニコ動画もよれれば↓↓#春日部つむぎ誕生祭2023 #春日部つむぎ pic.twitter.com/J2PNzqb0N7
2023/11/14 動くデジタルフィギュアカードを活用して春日部つむぎちゃんのバースデーカードを作ってみた。お誕生日おめでとー!!(いつもありがとう)
㉕かっこいいカメラワークまねしてみた
めっちゃカッコよかったので見様見真似でやってみました〜!とても勉強になりました! https://t.co/HegINU3sBL pic.twitter.com/IycvRZjOmX
— YORIMIYA (@jav6868) November 16, 2023
2023/11/16 Lee氏のモーションとカメラワークかっこよかったのでマネしてみた。結構大変だった。
㉖AppleVisionPro向けのデモコンテンツ作ってみた
Apple VisionProシミュレータでMRオーディオビジュアライザー的なものテスト実装してみた。
— YORIMIYA (@jav6868) November 19, 2023
Unity PolySpatialで使えるモノ限られているのでこのぐらいのコンテンツでも大変な印象でした#VisionPro pic.twitter.com/SfksekqAFs
2023/11/19 AppleVisionPro向けのUnitySDKが公開されたので軽く触ってみた。空間オーディオビジュアライザー。
時計も作ってみた。早く発売してくれVisionPro
物理演算動かしてみた。Colliderの当たり判定とRigidbody、イベント判定も問題なく動いていますね。
— YORIMIYA (@jav6868) November 24, 2023
いろいろできそう#VisionPro #PolySpatial #Unity https://t.co/CIF7iPOtUY pic.twitter.com/ebn7ScujfM
㉗LookingGlass GoのプロトタイプDevをお借り
実はですねLookingGlassGOのプロトタイプ版を@GOROman さんよりお借りしてまして一足先に触ってます👌
— YORIMIYA (@jav6868) December 5, 2023
まだ日本に”2台”しかないみたい!!めっちゃ小さいしどこでも持ち運べる〜#LookingGlass #LookingGlassGO pic.twitter.com/Iupub0iTKw
2023/12/05 GOROman氏よりLookingGlassGoのプロトタイプ版をお借りしてコンテンツ作ってます。軽くてめっちゃよい。
㉘『進撃の巨人 バーチャルイベント』のエフェクト周り制作担当
こちら『進撃の巨人 バーチャルイベント』のエフェクト周り一部制作担当しました👌#進撃打ち上げ#AOTParty https://t.co/Z5jfpYLDE0
— YORIMIYA (@jav6868) December 6, 2023
2023/12/06 『進撃の巨人 バーチャルイベント』のVFX周りを一部担当。
㉙LookingGlassGoとChatGPT APIを使用したAIアシスタントの開発
Looking Glass GoとChatGPTを組み合わせて【オレオレ卓上AIアシスタント】作ってみた〜!返答用ボイスはVOICEVOX:小夜/SAYO使用してます!
— YORIMIYA (@jav6868) December 7, 2023
Portraitと比べ小さくなった&ケーブル1本で繋がるのでデスク上に設置するのとても楽になった#LookingGlass #LookingGlassGo #ChatGPT #VOICEVOX pic.twitter.com/GYRSWi3NOW
2023/12/07 LookingGlassGoとChatGPT AIアシスタントを組み合わせてみた。公式サービスでGPTと組み合わせることができるみたいですが、独自で実装してます。
㉚Vtuber裸眼立体視おしゃべりシステム
Vtuber裸眼立体視おしゃべりシステム#LookingGlassGo #Vtuber pic.twitter.com/kifSOnqbmz
— YORIMIYA (@jav6868) December 13, 2023
2023/12/13 LookingGlassGoとDJI RS3を使用して遠隔おしゃべりシステム作ってみた。タレントさんの向いた方向に物理的にカメラが動くので『ここを見ている』というフィードバックが簡単にできるのが特徴。
㉛GPD win mini×LookingGlassGO
動いたね。しかもバッテリー駆動。このサイズ感でUnity動いてるの違和感しかないw#LookingGlassGo #gpd pic.twitter.com/TrrO62QezU
— YORIMIYA (@jav6868) December 16, 2023
2023/12/16 GPD win miniとLookingGlassGOを組み合わせてみた。このクラスのスペックでは最小のWindowsPCなのでいろいろ活用できそうです。
㉜『OKIVFES SOUND WAVE 2023』にてピーナッツくんの楽曲演出担当
【制作報告】
— YORIMIYA (@jav6868) December 23, 2023
VRChatで行われた『OKIVFES SOUND WAVE 2023』にてピーナッツくんの楽曲演出担当しました~!
楽しかった~😁#OKIVFES pic.twitter.com/5swQOhI53D
2023/12/23 VRChatで行われた『OKIVFES SOUND WAVE 2023』にてVFX Artistとしてピーナッツくんの楽曲演出を担当しました。めっちゃ楽しかった!!
まとめ
2022年以上にいろんな方々と制作や開発ができました!!
XRやVtuberだけでなく、AIアシスタントの開発や3D Gaussian Splattingなどの三次元空間記録やってみたりいろんなデバイスを活用してコンテンツ作ってみたり。
特にフレキシブルOLEDディスプレイを活用したコンテンツに関しては非常に大きな反響をいただいき大変うれしく思います。中身のコンテンツはまだまだ作りますでのこれからもよろしくです~
今年もありがとうございました!来年もよろしくおねがいします~!
この記事が気に入ったらサポートをしてみませんか?