miokato

Engineer at VIE STYLE, Inc. https://www.vie…

miokato

Engineer at VIE STYLE, Inc. https://www.viestyle.co.jp

  • study room

    • 8本

    siroのスタディ記事などをまとめるマガジン

すべてのマガジンを表示

目と耳で楽しむARアプリケーション

大西景太さんと3D空間に音のオブジェクトを置いて、演奏を楽しむiOSアプリケーションを開発しました。音のオブジェクトは現在9種類あり、それぞれ別の音とアニメーションがついています。置く場所と種類、タイミングの組み合わせで簡単な音楽をつくることができます。 床の置きたい場所をタップすると、音のオブジェクトを置くことができます。置いたオブジェクトをドラッグすると、移動させることができます。置いたオブジェクトを長押しすると、段々とオブジェクトが小さくなって最後に消えます。 置い

miokato

    • UnityでScrollViewを使うメモ

      UnityでScrollViewを追加する方法について調べたが、すぐ忘れそうなのでメモしておく。横スクロールを実装してみたが、縦スクロールでも大体同じ。 UIからScrollViewを選択して追加する。ScrollViewの下にViewPort、Contentが自動で生成されるので、Contentの中にスクロールさせたいImageなどの要素を入れる。 ContentにHorizontalLayoutGroupを追加。各要素の隙間をSpacingで設定する。Contentに

      miokato

      • iOSで顔を検出して感情分析してみる

        映画などで顔を検出、分析して顔の隣にその人のステータスを表示するという描写を見ることがありますが、そういうのをiOSでやれないかなと思って試してみました。 やっていることはVision(カメラで様々なオブジェクトを検出できるフレームワーク)で顔部分を検出して、検出した顔から読み取れる感情をCoreML(iOSで機械学習を扱うフレームワーク)で分類しています。分類するために使ったモデルはこちらのAgeNetとEmotionNetというモデルです。感情は「Anger, Disg

        miokato

        • 魚の群れを3D空間で泳がせる

          以前「机の上で魚の群れを動かす」という記事で床に二次元の魚を泳がせてみましたが、今回は三次元空間で魚の群れを泳がせてみました。タップすると魚が追加されていきます。 一匹、二匹と増えていくに従って他の魚の移動する方向に影響を受けるようになっていきます。見えていませんが直方体上の壁が存在していて、そこに近寄ると逆方向の力を受けるようになっています。 現実に重ね合わせた仮想の空間で仮想のペットを飼うという体験も面白そうな気がしてきました。仮想のペットなので現実の世界に存在する動

          miokato

        目と耳で楽しむARアプリケーション

        miokato

        マガジン

        • study room
          8本

        記事

          ARでサンゴを生成

          ARで3Dモデルを扱う場合、外部のCGソフトウェアでモデリングした3Dデータをもってくるか、元々用意されている基本的な3Dデータを用いることが多いです。そこで今回はプログラムで3Dモデルを自動生成してサンゴのような構造体を出現させてみました。 今回3Dモデルを自動生成するために使用したアルゴリズムはL-systemといいます。シンプルなルールを記述して、自己相似するフラクタル図形や樹木のような自然物などいろいろな形状を作成することができます。 例えばこのようなシェルビンス

          miokato

          ARでサンゴを生成

          miokato

          魚の群れを机の上で泳がせる

          ARでBoidというアルゴリズムを試してみたくて、魚の群れが机の上で泳ぐアプリを作ってみました。 Boidは近隣の個体から影響を受けて、自分の速度と方向を決めるアルゴリズムです。それぞれの個体は「近隣の個体とぶつからないようにする」、「近隣の個体の速度と方向に合わせる」、「近隣の個体の群れの中心方向へ移動する」という三つのシンプルな法則で動くのですが、数が増えると魚や鳥、昆虫の群れのような動きを見せます。 指で画面をタップすると、タップした位置に魚が出現するように実装して

          miokato

          魚の群れを机の上で泳がせる

          miokato

          人を検出してモザイクをかける

          最近のiPhoneやiPadには現実の世界に仮想のオブジェクトを配置することができるARの機能がついてます。このARの機能の中に人を検出する機能があります。この機能の基本的な使い方は、現実の空間に置いた仮想のオブジェクトより人が手前にきた時に、仮想のオブジェクトを隠す(オクルージョン)ことですが、これを利用すると人の部分だけ画像処理を行うことができます。 検出した人にモザイクをかけるとこのような表現になります。 町を歩きながら撮影すると、このような感じになります。 ブラ

          miokato

          人を検出してモザイクをかける

          miokato

          声をARでカタチにしてみる

          LiDAR付きiPadを使ってみて、その認識速度の速さに驚きました。下の動画のように2m先くらいまでどんどん壁や床を認識してメッシュを貼っていきます。 LiDARが検知した仮想の床や壁は、当たり判定があるので、ボールのオブジェクトを作成して投げるとぶつかって落ちます。これを使って何かできないかなと考えていて、声を形にして壁にぶつかったら落ちるサンプルを作ってみました。中心の木や地面は認識されているので、文字がぶつかるとバラバラになって、地面に転がります。ARのフレームワーク

          miokato

          声をARでカタチにしてみる

          miokato

          AR x IoT で遊んでみる

          最近ARがとっても楽しい。現実の空間に仮想のオブジェクトを置いていろいろ遊べるのは、空想と現実の垣根が取り払われたように感じる。そこにIoT的なガジェットを組み合わせるともっと面白いんじゃないかと思って試してみた。 やってみたことはボリューム(可変抵抗)を回すと、AR空間上のオブジェクトが回転するというもの。通信にはOSCを利用。以下のような手順で作ってみた。 1. ボリュームの値を送信 2. ボリュームの値を受信 3. ボリュームの値でARオブジェクトを回転 1. ボリ

          miokato

          AR x IoT で遊んでみる

          miokato