shu223

フリーランスiOSエンジニア。エンジニアと人生コミュニティ運営。YouTube・Pod…

shu223

フリーランスiOSエンジニア。エンジニアと人生コミュニティ運営。YouTube・Podcastパーソナリティ。著書「iOS×BLE」「Metal入門」「実践ARKit」「iOSデプス詳解」他。GitHubでさまざまなOSSを公開。
  • www.youtube.com
  • www.youtube.com
  • www.youtube.com

  • 日々の学びメモ

    技術的なメモやサンプルコード、思いついたアイデア、考えたこと、お金の話等々、頭をよぎった諸々を気軽に垂れ流しています。

  • #エンジニア 系記事まとめ

    • 1,056本

    noteに投稿されたエンジニア系の記事のまとめ。コーディングTIPSよりは、考察や意見などを中心に。

  • visionOSの勉強メモ

    visionOSについてドキュメントやWWDCセッションやサンプルを見つつ勉強したことを記事にしていくマガジンです。

  • #WWDC23 の勉強メモ

    WWDC 2023やiOS 17についてセッションやサンプルを見つつ勉強したことを記事にしていくマガジンです。また昨年キャッチアップをお休みしたWWDC22についてもこちらに投稿していきます。 NDAの都合上、Apple Developer Program にご登録している方以外は購読をお控えください。また同じ会社内であっても回し読み（内容の共有）はお控えください。

  • #WWDC21 の勉強メモ

    堤がWWDC 2021およびiOS 15についてセッションやサンプルを見つつ勉強したことを記事にしていくマガジンです。NDAの都合上、Apple Developer Program にご登録している方以外は購読をお控えください。また同じ会社内であっても回し読み（内容の共有）はお控えください。

すべてのマガジンを表示
  • 【エンジニアのための発信講座】#1 発信をはじめ…
    www.youtube.com
  • 【エンジニアのための発信講座】#2 ネタの見つけ…
    www.youtube.com
  • 【エンジニアのための発信講座】#3 発信を習慣化…
    www.youtube.com
  • 固定された記事

フリーランス単価の変遷を公開する

先ほど「フリーランスエンジニアがコード書いて稼げる上限」という記事を書きました。で、その話をするにあたって、自分の今の単価はいくらか、その前はいくらだったのか、みたいな具体的な数字を書くと参考値になるかなと思ったので2013年〜現在の単価の変遷をこちらで公開してみます。「なぜその値段に設定したのか？」という理由つき。 購入者の皆様の声： ※デリケートな内容なので、ご購入いただいた方はここで知った情報は内緒にしておいてくださいね。回し読みもご容赦ください。。

1,500
shu223

    • [visionOS] ARKitで検出した平面を可視化する

      記事末尾に実機で動作するサンプルプロジェクトを添付しています。 公式チュートリアルのコードvisionOSにおけるARKitの平面検出については公式のチュートリアルがある。 こんな感じで、PlaneAnchorのclassificationを「テキストで」可視化するコードが載っている： func updatePlane(_ anchor: PlaneAnchor) { if entityMap[anchor.id] == nil { // Add

      shu223

      • visionOSでARKitで検出したシーンのメッシュを可視化する

        本記事でやりたいこと： visionOSで、ARKitのScene Reconstructionで検出したシーンのメッシュを可視化したい。 方法のひとつとしては、Xcodeの "Visualizations" 機能を使えば、ポチッとチェックを入れるだけで可視化できる。 が、そうではなくて、プログラムからシーンのメッシュを描画するにはどうするか、という話。 記事末尾に実機で動作するサンプルプロジェクトを添付しています。 公式サンプルの実装visionOSにおけるARKi

        shu223

        • [visionOS] RealityKitコンテンツとのインタラクション

          Appleの "Adding 3D content to your app" と題されたドキュメントに、visionOSにおけるコンテンツとのインタラクションの実装方法が解説されている： RealityView内に設置した球体をタップするコードは次のようになる： struct SphereView: View { @State private var scale = false var body: some View { RealityView

          shu223
        • 固定された記事

        フリーランス単価の変遷を公開する

        1,500
        shu223

        • [visionOS] ARKitで検出した平面を可視化する

          shu223

        • visionOSでARKitで検出したシーンのメッシュを可視化する

          shu223

        • [visionOS] RealityKitコンテンツとのインタラクション

          shu223

        マガジン

        マガジンをすべて見る すべて見る
        • 日々の学びメモ
          shu223
          ¥400 / 月
        • #エンジニア 系記事まとめ
          noteマガジン 他
        • visionOSの勉強メモ
          shu223
          ¥500
        • #WWDC23 の勉強メモ
          shu223
          ¥980
        • #WWDC21 の勉強メモ
          shu223
          ¥880
        • フリーランスの収益公開シリーズ全部入りパック
          shu223
          ¥1,280

        記事

        記事をすべて見る すべて見る

          visionOSの "Debug Visualizations" メニューについて

          おそらくXcode 15.1でvisionOS向けに入った機能だと思うのだが（※）、visionOSアプリをRunすると、Xcodeで "Visualizations" なるデバッグメニューが使えるようになる。 デフォルトでは全てチェックが外れている。 この状態でシミュレーターでRunすると次のような表示なのだが、 このVisualizationsメニューの項目すべてにチェックを入れると、次のようになる： ひとつひとつ有効化して、それぞれ何を可視化する機能なのか見てい

          shu223

          visionOSの "Debug Visualizations" メニューについて

          shu223

          非公開となったWWDC17の"What's New in Core Bluetooth"セッションの内容まとめ

          WWDC17のセッション動画は以下で閲覧可能、 ・・・のように一見見えるが、実は既に一部の動画は非公開となっておりもう見ることができない。そのうちのひとつが "What's New in Core Bluetooth" だ。 2023年のいま、2017年のWhat's Newなんてもう必要ないだろう、と思う人もいるかもしれない（おそらくAppleの中の人もそう判断して取り下げたのだろう）。 が、Core Bluetoothのようなニッチなフレームワークにとっては、昔のW

          shu223

          非公開となったWWDC17の"What's New in Core Bluetooth"セッションの内容まとめ

          shu223

          Core ML Stable Diffusionリポジトリを読み解く

          Stable Diffusion の Core ML版が2022年12月に公開され、登場当初は話題になり日本語記事も多く書かれたが、最近はあまり話題になってない（他の生成AIの話題に埋もれている）ように思う。 話題から1年遅れでリポジトリを見てみたところ、いまも粛々と更新されており、ControlNetやSDXLもサポートされていて、かなり面白い。 リポジトリを見て気づいた点を雑多にピックアップして書いてみる。 最近のアップデート2022年12月のv0.1.0以降、5回

          shu223

          Core ML Stable Diffusionリポジトリを読み解く

          shu223

          iOSやvisionOSの最新ドキュメントについてChatGPTに質問したい

          最近になってようやくChatGPTの知識が「2021年9月まで」から「2022年1月まで」にアップデートされたが、これではまだ2023年6月以降に発表されたiOS 17やvisionOSのAPIについての質問はできない。 最新の技術についてもChatGPTに質問しながら作業したいなーと思っていて、そういうケースでは今でも「クエリに関連のあるドキュメントをベクトル検索して、トークン数制限の範囲内でGPTに食わせて質問する」という手法を取るようだったので (※1)、 こういう

          shu223

          iOSやvisionOSの最新ドキュメントについてChatGPTに質問したい

          shu223

          NLEmbedding の revision 一覧

          iOS 17では Natural Processing フレームワークに NLContextualEmbedding というクラスが追加されたが、 同じくEmbeddingを扱うクラスとして、NLEmbedding というクラスがiOS 13のころから存在する。（ちなみに Natural Processing フレームワークはiOS 12で登場） NLContextualEmbedding の登場によって deprecated にはならず、棲み分けたものとして残り続ける。

          shu223

          NLEmbedding の revision 一覧

          shu223

          [iOS 17] NLContextualEmbedding のベクトルを用いて文章検索を行う

          ベクトル化した文章のデータベースから、クエリに近い文章を取り出す、という検索手法がLLM文脈でよく行われる。 これをOpenAIのEmbeddings APIを使ってiOS/Swiftでやってみた、というのがこちらの記事： で、これと同様のことをiOS 17で追加された NLContextualEmbedding を用いてやってみた、というのが本記事。 Natual LanguageはiOS/macOSの標準フレームワークなので、これでうまくいけばOpenAIのAPIを

          shu223

          [iOS 17] NLContextualEmbedding のベクトルを用いて文章検索を行う

          shu223

          iOS 17のObject Capture APIで、「空間」のキャプチャーは可能か？

          AppleのObject Capture APIは、WWDC21でmacOS向けのフォトグラメトリAPIとして発表された。で、その撮影側のAPIがiOS 17で新規追加された。 この機能は明確に「オブジェクト」キャプチャーと謳ってはいるものの、「空間」のフォトグラメトリにもそこそこ使えることがわかった。 ただここで検証したのはあくまでReconstruction / フォトグラメトリ側のAPI。 上の検証では「iOS標準のカメラアプリで、iPhone手持ちで撮影した動画

          shu223

          iOS 17のObject Capture APIで、「空間」のキャプチャーは可能か？

          shu223

          動画からのフォトグラメトリの課題

          iOSDCでiPhone手持ちで撮影した動画からフォトグラメトリする試みについて発表したのだが、 Metashapeを購入してその使い方などを勉強しているうちに、↑でやってた手法にはまだまだ改善すべき点があるなと気付きが色々とあったのでまとめておく。

          shu223

          動画からのフォトグラメトリの課題

          shu223

          Open Interpreterを試してみたメモ

          きっかけはこのツイート。 Open Interpreterがどういうものなのかも、話題になってたことすらも知らなかったが、（AI驚き屋さん情報ではなく）ガチエンジニアの方のツイートなので試してみたくなった。 試した手順も上のツイートそのまんま。 conda create -n hoge python==3.10conda activate hoge で仮想環境を作って、 pip install open-interpreter でインストール、 interpre

          shu223

          Open Interpreterを試してみたメモ

          shu223

          [Core ML] セグメンテーションモデルの比較

          フォトグラメトリ用の空マスクを生成するために、セグメンテーション系のCore MLモデルをいろいろと試したメモ。 こちらのツイート（のスレッドにぶら下がっているツイート）によると、 とのことで、データセットとして ADE20K 、もしくは CityScapes を利用しているセグメンテーションモデルを比較検討してみることにした。 （CityScapesもラベルに "sky" を含んでいたので対象とした） CityScapesのラベル一覧： ADE20Kのラベル一覧：

          shu223

          [Core ML] セグメンテーションモデルの比較

          shu223

          Object CaptureにおけるDetail Levelに関するメモ

          Object Capture における reconstruction フェーズでは、detail level と呼ばれる品質レベルを指定することができる。 それぞれ何がどう違うんだっけ、というのをいろんなドキュメントをまたがって何度も調べてしまうので、WWDC21, WWDC23, APIリファレンスでの言及箇所をまとめる。 PhotogrammetrySessionの登場自体は2021年なので、詳細な説明はWWDC21でなされており、WWDC23ではアップデート部分につ

          shu223

          Object CaptureにおけるDetail Levelに関するメモ

          shu223

          AVPlayerのSwiftUIラッパー

          WWDC23のObject Capture for iOSのサンプル「GuidedCapture」では、次のようにカメラプレビューにオーバーレイするかたちで動画が表示される。 こんな感じでSwiftUI上でUIの中でアニメーション素材のように動画を使う実装はいつかどこかでそのまま使い回せるかもしれないと思ったので、コードスニペットとしてメモを残しておこうかと。（ローカルメモだと存在すら忘れるので記事にしてみる） ポイントとしては、 AVPlayerLooper でループ

          shu223

          AVPlayerのSwiftUIラッパー

          shu223