記事一覧
NVIDIA Jetson AGX Orin Developer Kitで画像分析が可能なLLMのLLaVA1.5-13bを実装する方法
最終更新日:2024年3月11日
LLaVA(ラバ)とはLLaVA(ラバ)は、マルチモーダルなビジョン/言語モデルで、画像と言語の情報を組み合わせて処理することができる人気のあるモデルです。以下に、LLaVAの主な特徴をわかりやすく説明します。
ちなみに、マルチモーダルとは、異なる種類の情報(LLaVAでは画像と言語)をまとめて扱うAIのことです。
LLaVAは画像と言語の双方の情報を取り入
STM32F3シリーズのbxCANについてポイントをまとめます。
最終更新日:2024年3月18日
bxCAN大丈夫?今日の CAN アプリケーションでは、ネットワークのノード数が増加し、複数のネットワークがゲー トウェイを介してリンクされることもあります。一般に、システム内の(そして各ノードが扱う)メッ セージ数は大幅に増加しています。アプリケーションメッセージに加えて、ネットワーク管理や診断 のメッセージも導入されています。
このような背景を理解している
NVIDIA Jetson AGX Orin Developer KitでVOICEVOXを使用してText-to-Speech(TTS)を動作させる方法
最終更新日:2023年11月17日
VOICEVOXは無料で使える中品質なテキスト読み上げソフトウェア。商用・非商用問わず無料で、誰でも簡単にお使いいただけます。と紹介されていたので、NVIDIA Jetson AGX Orin Developer Kit(以降Jetson Orin)で試してみました。かなり苦労したので記事に残します。
本記事では、Jetson Orinを使用し、Docker
Visual Studio CodeにRicty Diminishedフォントを導入する方法
ググった通りに実行しても導入ができなかったので、備忘録として記録します。
フォントをダウンロードするため、以下のWebページを開きます。
Download ZIPからフォントをダウンロードします。
ダウンロードしたファイルを展開します。
コントロールパネルを開きます。
フォントをクリックします。
先ほど、解凍したフォルダの中にRictyDiminished-Regular.ttfがある
Hugging FaceのTransformersライブラリをNVIDIA Jetson AGX Orin Developer KitでGPUを使用して動作させる方法(2023年10月時点)
最終更新日:2023年10月23日
Hugging FaceのTransformersライブラリをNVIDIA Jetson AGX Orin Developer Kit (以降Jetson Orin)で動作確認できたので方法を記事に残します。本記事では、Jetson Orin + JetPack5.1.1の組合せで動作確認をしていますが、JetPackに合わせたDockerイメージを使用すれば
Jetson AGX Orin Dev KitのPower modeに自分のカスタム設定を追加する方法
最終更新日:2023年9月13日
※ NVIDIAのロゴはガイダンスに則り使用しています。
Power modeとはJetson AGX Orin Dev KitはPower modeとして、0(MAXN), 1(MODE 15W), 2(MODE 30W), 3(MODE 50W)が用意されており、 デフォルトはPower mode=2(MODE 30W)となっています。
Power mod
音声認識WhisperをNVIDIA Jetson AGX Orin Developer KitでNGCからL4T-PyTorchを入手し、動作させる方法(2023年9月時点)
最終更新日:2023年10月13日
※ NVIDIAのロゴはガイダンスに則り使用しています。
※ Whisperのバージョンは20230918を使用した説明となります。
OpenAIが文字起こしサービスとして公開した無料の音声認識モデルであるWhisperをNVIDIA Jetson AGX Orin Developer Kit (以降Jetson Orin)で動作確認できたので方法を記事に残し
ついにGoogleの最新版のmediapipe 0.10.3からaarch64に対応したので、Raspberry Pi4でUSBカメラからの映像をObject detectionを使用して動作させてみました。(2023年10月)
最終更新日:2023年10月12日
※ 2023年10月10日にリリースのmediapipe 0.10.7で動作確認済み
2023年8月2日にmediapipe 0.10.3がリリースされました。このバージョンからaarch64に対応したwhlファイルが含まれています。試しにRaspberry Pi4で動作確認を行います。
mediapipeのリポジトリを確認したところ、aarch64のwh
WhisperをRaspberry Pi 4で、DockerコンテナからPyAudioとWhisperを使用してUSBマイクからの音声入力の文字起こしをおこなう方法(2024年2月時点)
最終更新日:2024年2月14日
※ Whisperの最新バージョンで試してみました。
Whisper version: 20231117
PyAudio version: 0.2.14
torch version: 1.13.1
この記事では、Raspberry Pi 4にUSBマイクを接続して、音声を入力し、その入力した音声をWhisperに入力して文字起こしをおこなう方法を説明します。
YOLOv8のトラッキングや物体検知をNVIDIA Jetson AGX Orin Developer KitでNGCからL4T-PyTorchを入手し、動作させる方法(2024年3月時点)
最終更新日:2024年3月13日
※ ultralyticsのバージョン8.1.13から8.1.26にアップデートして本記事を見直しました。(特に何も変えずに動作しました)
※ 物体検知でリアルタイムに描画できるサンプルコードを追記しました。
YOLOv8のトラッキングをNVIDIA Jetson AGX Orin Developer Kit (以降Jetson Orin)で動作確認できたので方
YOLOv8の情報(自分用)
YOLOv8ドキュメントサイトYOLOv8 GitHubYOLOv8推論結果内容PyTochサポートバージョンPyTorch 1.7以上をサポート、2.0.0以上もサポートしている。
推論結果のBounding Boxへのアクセス方法OpenCVを使用して自分でBounding Boxを描画する場合は、model関数のパラメータのshowをFalseにします。resultsには検出した物体のBo
Raspberry Pi 4でDockerコンテナからGoogleのMediaPipe v0.9.3.0のObject Detectionで物体検知をおこなう方法(2023年5月時点)
最終更新日:2023年5月30日
本記事では、Raspberry Pi 4を使用して、Dockerコンテナ上でGoogleのMediaPipe v0.9.3.0をインストールし、Raspberry Pi 4に接続したUSBカメラの映像をObject Detectionを使用して物体検知をおこなう方法を説明します。
本記事は以下の前回の記事からの続きとなります。
環境本記事を参考に、Media
Keil μVisionでマイコンのタイマリソースを使用してリアルタイムに時間を測定する方法
最終更新日:2023年5月11日
ARMマイコンにはタイマリソースが複数チャンネル搭載されています。タイマリソースをすべて使い切るような使い方はあまりないと思います。
未使用のタイマリソースを利用して、プログラムの処理時間を測定する方法を説明します。
未使用のタイマリソースはフリーランで起動しておくだけのため、ソフトウェアの負荷には影響がありません。
本記事ではSTマイクロエレクトロニクス社