つぶやくカメラ「エッジＬＬＭカメラ」のデモを作ってもらった ブログ投稿No.6
こんにちは。ダルマBです👺
事の発端は、上司から「ＡＩで世の中の課題を解決できないの？」と言われたことでした。例えば、学校のプールが溢れる前に通知したり、熊が町中に出没したら住民に通知とかＡＩで解決できないのか？
とりあえず、学校のプールや熊の写真をchatGPT君に見せたところ、状況をしっかり説明できることに感動。
ということで、管理職権限を行使して、ロックチップ社の商品を扱っている部下たちに、カメラ＋ＳＢＣ（ラズパイみたいなモノ）のハードにＬＬＭ
(大規模言語モデル)を実装した「エッジＬＬＭカメラ」のデモを作って
もらっています（現在進行形）
１．「エッジＬＬＭカメラ」の構成は、以下の通り
２．「エッジＬＬＭカメラ」のデモ
指示してから、１ヶ月経過したので、デモ開発の進捗を確認した結果
ＬＬＭをONNX形式に変換して、RK3588のNPU(AI処理用プロセッサ)へ
実装するには、もう少し時間が欲しいとの事。
正直、部下の説明を理解しきれてないけど、、、、
とにかく、CPUに実装したデモはできた。という事なので、とりあえず
デモをみせてもらいました
・デモの様子は以下の通り
①タッチパネル付液晶の「質問ボタン」から質問を選択する
→ 質問：画像に写ってる人物は何をしてる？
②「キャプチャボタン」を押すと、右側にキャプチャした画像が表示される
→ パソコン前の部下をキャプチャしてみました
③ キャプチャした画像の状況の回答が表示される
→ 回答：画像には、一人の男性がパソコンを操作している様子が描かれ
ています。彼は白いシャツを着ていて、手元にペンを持ってお
り画面前で何かを見ているように見えます。背景には建物や
ガラス張りの部分があります
３．感想
カメラ＋ＳＢＣの構成でキャプチャした画像の状況をＬＬＭに言語化して
もらえる事は証明出来た。
今回のデモは、写真をキャプチャしてから回答が表示されるまで約２０秒
かかっている。CPUではなく、NPUにＬＬＭを実装したら、これが劇的に
短くなるだろうとの報告を受けたので、NPUにＬＬＭを実装したデモに期
待。1ヶ月以内には完成するかな？
今回の「エッジLLMカメラ」を使えば、カメラで撮影した状況を文字で
教えてくれるカメラを用意できる事が分かったので、「つぶやくカメラ」
で、以下２つに関しては上司にＡＩで解決できますと報告できそうかな
案① プールの水が溢れていないか？ ”つぶやく”
案② 町中に熊が徘徊していないか ”つぶやく”
GPT君に聞いた結果は以下の通り
案③ 高齢者の見守り：室内の異常検知、家事事故の防止
案④ 子どもの安全確認：通学時の見守り、塾や習い事の出欠管理
案⑤ 近隣トラブルの解決：ゴミ出しの監視、駐車場の無断駐車監視
案⑥ 混雑緩和と効率的な利用：公共施設、交通機関の混雑情報
案⑦ 地域ごとの天気情報提供：空模様のリアルタイム通知
案⑧ 交通機関の運行管理：道路状況通知
案⑨ 災害対策：川の増水や土砂災害の監視
本当にＬＬＭでどこまで”つぶやく”ことが出来るか次第だけど
色々と試していきます。１０月中には最新状況を更新予定 （続く）
この記事が気に入ったらサポートをしてみませんか？