はまち

DXとかいうナウい言葉とは無縁の養殖魚。AIを中心に新しい技術をちょっとづつ試食してい…

はまち

DXとかいうナウい言葉とは無縁の養殖魚。AIを中心に新しい技術をちょっとづつ試食しています。

  • AIもろもろ

  • 大規模言語モデル（LLM）

  • LLMの活用

  • 論文を読む

    気になった論文などを読んでまとめ

  • LangChain

    LangChain関係の記事まとめ

すべてのマガジンを表示

Japan Automotive AI Challenge 2024：レース場の座標情報を確認してみる

2024年7月2日から予選が始まっている、Japan Automotive AI Challenge 2024に参加してAutoware/ROS2の学習を進めています。 コンペで用いられるROS2は、pythonでもパッケージが作成できるのですが、車載用のモジュールは（おそらく）レスポンス重視でC++で実装するのが一般的のようです。ですが、私はC++のプログラミング経験が全くなく、C++のスマートポインタ(shared_ptr)やら、autowareのモジュールやメッセージ

はまち

    • Japan Automotive AI Challenge 2024に参加してROS2を勉強しよう

      ROS2をベースとしたオープンソースな自動運転システムのAutowareのサブセットを利用した自動運転カーレースのコンペ「Japan Automotive AI Challenge 2024」の参加登録が始まっています。 コンペの予選（2024年7月2日～9月2日）はオンラインのシミュレーション環境でおこなわれ、決勝ラウンド（2024年11月1日～11月3日）では実際のカートコースで電動カートを使ってレースがおこなわれるとのこと。 参加登録参加条件は特になく、誰でも参加登

      はまち

      • claude.aiのアーティファクト機能でさくっとテトリス風ゲームをつくる

        Claude 3.5 Sonnetにあわせて発表された、Claude.ai のアーティファクトという機能を早速ためしてみました。 アーティファクトという言葉は、「人とLLMが協力して生成した成果物」というニュアンスで使ってるのかなぁ。 サポートされているアーティファクトには、プログラムコードのほか、マークダウン文書などがあり、それらアーティファクトをLLMと対話しながらブラッシュアップしていく感じです。JavaScriptとかならチャット画面の隣で実際の動作を確認しながら作

        はまち

        • プログラミング言語AWK 第2版

          学生時代に図書館で読んだ「プログラミング言語AWK」が、今の時代になんと、第１版から35年ぶりに大幅改訂されて第2版として出版されていたので、驚きとともに、なんだか懐かしくなって購入して読み返してみた。 内容は、最近の状況に合わせて、awkを使ったEDAや、簡易な専用言語の作例として、matplotlibを使ったグラフ表示するpythonコードを生成する例に見直されていたり興味深い。 このような課題は、実際の場面では、素直にpython+pandasとかを使うのだろうけど、

          はまち

        Japan Automotive AI Challenge 2024：レース場の座標情報を確認してみる

        はまち

        マガジン

        • AIもろもろ
          33本
        • LLMの活用
          44本
        • 大規模言語モデル（LLM）
          34本
        • 論文を読む
          24本
        • LLMフレームワーク
          9本
        • LangChain
          37本

        記事

          ChatGPTでデータ眺めて電気代を考える

          ChatGPT上の、csvファイルやグラフの扱いが改良されているようです。 ちょうど、日本全国の発電所の時間ごとの発電実績データを全て公開している、興味深いサイトを見つけたので、今回は昨日(2024-05-29)一日分のcsvデータをネタにして、かるく試してみました。 リンク先のユニット別発電実績公開からエリアと期間等を選択してCSV保存する。 保存したCSVファイルをおもむろにChatGPTにぶっこむ。 東京、関西、九州エリアの発電方式・燃料の種類ごとのプロットをし

          はまち

          ChatGPTでデータ眺めて電気代を考える

          はまち

          【論文紹介】複数トークン予測によるLLMの精度向上と高速化

          Meta社の研究チーム（Fabian Gloeckle, Badr Youbi Idrissi, Baptiste Rozière, David Lopez-Paz, Gabriel Synnaeve）が発表した論文がXで話題になっていたので、ざっと眺めてみました。理解不足も多々あると思いますので、詳細は原文を参照願います。 複数トークン予測モデルの概要トレーニング：従来のTransformerベースのLLMでは、次の１トークンを予測する単純なタスクで学習が行われますが、今

          はまち

          【論文紹介】複数トークン予測によるLLMの精度向上と高速化

          はまち

          【論文紹介】TDB: トランスフォーマーデバッガを使ったGPTの内部メカニズムの解析例

          Transformerベースの言語モデルの内部動作を確認するためのツールを用いて各層の役割について解析する取り組みを行っている以下論文（Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small。うまく訳せませんが、「GPT-2 smallにおける間接目的語識別の解明：（学習から）自然発生するタスク処理の内部メカニズム」という感じでしょうか…）がとても面白か

          はまち

          【論文紹介】TDB: トランスフォーマーデバッガを使ったGPTの内部メカニズムの解析例

          はまち

          1(.58)ビット量子化LLMs(BitNet b1.58）について

          Microsoft Researchが発表した以下論文がXで話題になっていました。少々出遅れた感がありますが、さっそく眺めてみました。 BitNet b1.58全パラメータ（重み）を三項{-1, 0, 1}で量子化。{-1, 0, 1}の3つの値を表現するために必要なビット数は$${log_2​(3)}$$であるため、1パラメータあたり約1.58bitで表現できる。 同じモデルサイズとトレーニングトークンを持つ全精度（FP16またはBF16）のTransformer LL

          はまち

          1(.58)ビット量子化LLMs(BitNet b1.58）について

          はまち

          古い白黒写真をリアルにカラー化🎨DDColorを試す

          学習可能なカラー トークン(つまり、カラー クエリ) を最適化することで、グレースケール画像をリアルなカラー画像をエンドツーエンドで変換する、「DDColor」というモデルが公表されていたので試してみました。 モデル概要まず始めに、画像から重要な情報を抜き出すための「Backbone network」を使い特徴抽出を行います。 次に、この情報を「Pixcel Decoder」に送り、画像の空間構造を復元します。同時に、「Color Decoder」は画像のさまざまな大きさ

          はまち

          古い白黒写真をリアルにカラー化🎨DDColorを試す

          はまち

          LangChainの新機能 🕸️LangGraphを試す

          LangGraphというLangChainの新機能が公開されていたので、google colab上でチュートリアルをざっと試してみました。 ライブラリーのインストールなど!pip install -U langchain langgraph langchain_openai langchainhub tavily-python from langchain import hubfrom langchain.agents import create_openai_funct

          はまち

          LangChainの新機能 🕸️LangGraphを試す

          はまち

          ラジコンカー練習用のラップタイマーをChatGPTでつくる。（Android用 APKファイル公開）

          わたしは最近ラジコンカーにはまっていて、近くのラジコンカーのコースで練習しています。そこのコースの上級者コースには車載ポンダーを使ってタイム計測ができる設備があるのですが、初心者コースとオフロードコースには残念ながらタイム計測設備がありません。ラップタイマーのアプリを探したのですが、自分のニーズにしっくりくるものを見つけられませんでした。そこで、無ければ作ろう！ということで、Androidタブレット/Android携帯の内蔵カメラを使った簡易的なラップタイマーを自作しました。

          はまち

          ラジコンカー練習用のラップタイマーをChatGPTでつくる。（Android用 APKファイル公開）

          はまち

          【論文紹介】Meta社の強化学習Agentフレームワーク「Pearl」

          meta社が強化学習Agentの実用向けのフレームワーク「Pearl」を公開していました。論文も投稿されていたので概要をまとめてみました。なお、私の理解不足も多々ありますので、詳細は論文本文ほかをご確認ください。 Pearlの概要「Pearl」は、エージェントが環境との相互作用を通じて最適な行動方針を学習する強化学習において、実世界の複雑な環境での効率的な学習、安全性の確保、そして動的な状況への適応能力を備えることを目標に開発されており、以下の特徴があります。 実用的なR

          はまち

          【論文紹介】Meta社の強化学習Agentフレームワーク「Pearl」

          はまち

          ML_Kitで悩んで、結局、機械学習モデルを使わないことにする

          jetracerを作って遊んでいたら、気が付くと自分で運転するのが楽しくなってラジコンカー沼にはまってしまいました。😅 家の近くのラジコンサーキットの上級コースにはラップタイム計測装置が付いているのですが、初心者コースとオフロードコースではタイム計測ができなかったので、flutterでラジコンカー用のラップタイム計測アプリを作ってみました。携帯の内蔵カメラを使って、カメラを横切ったらラップタイム計測して音声読み上げる、ごくごく簡単なものです。 当初はお気楽にgoogle_

          はまち

          ML_Kitで悩んで、結局、機械学習モデルを使わないことにする

          はまち

          日本語を含む多様な音声入力に対応したLLM: Qwen-Audio-Chatを試す

          アリババクラウドが、音声入力に対応したLLMであるQwen-Audioを公開していたので早速デモを試してみました。 Qwen-Audioの概要Qwen-Audioは、異なる種類のオーディオ入力やタスクに対応するユニバーサルオーディオ理解モデルを目指して開発されています。主な目的は、既存の音声モデルが持つ限定的なインタラクション能力の問題を解決し、人間の発話、自然音、音楽、歌などを含む幅広いオーディオタイプに対応することです。このモデルは、複数のタスクにわたる知識共有と協調学

          はまち

          日本語を含む多様な音声入力に対応したLLM: Qwen-Audio-Chatを試す

          はまち

          PyTorchとJAXに対応したKeras3でMNISTを試す

          バックボーンのフレームワークを、従来のTensorFlowから、デファクトスタンダードになりつつあるPyTorchと、実行効率に優れたJAXも選べるようになったKeras3.0が公開されていたので、さっそくバックボーンをPyTorchやJAXに設定して、手書きアルファベット画像のクラス分け課題のMNISTを試してみました。 23.11.29追記 公式の紹介ページも公開されていました。 https://keras.io/keras_3/ Keras3のインストール、インポー

          はまち

          PyTorchとJAXに対応したKeras3でMNISTを試す

          はまち

          GPT4-Vision APIを使ったアプリ　draw-a-uiを試す

          gpt4-vison API を使った作例として公開してされている、ポンチ絵をhtmlに変換するアプリdraw-a-uiを試してみました。 アプリの機能まずはgithubの説明にしたがってアプリを起動してみます。 $ git clone https://github.com/SawyerHood/draw-a-ui$ cd araw-a-ui $ npm install$ npm run dev あとは、ブラウザでhttp://localhost:3000を開くとアプ

          はまち

          GPT4-Vision APIを使ったアプリ　draw-a-uiを試す

          はまち