TOSHI STATS

2005年に消費者金融にて信用リスク管理システムを構築。2014年にAI start-…

TOSHI STATS

2005年に消費者金融にて信用リスク管理システムを構築。2014年にAI start-up "TOSHI STATS"を設立。2020年、IT専門誌APAC CIOoutlookから「Cognitive Tech company top10」に選出される。

最近の記事

Google DeepMindによる新しいプロンプト・エンジニアリング手法 "Many-Shot In-Context Learning" って凄い!

最近プロンプト・エンジニアリングを調査していて面白いリサーチペーパー"Many-Shot In-Context Learning"(1)を見つけましたので簡単にご紹介したいと思います。Google DeepMindによる本格的なものですが、私たちがプロンプトを書く際にも応用が効く、大変示唆に富む内容になってます。早速みてみましょう。 1.コンテクストをうまく使う 皆さんがChatGTPのような言語モデル・生成AIにプロンプトを書く際は、検索エンジンのように「日本の首都はどこ

    • Googleより、新しいオープンソース生成AI "Gemma2"登場。 Llama3との競争がいよいよ始まりました!

      いよいよ、Googleより新型のオープンソース生成AI "gemma2"が登場しました(1)。既に予告はあったのですが、思ったより早く出てきました。以下のように27Bモデルはリーダーボードで12位と大型モデルに肉薄する大変優秀な成績を誇っています。テクニカルレポート(2)もありましたので、早速どんな進化があったのか見てみることにしましょう。 1. モデル・アーキテクチャ Gemma2 はおなじみの decoder-only transformer architectureを

      • あなたは信じられますか? 「2027年に私たちの前にAGIが現れる」という予想が元OpenAIのリサーチャから公表されました!

        突然、びっくりするような予想が公表されました。元OpenAIのリサーチャーであるLeopold Aschenbrenner氏によるもので、人間の各分野の専門家の能力に匹敵するAGIが4年後の2027年に登場するというのです。にわかに信じがたい話ですが、早速彼の主張を見てみることにしましょう。 1.過去から現在、そして未来 未来を予想するには、まず過去から現在までどのように生成AIが発展してきたのかを知ることが重要です。ここで著者はOOMの考え方を導入しています。ざっくり言う

        • Llama3-8Bは日本語データによるfine-tuningでも素晴らしい性能を出しました。 基本性能の高さが大きく貢献しているのでしょう。 日本語のタスクにも十分使える可能性がありそうです!

          前回はLlama3-70Bの性能の高さをご紹介しました。でも、Llama3には小型の8Bモデルも有り、以前からfine-tuningして自身のタスクに合わせて使ってみたいと思ってました。小型なのでコストも安く、演算速度も速いので、タスクが明確に決まっているならばこの8Bモデルもきっと選択肢に入ってくるでしょう。そこで今回は公開されているLivedoor-newsの日本語記事(3)をいくつかのジャンルに判別するタスク用に、Llama3-8Bモデルをfine-tuningし、その

        Google DeepMindによる新しいプロンプト・エンジニアリング手法 "Many-Shot In-Context Learning" って凄い!

        • Googleより、新しいオープンソース生成AI "Gemma2"登場。 Llama3との競争がいよいよ始まりました!

        • あなたは信じられますか? 「2027年に私たちの前にAGIが現れる」という予想が元OpenAIのリサーチャから公表されました!

        • Llama3-8Bは日本語データによるfine-tuningでも素晴らしい性能を出しました。 基本性能の高さが大きく貢献しているのでしょう。 日本語のタスクにも十分使える可能性がありそうです!

          Llama3は噂通りの凄い性能だった。オープンソースなので、活躍できる場所も無限に拡がりそうで、とても楽しみです

          4月18日にMeta社より、新型LLM "Llama3"がリリースされました(1)。待望のオープンソースの新型モデルであり、またGPT-4並みの性能が期待できることから、海外のAIコミュニティの間では大変な話題となりました。 その性能をリーダーボードで確認しました(2)。今回リリースされたのはパラメータ数が70Bと8Bの2種。特に大きい方の700億パラメータ・モデルの性能は、確かにGPT-4、Claude3-OpusそしてGemini 1.5 Proといったpropriet

          Llama3は噂通りの凄い性能だった。オープンソースなので、活躍できる場所も無限に拡がりそうで、とても楽しみです

          新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい!

          3月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とてもコストが嵩むので簡単には実行できません。そこで安くて性能が良いモデルを探してい

          新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい!

          新しいgenerative AI "Google Gemini 1.5 Pro" は予想通り凄かった!

          先月、Googleから新しいgenerative AI "Gemini 1.5 Pro" (1)が発表されたことをお伝えしました。そして今日ついにToshiStats株式会社に"Gemini 1.5 Pro"がやってきました。さっそくいろいろ実験してみたいと思います。 1.100万tokenの長いcontext windowは本当に使えるのか? Gemini 1.5 Proは100万tokenという今までのLLMでは考えられないぐらいの長いcontext windowを誇り

          新しいgenerative AI "Google Gemini 1.5 Pro" は予想通り凄かった!

          Genieという新しいAI パラダイム現る!これでAIの未来はどう変わるのか?

          最近、Google DeepMindから Genie: Generative Interactive Environments(1)と言うfoundation modelが発表されました。既存AIには無い機能を持っているとのことなので、今回ここで取り上げていろいろ探っていこうと思います。では始めましょう! 1.actionを実行できる Google DeepMindのblogには「Genieを紹介します。これはインターネットのビデオから訓練された基礎世界モデルであり、合成画

          Genieという新しいAI パラダイム現る!これでAIの未来はどう変わるのか?

          Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!

          AIの進化の速度は今年も凄まじいですね。Googleから新しいgenerative AI "Gemini 1.5 Pro" が発表されました。Mixture-of-Experts (MoE) architectureを採用した自信作のようです。まだ限定的なユーザーにのみ公開されているだけで、実証実験が出来るのはもう少し先ですが、興味深い技術的ブレイクスルーが紹介されていますので、少し深堀りしてみたいと思います。 1.100万tokenの長いcontext window Ge

          Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!

          "REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています 

          明けましておめでとうございます。本年も宜しくお願い致します。早速ですが、新しい年に相応しい、先進的なプロンプト・エンジニアリング手法がGoogle DeepMindから発表されました。" REST MEETS REACT: SELF-IMPROVEMENT FOR MULTI-STEP REASONING LLM AGENT"(1)と言う論文です。合成データ(Synthetic Data)によるファインチューニングが組み込まれており、期待できそうです!それでは始めましょう。

          "REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています 

          agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです

          11月7日早朝、OpenAI DevDayが開かれました。初の年次開発者総会です。GPT-4がデビューした2023年3月以降の技術発展が一気に紹介されました。あまりにたくさんあるので、網羅的に説明するのはOpenAI CEO Sam Altmanに任せるとして、ここでは、私が考えたポイントを3つほど上げて、いろいろ考えていきたいと思います。 1.やはり値段が大切 期待されていました値下げが実現しました。GPT-4はざっくりいって65%オフ程度になりそうです。もちろん使い方に

          agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです

          Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも!

          こんにちは、皆さんお元気でお過ごしでしょうか? 今年もあと2ヶ月を切りましたね。本当にAIの進化が凄まじかった年でしたが、まだその速度は衰えないようです。先日、新しいPrompt-engineering手法としてGoogle DeepMindより"Step-Back Prompting (1)"が発表されました。早速詳細をみてみましょう。 1.Step-Back Prompting DeepMindからの提案なので、当初は複雑な手法かと思いましたが、コンセプトそのものはシン

          Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも!

          GPT-4Vがやってきた。早速試して、びっくりした。こんなこともできちゃうんだ!

          お待たせしました。OpenAIが誇るGPT-4に画像認識の機能が付加されました。正確には今年3月のデビューの際にデモされていた訳ですが、半年経ってやっとユーザーに開放されたということです。私も先日ChatGPT+にその機能が搭載されたので早速使ってみました。まあ、凄いの一言です! ちなみに上記の女の子もGPT-4とDALLE3の組み合わせで作りました。 さあ、実験開始です! まずは、スマホの認識からはじめます。スマホの個数は認識できてます。この程度は楽勝ですね。 結構難

          GPT-4Vがやってきた。早速試して、びっくりした。こんなこともできちゃうんだ!

          GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???

          こんにちは、9月も後半というのに相変わらずの暑さ。写真もミスマッチ感満載ですが、早く涼しくなって欲しいのであえて秋にこだわります。でも今月いっぱい暑いままかも知れないですね。 さて、先日ご紹介したChatGPT3.5のfine tuningですが、やはり話題になってますね。ご自身のタスクに特化して性能を上げたいニーズは特に企業では根強いのだと思います。そこで今回は手元にデータが無くてもなんとかしたいケースを想定して、合成テキストを生成したのちfine tuningを行う実験

          GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???

          "Graph of Thoughts"によって、「人間とLLMのコラボレーション」の新たな道が開かれるかも知れません!

          先週、興味深いLLM論文を見つけました。以前ご紹介したTree of thoughts(ToT)をさらに発展させたreasoning手法が出たようです。"Graph of Thoughts" (GoT)と呼ばれています(1)。早速見てみましょう。 1.GoTの特徴 まず、各種手法をチャートで比較してみましょう。こちらは論文に掲載されているものです。 一番右が今回登場したGoTです。ToTの主な違いはthoughtsをマージできるところと、そもそもGoTの形をユーザーで定義

          "Graph of Thoughts"によって、「人間とLLMのコラボレーション」の新たな道が開かれるかも知れません!

          ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!

          皆さんこんにちは、暑い日が続きますがお元気でしょうか?イラストだけは秋らしくしたのですが、当分夏は居座りそうですね。 そうこうしているうちに突然、OpenAIから「fine-tuning機能が実装できました」との連絡がありました。私はオープンソースモデルでは必ずfine-tuningを行っていたので、ChatGPTでは全く触れられずに少し寂しかったのですが、いよいよ満を持して登場したようです。OpenAIも少し本気になったのかなと思いました。では早速始めてみましょう。 1

          ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!