TOSHI STATS

2005年に消費者金融にて信用リスク管理システムを構築。2014年にAI start-…

TOSHI STATS

2005年に消費者金融にて信用リスク管理システムを構築。2014年にAI start-up "TOSHI STATS"を設立。2020年、IT専門誌APAC CIOoutlookから「Cognitive Tech company top10」に選出される。

最近の記事

Llama3は噂通りの凄い性能だった。オープンソースなので、活躍できる場所も無限に拡がりそうで、とても楽しみです

4月18日にMeta社より、新型LLM "Llama3"がリリースされました(1)。待望のオープンソースの新型モデルであり、またGPT-4並みの性能が期待できることから、海外のAIコミュニティの間では大変な話題となりました。 その性能をリーダーボードで確認しました(2)。今回リリースされたのはパラメータ数が70Bと8Bの2種。特に大きい方の700億パラメータ・モデルの性能は、確かにGPT-4、Claude3-OpusそしてGemini 1.5 Proといったpropriet

    • 新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい!

      3月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とてもコストが嵩むので簡単には実行できません。そこで安くて性能が良いモデルを探してい

      • 新しいgenerative AI "Google Gemini 1.5 Pro" は予想通り凄かった!

        先月、Googleから新しいgenerative AI "Gemini 1.5 Pro" (1)が発表されたことをお伝えしました。そして今日ついにToshiStats株式会社に"Gemini 1.5 Pro"がやってきました。さっそくいろいろ実験してみたいと思います。 1.100万tokenの長いcontext windowは本当に使えるのか? Gemini 1.5 Proは100万tokenという今までのLLMでは考えられないぐらいの長いcontext windowを誇り

        • Genieという新しいAI パラダイム現る!これでAIの未来はどう変わるのか?

          最近、Google DeepMindから Genie: Generative Interactive Environments(1)と言うfoundation modelが発表されました。既存AIには無い機能を持っているとのことなので、今回ここで取り上げていろいろ探っていこうと思います。では始めましょう! 1.actionを実行できる Google DeepMindのblogには「Genieを紹介します。これはインターネットのビデオから訓練された基礎世界モデルであり、合成画

        Llama3は噂通りの凄い性能だった。オープンソースなので、活躍できる場所も無限に拡がりそうで、とても楽しみです

        • 新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい!

        • 新しいgenerative AI "Google Gemini 1.5 Pro" は予想通り凄かった!

        • Genieという新しいAI パラダイム現る!これでAIの未来はどう変わるのか?

          Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!

          AIの進化の速度は今年も凄まじいですね。Googleから新しいgenerative AI "Gemini 1.5 Pro" が発表されました。Mixture-of-Experts (MoE) architectureを採用した自信作のようです。まだ限定的なユーザーにのみ公開されているだけで、実証実験が出来るのはもう少し先ですが、興味深い技術的ブレイクスルーが紹介されていますので、少し深堀りしてみたいと思います。 1.100万tokenの長いcontext window Ge

          Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!

          "REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています 

          明けましておめでとうございます。本年も宜しくお願い致します。早速ですが、新しい年に相応しい、先進的なプロンプト・エンジニアリング手法がGoogle DeepMindから発表されました。" REST MEETS REACT: SELF-IMPROVEMENT FOR MULTI-STEP REASONING LLM AGENT"(1)と言う論文です。合成データ(Synthetic Data)によるファインチューニングが組み込まれており、期待できそうです!それでは始めましょう。

          "REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています 

          agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです

          11月7日早朝、OpenAI DevDayが開かれました。初の年次開発者総会です。GPT-4がデビューした2023年3月以降の技術発展が一気に紹介されました。あまりにたくさんあるので、網羅的に説明するのはOpenAI CEO Sam Altmanに任せるとして、ここでは、私が考えたポイントを3つほど上げて、いろいろ考えていきたいと思います。 1.やはり値段が大切 期待されていました値下げが実現しました。GPT-4はざっくりいって65%オフ程度になりそうです。もちろん使い方に

          agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです

          Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも!

          こんにちは、皆さんお元気でお過ごしでしょうか? 今年もあと2ヶ月を切りましたね。本当にAIの進化が凄まじかった年でしたが、まだその速度は衰えないようです。先日、新しいPrompt-engineering手法としてGoogle DeepMindより"Step-Back Prompting (1)"が発表されました。早速詳細をみてみましょう。 1.Step-Back Prompting DeepMindからの提案なので、当初は複雑な手法かと思いましたが、コンセプトそのものはシン

          Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも!

          GPT-4Vがやってきた。早速試して、びっくりした。こんなこともできちゃうんだ!

          お待たせしました。OpenAIが誇るGPT-4に画像認識の機能が付加されました。正確には今年3月のデビューの際にデモされていた訳ですが、半年経ってやっとユーザーに開放されたということです。私も先日ChatGPT+にその機能が搭載されたので早速使ってみました。まあ、凄いの一言です! ちなみに上記の女の子もGPT-4とDALLE3の組み合わせで作りました。 さあ、実験開始です! まずは、スマホの認識からはじめます。スマホの個数は認識できてます。この程度は楽勝ですね。 結構難

          GPT-4Vがやってきた。早速試して、びっくりした。こんなこともできちゃうんだ!

          GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???

          こんにちは、9月も後半というのに相変わらずの暑さ。写真もミスマッチ感満載ですが、早く涼しくなって欲しいのであえて秋にこだわります。でも今月いっぱい暑いままかも知れないですね。 さて、先日ご紹介したChatGPT3.5のfine tuningですが、やはり話題になってますね。ご自身のタスクに特化して性能を上げたいニーズは特に企業では根強いのだと思います。そこで今回は手元にデータが無くてもなんとかしたいケースを想定して、合成テキストを生成したのちfine tuningを行う実験

          GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???

          "Graph of Thoughts"によって、「人間とLLMのコラボレーション」の新たな道が開かれるかも知れません!

          先週、興味深いLLM論文を見つけました。以前ご紹介したTree of thoughts(ToT)をさらに発展させたreasoning手法が出たようです。"Graph of Thoughts" (GoT)と呼ばれています(1)。早速見てみましょう。 1.GoTの特徴 まず、各種手法をチャートで比較してみましょう。こちらは論文に掲載されているものです。 一番右が今回登場したGoTです。ToTの主な違いはthoughtsをマージできるところと、そもそもGoTの形をユーザーで定義

          "Graph of Thoughts"によって、「人間とLLMのコラボレーション」の新たな道が開かれるかも知れません!

          ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!

          皆さんこんにちは、暑い日が続きますがお元気でしょうか?イラストだけは秋らしくしたのですが、当分夏は居座りそうですね。 そうこうしているうちに突然、OpenAIから「fine-tuning機能が実装できました」との連絡がありました。私はオープンソースモデルでは必ずfine-tuningを行っていたので、ChatGPTでは全く触れられずに少し寂しかったのですが、いよいよ満を持して登場したようです。OpenAIも少し本気になったのかなと思いました。では早速始めてみましょう。 1

          ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!

          「Llama2」はオープンソースで商用利用可能な優れた LLM です。この言語モデルで多くのアプリケーションを試してみたいと思います

          こんにちは。2023 年 7 月 18 日に Meta からリリースされた新しい LLM をご紹介したいと思います。その名も「Llama2」。このモデルを使っていくつかの実験を行ってみたいと思います。Let us start! 1. Llama2とは何ですか? 「Llama2」は、Meta AI の言語モデルです。オープンソースで商業利用が可能なため、多くの研究者が非常に興奮しています。その仕様を以下の表で説明します。 2. 英語のテキストから情報を抽出してみましょう

          「Llama2」はオープンソースで商用利用可能な優れた LLM です。この言語モデルで多くのアプリケーションを試してみたいと思います

          「Tree of Thoughts (ToT)」はプロンプト・エンジニアリングの主流になるかも知れません!

          今日、「Tree of Thoughts (ToT)」(1) という非常に興味深い論文を見つけました。 ToTを使えば、今までできなかった課題も解決できるようになります。そこで、このToTのメカニズムを皆さんと共有し、それがどのようにタスクを解決するかを考えていきたいと思います。では始めましょう! 1.Chain of Thought (CoT) この論文では、以下の表に示すように 4 種類のプロンプトを提供します。左側は「IO プロンプト」と呼ばれるもので、比較的単純です

          「Tree of Thoughts (ToT)」はプロンプト・エンジニアリングの主流になるかも知れません!

          OpenAIからの新しいアップデート“Function calling”は、GPTが外部にアクセスし、エージェントを容易に作成できるのできっとゲームチェンジャーになります!

          今日は、上の画像の「どら焼き」のような日本のスイーツコレクションの説明を含むウェブサイトを作成したいと思います。そこで私はAIエージェントに素晴らしいウェブサイトを作成するように頼みました。しかし、それは本当に可能なのでしょうか?はい、確かに可能です!OpenAIがGPTを作成したことはご存知の通りですが、これは非常にインテリジェントな大規模言語モデル(LLM)です。2023年6月13日にOpenAIによって、新しく“Function calling”が導入されました。これに

          OpenAIからの新しいアップデート“Function calling”は、GPTが外部にアクセスし、エージェントを容易に作成できるのできっとゲームチェンジャーになります!

          これが私のお気に入りのNLPモデルです。 小型ですが、とても正確です!

          2018年10月にBERTがGoogleからリリースされて以来、オリジナルモデルのBERTを改善するモデルがいくつも発表されました。私は最近、昨年にグーグルリサーチから発表されたALBERTを見つけました。私に興味を持ち、このモデルについて小さな実験を行いました。 IMDBデータを使って感情分析モデルを作ってみるという実験です。 IMDBは映画批評のデータです。各ユーザーからのレビューの文章とその感情(ポジティブ・ネガティブ)を含むデータです。 25000サンプルのトレーニン

          これが私のお気に入りのNLPモデルです。 小型ですが、とても正確です!