記事一覧
Llama3-8Bは日本語データによるfine-tuningでも素晴らしい性能を出しました。 基本性能の高さが大きく貢献しているのでしょう。 日本語のタスクにも十分使える可能性がありそうです!
前回はLlama3-70Bの性能の高さをご紹介しました。でも、Llama3には小型の8Bモデルも有り、以前からfine-tuningして自身のタスクに合わせて使ってみたいと思ってました。小型なのでコストも安く、演算速度も速いので、タスクが明確に決まっているならばこの8Bモデルもきっと選択肢に入ってくるでしょう。そこで今回は公開されているLivedoor-newsの日本語記事(3)をいくつかのジャン
もっとみる
新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい！
３月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とて
もっとみる
Genieという新しいAI パラダイム現る！これでAIの未来はどう変わるのか？
最近、Google DeepMindから Genie: Generative Interactive Environments(1)と言うfoundation modelが発表されました。既存AIには無い機能を持っているとのことなので、今回ここで取り上げていろいろ探っていこうと思います。では始めましょう！
１．actionを実行できる
Google DeepMindのblogには「Genieを紹
Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!
AIの進化の速度は今年も凄まじいですね。Googleから新しいgenerative AI "Gemini 1.5 Pro" が発表されました。Mixture-of-Experts (MoE) architectureを採用した自信作のようです。まだ限定的なユーザーにのみ公開されているだけで、実証実験が出来るのはもう少し先ですが、興味深い技術的ブレイクスルーが紹介されていますので、少し深堀りしてみた
もっとみる
"REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています
明けましておめでとうございます。本年も宜しくお願い致します。早速ですが、新しい年に相応しい、先進的なプロンプト・エンジニアリング手法がGoogle DeepMindから発表されました。" REST MEETS REACT: SELF-IMPROVEMENT FOR MULTI-STEP REASONING LLM AGENT"(1)と言う論文です。合成データ(Synthetic Data)によるフ
もっとみる
agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです
11月7日早朝、OpenAI DevDayが開かれました。初の年次開発者総会です。GPT-4がデビューした2023年3月以降の技術発展が一気に紹介されました。あまりにたくさんあるので、網羅的に説明するのはOpenAI CEO Sam Altmanに任せるとして、ここでは、私が考えたポイントを３つほど上げて、いろいろ考えていきたいと思います。
１．やはり値段が大切
期待されていました値下げが実現し
Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも！
こんにちは、皆さんお元気でお過ごしでしょうか？ 今年もあと２ヶ月を切りましたね。本当にAIの進化が凄まじかった年でしたが、まだその速度は衰えないようです。先日、新しいPrompt-engineering手法としてGoogle DeepMindより"Step-Back Prompting (1)"が発表されました。早速詳細をみてみましょう。
１．Step-Back Prompting
DeepMi
GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???
こんにちは、９月も後半というのに相変わらずの暑さ。写真もミスマッチ感満載ですが、早く涼しくなって欲しいのであえて秋にこだわります。でも今月いっぱい暑いままかも知れないですね。
さて、先日ご紹介したChatGPT3.5のfine tuningですが、やはり話題になってますね。ご自身のタスクに特化して性能を上げたいニーズは特に企業では根強いのだと思います。そこで今回は手元にデータが無くてもなんとかし
"Graph of Thoughts"によって、「人間とLLMのコラボレーション」の新たな道が開かれるかも知れません！
先週、興味深いLLM論文を見つけました。以前ご紹介したTree of thoughts(ToT)をさらに発展させたreasoning手法が出たようです。"Graph of Thoughts" (GoT)と呼ばれています(1)。早速見てみましょう。
１．GoTの特徴
まず、各種手法をチャートで比較してみましょう。こちらは論文に掲載されているものです。
一番右が今回登場したGoTです。ToTの主な
ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!
皆さんこんにちは、暑い日が続きますがお元気でしょうか？イラストだけは秋らしくしたのですが、当分夏は居座りそうですね。
そうこうしているうちに突然、OpenAIから「fine-tuning機能が実装できました」との連絡がありました。私はオープンソースモデルでは必ずfine-tuningを行っていたので、ChatGPTでは全く触れられずに少し寂しかったのですが、いよいよ満を持して登場したようです。O
「Llama2」はオープンソースで商用利用可能な優れた LLM です。この言語モデルで多くのアプリケーションを試してみたいと思います
こんにちは。2023 年 7 月 18 日に Meta からリリースされた新しい LLM をご紹介したいと思います。その名も「Llama2」。このモデルを使っていくつかの実験を行ってみたいと思います。Let us start！
1. Llama2とは何ですか?
「Llama2」は、Meta AI の言語モデルです。オープンソースで商業利用が可能なため、多くの研究者が非常に興奮しています。その仕
OpenAIからの新しいアップデート“Function calling”は、GPTが外部にアクセスし、エージェントを容易に作成できるのできっとゲームチェンジャーになります！
今日は、上の画像の「どら焼き」のような日本のスイーツコレクションの説明を含むウェブサイトを作成したいと思います。そこで私はAIエージェントに素晴らしいウェブサイトを作成するように頼みました。しかし、それは本当に可能なのでしょうか？はい、確かに可能です！OpenAIがGPTを作成したことはご存知の通りですが、これは非常にインテリジェントな大規模言語モデル（LLM）です。2023年6月13日にOpen
もっとみる