TOSHI STATS
最近の記事
「Monte Carlo Tree Search」と「生成AI」の組み合わせは将来game changerになるかもしれません!
Search技術の一つ「Monte Carlo Tree Search」は2016年3月に史上初めて囲碁のトッププロを破ったAlphaGoで一躍有名になりました。強化学習と組み合わせると精度がとても上がるので、私達の心強い味方になってくれます。でもなかなか簡単にはプログラムできないのかなとも思います。そこで10月3日にでたばかりのChatGPT canvas(1)を使って簡単なゲームで「Monte Carlo Tree Search」を実装できないか挑戦したいと思います。早速
噂通り、OpenAI o1-previewは凄い性能でした。 ここから今後の生成AI発展の新しいパラダイムが生まれました！
先週、OpenAI o1(1)をご紹介しました。まだpreviewでありながら高い性能を誇り、以下のリーダーボード(2)が示すように、特に数学やコーディングでは圧倒的な性能という評価が多いと感じます。そこでOpenAI o1がGPT4oなど既存生成AIモデルと比べて何故精度が高いのか考えてみたいと思います。 １．Chain of Thoughtが鍵 今回のOpenAI o1モデルで主役を演じるのは"Chain of Thought"です。これは「中間的な推論の一連のステップ
Google DeepMindによる新しいプロンプト・エンジニアリング手法 "Many-Shot In-Context Learning" って凄い!
最近プロンプト・エンジニアリングを調査していて面白いリサーチペーパー"Many-Shot In-Context Learning"(1)を見つけましたので簡単にご紹介したいと思います。Google DeepMindによる本格的なものですが、私たちがプロンプトを書く際にも応用が効く、大変示唆に富む内容になってます。早速みてみましょう。 １．コンテクストをうまく使う 皆さんがChatGTPのような言語モデル・生成AIにプロンプトを書く際は、検索エンジンのように「日本の首都はどこ
あなたは信じられますか？ 「2027年に私たちの前にAGIが現れる」という予想が元OpenAIのリサーチャから公表されました！
突然、びっくりするような予想が公表されました。元OpenAIのリサーチャーであるLeopold Aschenbrenner氏によるもので、人間の各分野の専門家の能力に匹敵するAGIが4年後の2027年に登場するというのです。にわかに信じがたい話ですが、早速彼の主張を見てみることにしましょう。 １．過去から現在、そして未来 未来を予想するには、まず過去から現在までどのように生成AIが発展してきたのかを知ることが重要です。ここで著者はOOMの考え方を導入しています。ざっくり言う
Llama3-8Bは日本語データによるfine-tuningでも素晴らしい性能を出しました。 基本性能の高さが大きく貢献しているのでしょう。 日本語のタスクにも十分使える可能性がありそうです!
前回はLlama3-70Bの性能の高さをご紹介しました。でも、Llama3には小型の8Bモデルも有り、以前からfine-tuningして自身のタスクに合わせて使ってみたいと思ってました。小型なのでコストも安く、演算速度も速いので、タスクが明確に決まっているならばこの8Bモデルもきっと選択肢に入ってくるでしょう。そこで今回は公開されているLivedoor-newsの日本語記事(3)をいくつかのジャンルに判別するタスク用に、Llama3-8Bモデルをfine-tuningし、その
新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい！
３月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とてもコストが嵩むので簡単には実行できません。そこで安くて性能が良いモデルを探してい
