最近の記事
Google DeepMindによる新しいプロンプト・エンジニアリング手法 "Many-Shot In-Context Learning" って凄い!
最近プロンプト・エンジニアリングを調査していて面白いリサーチペーパー"Many-Shot In-Context Learning"(1)を見つけましたので簡単にご紹介したいと思います。Google DeepMindによる本格的なものですが、私たちがプロンプトを書く際にも応用が効く、大変示唆に富む内容になってます。早速みてみましょう。 １．コンテクストをうまく使う 皆さんがChatGTPのような言語モデル・生成AIにプロンプトを書く際は、検索エンジンのように「日本の首都はどこ
あなたは信じられますか？ 「2027年に私たちの前にAGIが現れる」という予想が元OpenAIのリサーチャから公表されました！
突然、びっくりするような予想が公表されました。元OpenAIのリサーチャーであるLeopold Aschenbrenner氏によるもので、人間の各分野の専門家の能力に匹敵するAGIが4年後の2027年に登場するというのです。にわかに信じがたい話ですが、早速彼の主張を見てみることにしましょう。 １．過去から現在、そして未来 未来を予想するには、まず過去から現在までどのように生成AIが発展してきたのかを知ることが重要です。ここで著者はOOMの考え方を導入しています。ざっくり言う
Llama3-8Bは日本語データによるfine-tuningでも素晴らしい性能を出しました。 基本性能の高さが大きく貢献しているのでしょう。 日本語のタスクにも十分使える可能性がありそうです!
前回はLlama3-70Bの性能の高さをご紹介しました。でも、Llama3には小型の8Bモデルも有り、以前からfine-tuningして自身のタスクに合わせて使ってみたいと思ってました。小型なのでコストも安く、演算速度も速いので、タスクが明確に決まっているならばこの8Bモデルもきっと選択肢に入ってくるでしょう。そこで今回は公開されているLivedoor-newsの日本語記事(3)をいくつかのジャンルに判別するタスク用に、Llama3-8Bモデルをfine-tuningし、その
新型生成AI "Claude3 Haiku"を試してみた。 速くて賢いのに低価格。 AI エージェントとして使いたい！
３月14日に"Claude3 Haiku"(1)というClaude3 生成AIの中で最も軽量なモデルが公開され、webアプリやAPIで使えるようになりました。いつもは最も高性能なモデルに惹かれるのですが、今回は最も軽いモデルを取り上げてみたいと思います。最近AI Agentのような繰り返し計算を実行するアルゴリズムを使うことが増えてきました。GPT4のようなハイエンドモデルを使いたいのですが、とてもコストが嵩むので簡単には実行できません。そこで安くて性能が良いモデルを探してい
Google Gemini 1.5 Pro の長いコンテキストウィンドウを使えば、 AIもいよいよ自分の個性を持ち始めるかも?!
AIの進化の速度は今年も凄まじいですね。Googleから新しいgenerative AI "Gemini 1.5 Pro" が発表されました。Mixture-of-Experts (MoE) architectureを採用した自信作のようです。まだ限定的なユーザーにのみ公開されているだけで、実証実験が出来るのはもう少し先ですが、興味深い技術的ブレイクスルーが紹介されていますので、少し深堀りしてみたいと思います。 １．100万tokenの長いcontext window Ge
"REST MEETS REACT" 合成データによる新しいプロンプト・エンジニアリング。人間が生成したデータに頼らずにAIを強化するための莫大な可能性を秘めています
明けましておめでとうございます。本年も宜しくお願い致します。早速ですが、新しい年に相応しい、先進的なプロンプト・エンジニアリング手法がGoogle DeepMindから発表されました。" REST MEETS REACT: SELF-IMPROVEMENT FOR MULTI-STEP REASONING LLM AGENT"(1)と言う論文です。合成データ(Synthetic Data)によるファインチューニングが組み込まれており、期待できそうです！それでは始めましょう。
agent-style applications の時代がやってきました。 予想より早い、しかもさらにここから加速しそうです
11月7日早朝、OpenAI DevDayが開かれました。初の年次開発者総会です。GPT-4がデビューした2023年3月以降の技術発展が一気に紹介されました。あまりにたくさんあるので、網羅的に説明するのはOpenAI CEO Sam Altmanに任せるとして、ここでは、私が考えたポイントを３つほど上げて、いろいろ考えていきたいと思います。 １．やはり値段が大切 期待されていました値下げが実現しました。GPT-4はざっくりいって65%オフ程度になりそうです。もちろん使い方に
Google DeepMindより新しいprompt engineering手法登場。 CoTを上回る精度が得られるかも！
こんにちは、皆さんお元気でお過ごしでしょうか？ 今年もあと２ヶ月を切りましたね。本当にAIの進化が凄まじかった年でしたが、まだその速度は衰えないようです。先日、新しいPrompt-engineering手法としてGoogle DeepMindより"Step-Back Prompting (1)"が発表されました。早速詳細をみてみましょう。 １．Step-Back Prompting DeepMindからの提案なので、当初は複雑な手法かと思いましたが、コンセプトそのものはシン
GPT4による合成テキストでGPT3.5をfine-tuning。精度は向上しました! 将来は訓練テキストが要らなくなるかも???
こんにちは、９月も後半というのに相変わらずの暑さ。写真もミスマッチ感満載ですが、早く涼しくなって欲しいのであえて秋にこだわります。でも今月いっぱい暑いままかも知れないですね。 さて、先日ご紹介したChatGPT3.5のfine tuningですが、やはり話題になってますね。ご自身のタスクに特化して性能を上げたいニーズは特に企業では根強いのだと思います。そこで今回は手元にデータが無くてもなんとかしたいケースを想定して、合成テキストを生成したのちfine tuningを行う実験
ChatGPTにfine-tuningがやって来た。その効果は抜群で、タスクに応じて実施すれば精度の大幅な改善が期待できるかも!!
皆さんこんにちは、暑い日が続きますがお元気でしょうか？イラストだけは秋らしくしたのですが、当分夏は居座りそうですね。 そうこうしているうちに突然、OpenAIから「fine-tuning機能が実装できました」との連絡がありました。私はオープンソースモデルでは必ずfine-tuningを行っていたので、ChatGPTでは全く触れられずに少し寂しかったのですが、いよいよ満を持して登場したようです。OpenAIも少し本気になったのかなと思いました。では早速始めてみましょう。 １
