#LLM
Llama3.3 128Kコンテキスト長多言語対応オープンLLMと200万トークン対応かつ無料で使えるGemini-exp-1206など
OpenAIが平日毎日新機能の説明をするというイベントのために午前2時に起きたが、割と興味のない内容だったので松尾さんと二人で憤慨していたのだが、その裏でMetaがLlama3.3-70Bを公開していた。70BでGPT-4oを上回る性能かつ、Llama3.1 405Bを上回る性能らしい。
早速、昨日試したAttentionにまつわる物語を翻訳してもらうと、確かになかなかいい翻訳になった。
これ
「考えるということを考えるAI」： OpenAI o1と因果推論AI（Causal AI）
本記事は、9月12日にOpenAIから発表された新しいAIモデル、o1 シリーズ (o1-preview, o1-mini）についてと、o1 登場によって注目が高まるであろう、生成AI（Generative AI）とは異なるアプローチのAIであり、「考えるということを考える」を実現する、因果推論AI（Causal AI）について概観したものです。AGI(汎用人工知能) の実現に向けたステップにもな
もっとみる
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く
物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。
我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラ
ただでネットをクローリングしてJSON形式でデータを取り出す
Crawl4aiは、LLM用のクローラーだ。内部ではSeleniumとlitellmを使用していて、任意のWebサイトから情報を抽出できる。
元々のサンプルはOpenAIのAPIを呼んでいたが、金がかかるし、APIの呼び出しリミットが来ると嫌なのでOllama+Reflectionでやれないか試したら、できた。
import osimport timefrom crawl4ai.web_cra
LLama3.1-70BをReflection化するReflectionプロンプトを試す/ついでにTanuki-8Bでも試してみる
Reflection的なやり方はシステムプロンプトを変更するとできるそうで、Llama-3.1:70Bにシステムプロンプトを設定してやってみた。
設定すべきプロンプトはこれ
You are an AI assistant designed to provide detailed, step-by-step responses. Your outputs should follow this s
Reflection-70BとLlama-3.1-70Bを比較する
Llama3.1をファインチューニングして性能がすごく良くなったという「Reflection-70B」だが、実はLlama3.1ではなくてLlama3をファインチューニングしたのでは?という疑惑もある。
まあとりあえず百聞は一見に如かず、なので触ってみることにした。
Reflectionの特徴は、その名の通り「反射」という仕組みによって自己批判的に推論していくこと。
まずはReflection
