#LLM
物理学者の逆襲!?Entropixはわずか3億6000万パラメータで1000億パラメータ級の回答を引き出す!Claude-3でも間違う問題を360Mが正しく解く
物理学者たちがノーベル物理学賞をホップフィールドとヒントンが受賞すると知った時、まあまあ微妙な気持ちになったことは想像に難くない。
我々コンピュータ科学者にとっては、ノーベル賞は全く無縁なものだった。むしろ「ノーベル賞をコンピュータ科学者が取ることは永久にない」と言い訳することさえできた。コンピュータ科学の世界にはチューリング賞という立派な賞があるし、ノーベル賞よりも賞金が高かった京都賞は、アラ
ただでネットをクローリングしてJSON形式でデータを取り出す
Crawl4aiは、LLM用のクローラーだ。内部ではSeleniumとlitellmを使用していて、任意のWebサイトから情報を抽出できる。
元々のサンプルはOpenAIのAPIを呼んでいたが、金がかかるし、APIの呼び出しリミットが来ると嫌なのでOllama+Reflectionでやれないか試したら、できた。
import osimport timefrom crawl4ai.web_cra
LLama3.1-70BをReflection化するReflectionプロンプトを試す/ついでにTanuki-8Bでも試してみる
Reflection的なやり方はシステムプロンプトを変更するとできるそうで、Llama-3.1:70Bにシステムプロンプトを設定してやってみた。
設定すべきプロンプトはこれ
You are an AI assistant designed to provide detailed, step-by-step responses. Your outputs should follow this s
Reflection-70BとLlama-3.1-70Bを比較する
Llama3.1をファインチューニングして性能がすごく良くなったという「Reflection-70B」だが、実はLlama3.1ではなくてLlama3をファインチューニングしたのでは?という疑惑もある。
まあとりあえず百聞は一見に如かず、なので触ってみることにした。
Reflectionの特徴は、その名の通り「反射」という仕組みによって自己批判的に推論していくこと。
まずはReflection
