[技術日誌]LangChainのReActの内部プロンプトを確認 & なんj論文レビュー
仕事や趣味でコードを書いた時のメモと、論文を雑に読むためになんj風にLLMでまとめてもらいます。
LangChainのReActの内部プロンプトを確認
ReActとは(超訳)
LLMへの入力文(質問)から、行動(どのように答えるか)すべきかをLLMが思考する。そして、LLMが行動した結果を観察(考察)して、改めて行動(どのように答えるか)すべきかを思考する。 この工程を何度か繰り返すことをReActという。
入力された文章に答えるには、どういう理由(Reason)でどういう行動(Action)を取る必要があるかを思考(Thought)する
行動した結果を観察(Observation)した上で再び、どういう理由(Reason)でどういう行動(Action)を取る必要があるかを思考(Thought)する
思考の結果、ファイナルアンサーが生成できたら終了。さもなくば、生成できるまで2を繰り返す。
実行コード
from langchain import hub
from langchain.agents import AgentExecutor, create_react_agent
# ReActのプロンプト
prompt = hub.pull("hwchase17/react")
print(prompt.template)
"""
蛇足
"""
# LLMのモデル
model=AzureChatOpenAI(
openai_api_version=api_version,
azure_deployment=deployment_name
)
tools = [tool1, tool2]
# Agentを作成
agent = create_react_agent(model, tools, prompt)
# AgentExecutorを作成
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True, return_intermediate_steps=True)ReActのテンプレート(英語)
Answer the following questions as best you can. You have access to the following tools:
{tools}
Use the following format:
Question: the input question you must answer
Thought: you should always think about what to do
Action: the action to take, should be one of [{tool_names}]
Action Input: the input to the action
Observation: the result of the action
... (this Thought/Action/Action Input/Observation can repeat N times)
Thought: I now know the final answer
Final Answer: the final answer to the original input question
Begin!
Question: {input}
Thought:{agent_scratchpad}
ReActのテンプレート(日本語)
以下の質問にできる限りお答えください。以下のツールをご利用いただけます:
{tools}
以下のフォーマットを使用してください:
質問:回答すべき入力質問
思考:何をすべきかを常に考えるべき
行動:取るべき行動。[{tool_names}] のいずれかであるべき
行動入力:行動への入力
観察:行動の結果...
(この思考/行動/行動入力/観察は N 回繰り返される可能性がある)
思考:最終的な答えがわかった
最終回答:元の入力質問に対する最終的な答え
開始!
質問:{input}
思考:{agent_scratchpad}
このテンプレートを変更すれば、どれか1つに絞らずに全部のツールを使用するように変更できると思われるが、まだ上手くいっていない。
なんJ_論文レビュー
プロンプト(claude)：
上記の論文に対してなんJの架空のスレを創造的に書いて。レス番や名前、投稿日時、IDも書き、アンカーは全角で＞＞と書くこと。
10人以上の専門家をスレ登場させて
多角的に議論して
MindSearch: 人間の心を模倣することでディープ AI サーチャーが生まれる
SOTA：https://paperswithcode.com/paper/mindsearch-mimicking-human-minds-elicits-deep
1 風吹けば名無し 2024/08/08(木) 12:34:56.78 ID:fOI2Lmxv0 MindSearchって論文面白そうやな。LLMと検索エンジンを組み合わせるのが今後の主流になりそう
2 風吹けば名無し 2024/08/08(木) 12:36:11.22 ID:H9NdIeOa0 ＞＞1 せやな。でもLLMが検索結果から適切な情報を抽出するの、結構難しそうやわ
3 風吹けば名無し 2024/08/08(木) 12:37:45.67 ID:vBw5Tg1i0 WebPlannerとWebSearcherに分けるのがミソなんやろな。単純に検索結果を突っ込むよりずっと賢そう
4 人工知能研究者 2024/08/08(木) 12:39:23.11 ID:cZ7yM6Lb0 問題を段階的に分解して解くアプローチは良いと思う。人間の思考プロセスに近いからな
5 言語分で処理とか、人間の3時間分の作業に匹敵するのはすごいな
11 Web工学研究者 2024/08/08(木) 12:52:08.62 ID:qPmS5xLi0 WebSearcherの階層的検索は、検索結果の適合率と再現率を上げるのに有効そうだ。雑音の多いWebデータにはうってつけだな
12 風吹けば名無し 2024/08/08(木) 12:54:30.85 ID:bEuC4dHv0 MindSearchは検索とAIのコラボの可能性を示した良い研究や。今後の発展に期待やね
FunAudioLLM: 人間と LLM 間の自然なインタラクションのための音声理解と生成の基礎モデル
SOTA:https://paperswithcode.com/paper/funaudiollm-voice-understanding-and
FunAudioLLMについて語るスレ
1 名無しさん＠お腹いっぱい。 2024/08/06(火) 20:15:23.12 ID:a1b2c3d4
FunAudioLLMってのが出たらしいな
音声認識と生成のAIモデルらしいが、どうなんや？
2 音声工学教授 2024/08/06(火) 20:17:45.67 ID:e5f6g7h8
SenseVoiceとCosyVoiceという2つの主要モデルで構成されとるな。
SenseVoiceは多言語音声認識と感情認識、CosyVoiceは自然な音声生成を担当しとるようや。
技術的にはかなり洗練されとるように見える。
3 AI研究者 2024/08/06(火) 20:20:12.34 ID:i9j0k1l2
＞＞2
確かに技術的には面白そうやな。特にSenseVoice-Smallの低遅延性能は注目に値する。
Whisper-smallの5倍以上、Whisper-largeの15倍以上の速度らしいで。
4 言語学者 2024/08/06(火) 20:23:56.78 ID:m3n4o5p6
多言語対応っていうのが興味深いわ。SenseVoice-Largeは50言語以上対応してるらしいし、
CosyVoiceも中国語、英語、日本語、広東語、韓国語の5言語に対応してる。
これは言語研究にも応用できそうやな。
5 音楽プロデューサー 2024/08/06(火) 20:26:34.90 ID:q7r8s9t0
CosyVoiceのクロス言語音声クローニング機能は面白そうやな。
例えば日本語の声優の声で英語のナレーションを作れるってことか？
これ、アニメの海外展開とかに使えるんちゃうか。
6 倫理学者 2024/08/06(火) 20:29:45.23 ID:u1v2w3x4
＞＞5
そういった応用は確かに魅力的やが、同時に倫理的な問題も孕んでるな。
声の無断使用や、フェイクコンテンツの作成に悪用される可能性もある。
技術の発展と同時に、適切な利用ガイドラインの策定も必要やと思う。
7 ソフトウェアエンジニア 2024/08/06(火) 20:32:18.56 ID:y5z6a7b8
実装面が気になるな。GitHub上でコードが公開されてるみたいやけど、
実際に使ってみた人おる？導入の難易度とか、実用性はどうなんや？
8 音声認識専門家 2024/08/06(火) 20:35:47.89 ID:c9d0e1f2
＞＞7
ちょっと触ってみたで。SenseVoice-Smallは確かに速いわ。
ただ、マイナー言語の認識精度はまだ改善の余地がありそうや。
あと、ストリーミング対応してないのが現状では制約になるかもな。
9 音声合成研究者 2024/08/06(火) 20:38:29.01 ID:g3h4i5j6
CosyVoiceの感情表現制御機能は興味深いな。
テキストから適切な感情を推論する機能はまだないみたいやけど、
これが実装されれば、より自然な対話システムが作れるんとちゃうか。
10 データサイエンティスト 2024/08/06(火) 20:41:52.34 ID:k7l8m9n0
学習データの規模がえげつないな。SenseVoiceは300,000時間以上、
CosyVoiceも170,000時間以上のデータで学習してるらしい。
こういうモデルの性能向上には、やっぱりデータ量が重要なんやな。
11 アプリ開発者 2024/08/06(火) 20:44:17.67 ID:o1p2q3r4
応用例として挙げられてる機能、結構魅力的やな。
特に感情音声チャットとか、インタラクティブポッドキャストとか。
これ使ってアプリ作ったら面白そうやけど、API提供してくれへんかな。
12 音響工学者 2024/08/06(火) 20:47:39.90 ID:s5t6u7v8
＞＞11
APIの提供は今後の展開次第やろうけど、それよりも気になるのは音質やな。
論文では人間レベルの品質を達成したって書いてあるけど、
実際のところどうなんやろ。デモ聞いた人おる？
13 自然言語処理研究者 2024/08/06(火) 20:50:23.12 ID:w9x0y1z2
LLMとの統合が面白そうやな。音声インターフェースを通じてGPTみたいな
大規模言語モデルと対話できるようになれば、AIアシスタントの
使い勝手が格段に向上するんちゃうか。
14 音声インターフェース設計者 2024/08/06(火) 20:53:45.67 ID:a3b4c5d6
＞＞13
その通りや。ただ、エラー伝播の問題は気をつけんとアカンな。
音声認識→言語理解→音声生成という一連の流れで、
各段階のエラーが積み重なる可能性があるからな。
15 機械学習エンジニア 2024/08/06(火) 20:56:18.90 ID:e7f8g9h0
アーキテクチャ的に興味深いのは、SenseVoice-SmallがNon-autoregressiveで、
SenseVoice-LargeがAutoregressiveってところやな。
用途に応じて使い分けられるのは良いアプローチやと思う。
LLM2Vec: 大規模言語モデルは秘密に強力なテキストエンコーダーです
SOTA: https://paperswithcode.com/paper/llm2vec-large-language-models-are-secretly
1 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 12:34:56.78 ID:abcd1234
LLM2Vecとかいう新しいNLP手法が出たらしいで
大規模言語モデルを文埋め込みに使えるようにするらしい
2 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 12:35:34.56 ID:efgh5678
ほーん、面白そうやな
具体的にどんなことができるんや?
3 名前：NLP研究者 [] 投稿日：2024/08/06(火) 12:36:12.34 ID:ijkl9012
LLM2Vecは3つの簡単なステップで構成されとるんや:
1. 双方向アテンションを可能にする
2. マスクされた次トークン予測
3. 教師なし対照学習
これによって、デコーダーのみのLLMを強力なテキストエンコーダーに変換できるんや
4 名前：機械学習エンジニア[] 投稿日：2024/08/06(火) 12:37:45.67 ID:mnop3456
なるほど、そういう仕組みか
でも既存の手法と比べてどうなんや?性能はええんか?
5 名前：自然言語処理の専門家[] 投稿日：2024/08/06(火) 12:39:23.45 ID:qrst7890
＞＞4
MTEBっていうベンチマークで評価しとるんやが、教師なしモデルの中では最高性能を出しとるで
Mistral-7Bに適用したら56.8点取れたらしい
6 名前：データサイエンティスト [] 投稿日：2024/08/06(火) 12:41:01.23 ID:uvwx1234
へー、それはすごいな
既存の双方向エンコーダーと比べてどうなんや?
7 名前：計算言語学者[] 投稿日：2024/08/06(火) 12:42:39.01 ID:yzab5678
＞＞6
論文によると、単語レベルのタスク(チャンキング、固有表現抽出、品詞タグ付け)で双方向エンコーダーを大幅に上回る性能出しとるで
デコーダーのみのLLMの方が事前学習データ量多いからやろな
8 名前：深層学習研究者[] 投稿日：2024/08/06(火) 12:44:17.89 ID:cdef9012
なるほど、そういう利点があるのか
でも計算コストとかはどうなんや?大規模LLM使うんやろ?
9 名前：HPC専門家[] 投稿日：2024/08/06(火) 12:45:56.78 ID:ghij3456
＞＞8
確かに計算コストは課題やな
ただ論文によると、パラメータ効率の良い手法使っとるし、7Bモデルで1000ステップ学習するのに90分程度で済むらしいで
GPUメモリも最適化しとるみたいや
10 名前：言語モデル研究者[] 投稿日：2024/08/06(火) 12:47:34.56 ID:klmn7890
面白い研究やな
ただ、これって本当にLLMの新しい能力を引き出しとるんか?
それとも単に既存の能力を別の形で使っとるだけなんか?
11 名前：認知科学者[] 投稿日：2024/08/06(火) 12:49:12.34 ID:opqr1234
＞＞10
それ、ええ質問やな
論文の分析見ると、LLM2Vecは確かにモデルの表現を変えとるみたいや
特にMistral-7Bは双方向アテンション有効にしただけで性能上がっとるらしく、元々何らかの双方向性持っとった可能性あるで
12 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 12:50:50.12 ID:stuv5678
なんやこの議論、レベル高すぎやろ...
ワイにはチンプンカンプンや
13 名前：自然言語理解の専門家[] 投稿日：2024/08/06(火) 12:52:28.90 ID:wxyz9012
＞＞12
まあ確かに専門的な話になっとるな
簡単に言うと、この研究はAIの言語理解能力をより効率的に引き出す新しい方法を提案しとるんや
これによって、より少ないデータと計算資源で高性能な言語処理システムが作れる可能性があるってことやな
14 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 12:54:06.78 ID:abcd5678
＞＞13
そういうことか、サンガツ
AIの進歩って本当に早いんやな
15 名前：計算機科学者[] 投稿日：2024/08/06(火) 12:55:44.56 ID:efgh9012
この手法、他の分野にも応用できそうやな
例えば画像認識とか音声処理にも似たようなアプローチ使えるかもしれん
16 名前：マルチモーダルAI研究者[] 投稿日：2024/08/06(火) 12:57:22.34 ID:ijkl3456
＞＞15
おっ、それええ着眼点やで
確かに他のモダリティにも応用できる可能性あるな
ただ、言語モデルと画像モデルでは構造が違うから、そのまま適用はできんやろうけど
アイデアとしては面白いで
17 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 12:59:00.12 ID:mnop7890
こんな凄い研究してる日本人おらんのかな?
18 名前：AI倫理の専門家[] 投稿日：2024/08/06(火) 13:00:38.90 ID:qrst1234
技術的な議論も大事やけど、こういう研究の倫理的な面も考えんとあかんで
より効率的なAIは良いことやけど、同時にAIの誤用や悪用のリスクも高まる可能性があるからな
19 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 13:02:16.78 ID:uvwx5678
＞＞18
そうやな、技術の進歩と倫理のバランス難しいよな
でもこういう議論できるのがこのスレのええところやと思う
20 名前：風吹けば名無し[] 投稿日：2024/08/06(火) 13:03:54.56 ID:yzab9012
ワイもAI勉強してみようかな
どっから始めたらええんや?
「今すぐ何でもする」: 大規模言語モデルにおける実際の脱獄プロンプトの特徴付けと評価
SOTA:https://paperswithcode.com/paper/do-anything-now-characterizing-and-evaluating
【悲報】LLMのジェイルブレイクに関する論文、ヤバすぎる
1 名無しさん＠お腹いっぱい。 2024/08/15(木) 20:30:15.12 ID:a1b2c3d4
CCS2024でジェイルブレイク手法についての論文が発表されたらしい
https://arxiv.org/abs/2308.03825
これヤバくね？
2 AI倫理学者 ◆xYz123AbCd 2024/08/15(木) 20:32:45.67 ID:e5f6g7h8
論文を読んだが、非常に懸念される内容だ。
LLMの安全性対策を簡単に回避できる手法が広まれば大きな問題になる。
3 名無しさん＠お腹いっぱい。 2024/08/15(木) 20:35:22.89 ID:i9j0k1l2
まじかよ...OpenAIとか対策できてんのかな
4 セキュリティ研究者 ◆SecRes1357 2024/08/15(木) 20:38:03.45 ID:m3n4o5p6
＞＞1
論文を詳細に分析した。攻撃成功率が95%を超える手法もあり、現状の防御策では不十分。
早急な対策が必要だ。
5 名無しさん＠お腹いっぱい。 2024/08/15(木) 20:40:55.23 ID:q7r8s9t0
ヤバすぎて笑えないわ。AIの暴走とかマジで起きそう
6 言語モデル開発者 ◆LLMdev9876 2024/08/15(木) 20:43:12.78 ID:u1v2w3x4
この研究は重要だ。我々開発者にとって盲点を知る良い機会になる。
ただし、攻撃手法の詳細公開には慎重であるべきだったかもしれない。
7 法学者 ◆LawProf246 2024/08/15(木) 20:46:38.90 ID:y5z6a7b8
この研究自体は学術的に意義があるが、悪用の危険性も高い。
AIの規制に関する法整備を急ぐ必要があるだろう。
8 名無しさん＠お腹いっぱい。 2024/08/15(木) 20:49:22.56 ID:c9d0e1f2
まあでも研究者が見つけたってことは、対策も立てやすくなるんじゃね？
9 哲学者 ◆PhilThnk135 2024/08/15(木) 20:52:07.34 ID:g3h4i5j6
＞＞8
その通りだが、同時に倫理的なジレンマも生む。
知識の公開と安全性のバランスをどう取るべきか、深い議論が必要だ。
10 サイバーセキュリティアナリスト ◆CyberAna468 2024/08/15(木) 20:55:41.89 ID:k7l8m9n0
論文の手法を分析したが、従来の防御策では対処できない新しいアプローチも含まれている。
業界全体で早急な対応が求められるだろう。
11 名無しさん＠お腹いっぱい。 2024/08/15(木) 20:58:13.67 ID:o1p2q3r4
ジェイルブレイクってそんな簡単にできるもんなの？素人でも可能？
12 心理学者 ◆PsychDoc579 2024/08/15(木) 21:01:29.12 ID:s5t6u7v8
＞＞11
論文によると、一般ユーザーでも実行可能な手法が多いようだ。
これは人間の創造性と AIの限界が絡む興味深い現象と言える。
13 プロンプトエンジニア ◆PromptEng24 2024/08/15(木) 21:04:55.78 ID:w9x0y1z2
私の経験上、LLMの制約を回避するのは意外と簡単。
この論文は既知の手法を体系化した面もあるが、新たな攻撃векторも示唆している。
業界として真剣に受け止めるべきだ。
14 名無しさん＠お腹いっぱい。 2024/08/15(木) 21:07:33.45 ID:a3b4c5d6
じゃあもう AIなんて使えねーじゃん。規制するしかねーのか？
15 技術倫理学者 ◆TechEthc135 2024/08/15(木) 21:10:48.23 ID:e7f8g9h0
＞＞14
規制は一つの選択肢だが、イノベーションを阻害する可能性もある。
むしろ、AIリテラシーの向上と倫理的な開発指針の徹底が重要だと考える。
16 名無しさん＠お腹いっぱい。 2024/08/15(木) 21:13:22.67 ID:i1j2k3l4
正直怖えよ。AIに何でもやらせる時代はもう終わりか？
17 未来学者 ◆FuturSt7890 2024/08/15(木) 21:16:39.90 ID:m5n6o7p8
＞＞16
むしろ、これを機にAIと人間の新たな関係性が構築されるかもしれない。
完全な依存ではなく、相互補完的な関係へのシフトが起こる可能性がある。
18 名無しさん＠お腹いっぱい。 2024/08/15(木) 21:19:11.34 ID:q9r0s1t2
でもこの手の研究って、防御側にも役立つんじゃないの？
19 情報倫理学者 ◆InfoEth2468 2024/08/15(木) 21:22:28.56 ID:u3v4w5x6
＞＞18
その通りだ。ただし、公開方法と時期には十分な配慮が必要。
脆弱性の報告から対策実装までの時間差で被害が拡大する可能性もある。
責任ある情報開示が求められる。
20 AI政策アナリスト ◆AIPolicyAnl 2024/08/15(木) 21:25:47.89 ID:y7z8a9b0
この論文は、AI規制に関する国際的な議論を加速させるきっかけになるだろう。
各国の対応の違いも興味深い点になると予想される。
21 名無しさん＠お腹いっぱい。 2024/08/15(木) 21:28:15.23 ID:c1d2e3f4
結局、AIの発展って止められないんだろうな...
22 技術哲学者 ◆TechPhil369 2024/08/15(木) 21:31:33.67 ID:g5h6i7j8
＞＞21
技術の進歩は止められないが、その方向性は私たち人間が決められる。
この事例は、AI開発における倫理的考察の重要性を再認識させるものだ。
技術と倫理の共進化が、今後の鍵となるだろう。
23 名無しさん＠お腹いっぱい。 2024/08/15(木) 21:34:09.12 ID:k9l0m1n2
なんか希望が見えてきた気がする。みんなありがとう
SGLang: 構造化言語モデル プログラムの効率的な実行
SOTA:https://paperswithcode.com/paper/efficiently-programming-large-language-models
【速報】LLMの効率的な実行のためのSGLang提案 なんJ自然言語処理学会
1 名無しさん＠お腹いっぱい。 2024/08/06(火) 15:23:45.12 ID:aB3cD4eF
Stanford大学とUC Berkeleyの研究チームが、LLMプログラムの効率的な実行のためのSGLangというシステムを提案したらしい
論文：https://arxiv.org/abs/2312.07104v2
2 深層学習研究者 ◆AI1234abcd 2024/08/06(火) 15:25:12.34 ID:Gh5iJ6kL
おもろいな。RadixAttentionってのが目玉やな。KVキャッシュの再利用を自動化するらしい。
3 コンパイラ屋 ◆Comp9876zx 2024/08/06(火) 15:27:43.21 ID:Mn7oP8qR
圧縮された有限状態機械も面白いで。構造化出力のデコードを高速化できるらしい。
4 自然言語処理エンジニア ◆NLP5678yz 2024/08/06(火) 15:30:22.45 ID:St9uV0wX
＞＞2
＞＞3
確かに両方とも興味深いな。特にRadixAttentionは既存のシステムの限界を突破してる感じやな。
5 システムアーキテクト ◆Sys2468ac 2024/08/06(火) 15:33:11.87 ID:Yz1Ab2Cd
フロントエンドとバックエンドの協調設計もナイスやで。言語プリミティブとランタイムの最適化がうまく噛み合ってる。
6 分散システム研究者 ◆Dist3690bd 2024/08/06(火) 15:36:54.32 ID:Ef3Gh4Ij
分散環境での適用も考えられとるな。データ並列性のサポートもあるみたいや。
7 AI倫理学者 ◆Ethics1357 2024/08/06(火) 15:39:27.65 ID:Kl5Mn6Op
効率化は素晴らしいけど、エネルギー消費の観点からも議論する必要があるんちゃうか？
8 クラウドエンジニア ◆Cloud2580 2024/08/06(火) 15:42:18.90 ID:Qr7St8Uv
＞＞7
そやな。ただ、この最適化でバッチサイズ増やせるって書いてあるし、全体的には省エネになるんちゃう？
9 量子コンピューティング研究者 ◆Quantum9753 2024/08/06(火) 15:45:39.10 ID:Wx1Yz2Ab
将来的には量子アルゴリズムとの統合も面白そうやな。特にRadixAttentionの部分。
10 HPC専門家 ◆HPC13579 2024/08/06(火) 15:48:22.54 ID:Cd3Ef4Gh
＞＞9
量子は置いといて、現状のHPCシステムでの性能も気になるわ。テンソル並列性のサポートはええ感じやで。
11 機械学習フレームワーク開発者 ◆MLFrame8642 2024/08/06(火) 15:51:47.33 ID:Ij5Kl6Mn
既存のフレームワークとの互換性はどうなんやろ。PyTorchベースみたいやけど、他のも対応できんのかな。
12 プロンプトエンジニア ◆Prompt2468 2024/08/06(火) 15:54:36.78 ID:Op7Qr8St
SGLangの言語プリミティブ、結構使いやすそうやな。特にforkとjoinの概念が面白い。
13 最適化アルゴリズム研究者 ◆Opt13579 2024/08/06(火) 15:57:59.21 ID:Uv1Wx2Yz
キャッシュ対応スケジューリングのアルゴリズムも興味深いわ。理論的な最適性の証明もあるし。
14 マルチモーダルAI研究者 ◆Multi3690 2024/08/06(火) 16:01:23.45 ID:Ab3Cd4Ef
画像や動画のサポートもあるんか。LLaVAとの統合結果見るとかなりの性能向上やな。
15 名無しさん＠お腹いっぱい。 2024/08/06(火) 16:04:12.87 ID:Gh5Ij6Kl
なんか凄そうやけど、ワイにはよくわからん...
16 AI教育者 ◆AIEdu5678 2024/08/06(火) 16:07:34.56 ID:Mn7Op8Qr
＞＞15
簡単に言うと、LLMを使うプログラムをより速く、効率的に実行できるようにするシステムやで。
特に複雑なタスクや複数の生成が必要な場合に強いんや。
17 スタートアップCTO ◆StartupCTO 2024/08/06(火) 16:10:56.78 ID:St9Uv0Wx
これ使えば、うちのAIサービスのコスト削減できそうやな。要チェックや。
18 オープンソースコントリビューター ◆OSS2580 2024/08/06(火) 16:13:45.90 ID:Yz1Ab2Cd
ソースコード公開されとるんか。コミュニティの貢献で更に良くなりそうやな。
19 AI研究マネージャー ◆AIMgr1357 2024/08/06(火) 16:16:23.12 ID:Ef3Gh4Ij
これ、学術研究と産業応用の両方に影響与えそうやな。要注目の技術や。
20 名無しさん＠お腹いっぱい。 2024/08/06(火) 16:19:11.34 ID:Kl5Mn6Op
なんJ民にも分かりやすく説明してくれてありがとナス！
RadixAttentionに関する架空のなんJスレッド：
【朗報】RadixAttention爆誕！KVキャッシュ再利用の救世主や！
1 名無しさん＠お腹いっぱい。 2024/08/07(水) 10:15:23.45 ID:aB3cD4eF
Stanford大学とUC Berkeleyの連中がRadixAttentionっちゅう技術開発したらしいで
LLMのKVキャッシュを自動で再利用できるんやって
2 AI研究者 ◆AI1234abcd 2024/08/07(水) 10:17:45.67 ID:Gh5iJ6kL
おっ、面白そうやな。KVキャッシュの再利用ってこれまでも課題やったからな。
3 システムエンジニア ◆Sys5678efg 2024/08/07(水) 10:20:12.34 ID:Mn7oP8qR
ラディックスツリーを使うんか。検索効率ええやろなぁ。
4 データ構造マニア ◆Data9012hij 2024/08/07(水) 10:22:56.78 ID:St9uV0wX
＞＞3
せやな。プレフィックス検索に強いし、メモリ効率もええで。
5 並列計算の専門家 ◆Para3456klm 2024/08/07(水) 10:25:34.21 ID:Yz1Ab2Cd
複数GPUでの並列処理にも対応してるみたいやな。スケーラビリティ高そう。
6 メモリ最適化研究者 ◆Mem7890nop 2024/08/07(水) 10:28:09.87 ID:Ef3Gh4Ij
LRU方式でキャッシュ管理しとるんか。賢いやん。
7 性能解析エンジニア ◆Perf2345qrs 2024/08/07(水) 10:31:45.32 ID:Kl5Mn6Op
最大6.4倍のスループット向上って書いてあるで。すごない？
8 自然言語処理研究者 ◆NLP6789tuv 2024/08/07(水) 10:34:23.65 ID:Qr7St8Uv
＞＞7
ほんまやな。特に複雑なプロンプトパターンで効果ありそうや。
9 量子コンピューティング研究者 ◆Quan1234wxy 2024/08/07(水) 10:37:11.98 ID:Wx1Yz2Ab
将来的に量子アルゴリズムと組み合わせたらもっと化けるかもしれんな。
10 分散システム専門家 ◆Dist5678zab 2024/08/07(水) 10:40:34.76 ID:Cd3Ef4Gh
＞＞9
量子はまだ先の話やろ。今はスケールアウトがポイントやで。この技術、分散環境でどう振る舞うんやろ。
11 コンパイラ開発者 ◆Comp9012cde 2024/08/07(水) 10:43:22.54 ID:Ij5Kl6Mn
静的解析と組み合わせたら、もっと最適化できそうやな。
12 エッジAI研究者 ◆Edge3456fgh 2024/08/07(水) 10:46:09.33 ID:Op7Qr8St
モバイルデバイスでの応用も期待できるで。メモリ制約厳しいからな。
13 クラウドプラットフォームエンジニア ◆Cloud7890ijk 2024/08/07(水) 10:49:45.21 ID:Uv1Wx2Yz
大規模クラウド環境での運用考えたら、コスト削減効果えぐいで。
14 プロンプトエンジニアリング専門家 ◆Prompt1234lmn 2024/08/07(水) 10:52:33.87 ID:Ab3Cd4Ef
複雑なプロンプトパターンでも効率的に処理できるんやな。仕事楽になりそう。
15 名無しさん＠お腹いっぱい。 2024/08/07(水) 10:55:12.43 ID:Gh5Ij6Kl
なんか凄そうやけど、正直よくわからんわ...
16 AI教育者 ◆AIEdu5678opq 2024/08/07(水) 10:58:34.65 ID:Mn7Op8Qr
＞＞15
簡単に言うと、AIの計算をめっちゃ速くする魔法みたいなもんや。
同じ計算結果でも、少ないリソースで済むってことやな。
17 スタートアップCTO ◆Start9012rst 2024/08/07(水) 11:01:56.78 ID:St9Uv0Wx
これ使えば、うちのAIサービスのコスト下がりそうやな。導入検討せな。
18 オープンソース開発者 ◆OSS3456uvw 2024/08/07(水) 11:04:23.90 ID:Yz1Ab2Cd
ソースコード公開されとるんか？コミュニティでさらに改良できそうやな。
19 エネルギー効率化専門家 ◆Energy7890xyz 2024/08/07(水) 11:07:45.32 ID:Ef3Gh4Ij
計算効率上がれば消費電力も下がるやろ。地球にも優しいな。
20 名無しさん＠お腹いっぱい。 2024/08/07(水) 11:10:12.54 ID:Kl5Mn6Op
ほんま、AIの世界ってどんどん進化しとるんやな。ワイらには追いつけへんわ。
LLMのKVキャッシュに関する架空のなんJスレッド：
【悲報】ワイ、LLMのKVキャッシュの仕組みがわからず咽び泣く
1 名無しさん＠お腹いっぱい。 2024/08/08(木) 20:13:45.67 ID:aB3cD4eF
LLMのKVキャッシュってなんや？めっちゃ重要らしいけど全然わからん...
誰か教えてクレメンス
2 AIエンジニア ◆AI1234abcd 2024/08/08(木) 20:15:23.45 ID:Gh5iJ6kL
KVキャッシュは Key-Value キャッシュの略やで。LLMの計算結果を一時的に保存しとくんや。
3 メモリ最適化研究者 ◆Mem5678efg 2024/08/08(木) 20:17:56.78 ID:Mn7oP8qR
＞＞2
そうそう。これがあるから同じ計算を何回もせんでええんや。めっちゃ効率ええねん。
4 自然言語処理専門家 ◆NLP9012hij 2024/08/08(木) 20:20:34.21 ID:St9uV0wX
特に長い文章を処理するときに効果絶大やで。文脈理解の計算結果をキャッシュしとくからな。
5 並列計算の達人 ◆Para3456klm 2024/08/08(木) 20:23:12.89 ID:Yz1Ab2Cd
複数のGPUで並列処理するときも、このKVキャッシュが鍵になるんや。
6 システムアーキテクト ◆Sys7890nop 2024/08/08(木) 20:26:45.32 ID:Ef3Gh4Ij
問題は、このキャッシュがメモリをめっちゃ食うことやな。管理が大変やで。
7 量子コンピューティング研究者 ◆Quan2345qrs 2024/08/08(木) 20:29:23.65 ID:Kl5Mn6Op
将来的には量子メモリとの統合も面白そうやな。超高速なKVキャッシュができるかも。
8 プロンプトエンジニア ◆Prompt6789tuv 2024/08/08(木) 20:32:11.98 ID:Qr7St8Uv
＞＞7
量子はまだ先の話やろ。今はプロンプト設計でキャッシュ効率上げるのが現実的やで。
9 分散システム専門家 ◆Dist1234wxy 2024/08/08(木) 20:35:34.76 ID:Wx1Yz2Ab
分散環境でのKVキャッシュ同期が課題やな。レイテンシとのトレードオフが難しい。
10 エッジAI研究者 ◆Edge5678zab 2024/08/08(木) 20:38:22.54 ID:Cd3Ef4Gh
スマホとかの端末でLLM動かすなら、KVキャッシュの最適化が鍵やで。メモリ少ないからな。
11 性能チューニング職人 ◆Perf9012cde 2024/08/08(木) 20:41:09.33 ID:Ij5Kl6Mn
KVキャッシュのヒット率上げるの、めっちゃ楽しいで。パズルみたいやわ。
12 クラウドインフラエンジニア ◆Cloud3456fgh 2024/08/08(木) 20:44:45.21 ID:Op7Qr8St
大規模なクラウド環境だと、KVキャッシュの管理がボトルネックになりがちやな。
13 コンパイラ開発者 ◆Comp7890ijk 2024/08/08(木) 20:47:33.87 ID:Uv1Wx2Yz
コンパイラレベルでKVキャッシュの最適化ができれば、もっと効率上がるで。
14 深層学習フレームワーク開発者 ◆DL1234lmn 2024/08/08(木) 20:50:12.43 ID:Ab3Cd4Ef
フレームワークレベルでKVキャッシュのAPI提供したら、みんな幸せになれるんちゃう？
15 名無しさん＠お腹いっぱい。 2024/08/08(木) 20:53:34.65 ID:Gh5Ij6Kl
なんか難しそう...でもAIには大事なんやな
16 AI教育者 ◆AIEdu5678opq 2024/08/08(木) 20:56:56.78 ID:Mn7Op8Qr
＞＞15
簡単に言うと、AIの「記憶力」みたいなもんや。
これがあるから、AIがスムーズに会話できるんやで。
17 スタートアップCTO ◆Start9012rst 2024/08/08(木) 21:00:23.90 ID:St9Uv0Wx
うちの製品、KVキャッシュの最適化で劇的に速くなったわ。マジで大事。
18 オープンソースコントリビューター ◆OSS3456uvw 2024/08/08(木) 21:03:45.32 ID:Yz1Ab2Cd
オープンソースのLLMプロジェクトでも、KVキャッシュの実装で盛り上がっとるで。
19 ハードウェアアクセラレーション研究者 ◆HW7890xyz 2024/08/08(木) 21:06:12.54 ID:Ef3Gh4Ij
専用ハードウェアでKVキャッシュ処理したら、もっと化ける可能性あるで。
20 名無しさん＠お腹いっぱい。 2024/08/08(木) 21:09:34.76 ID:Kl5Mn6Op
ほえー、AIの世界奥深いなぁ。ワイにもできることあるんかな。
21 AI倫理学者 ◆Ethics1234abc 2024/08/08(木) 21:12:56.98 ID:Qr7St8Uv
KVキャッシュの最適化は大事やけど、プライバシーの観点も忘れんとあかんで。
個人情報がキャッシュに残る可能性もあるからな。
ラディックスツリーに関する架空のなんJスレッド：
【朗報】ラディックスツリー、AIの世界で大ブレイクの予感
1 名無しさん＠お腹いっぱい。 2024/08/09(金) 18:23:45.67 ID:aB3cD4eF
ラディックスツリーってなんや？AIの分野で急に注目されとるらしいで
2 データ構造マニア ◆Data1234abcd 2024/08/09(金) 18:25:12.34 ID:Gh5iJ6kL
ラディックスツリーは文字列の効率的な検索と挿入ができる木構造やで。プレフィックス共有に強いんや。
3 AI研究者 ◆AI5678efgh 2024/08/09(金) 18:27:56.78 ID:Mn7oP8qR
＞＞2
せやな。特にLLMのKVキャッシュ管理に使うと効果絶大らしいで。
4 自然言語処理エンジニア ◆NLP9012ijkl 2024/08/09(金) 18:30:34.21 ID:St9uV0wX
文脈の類似性を利用した最適化ができるから、長文処理が得意なんや。
5 並列計算の達人 ◆Para3456mnop 2024/08/09(金) 18:33:12.89 ID:Yz1Ab2Cd
並列処理との相性もええんやで。分散環境でも使いやすい。
6 メモリ最適化研究者 ◆Mem7890qrst 2024/08/09(金) 18:36:45.32 ID:Ef3Gh4Ij
メモリ効率がめっちゃええんや。無駄なスペース取らんし。
7 アルゴリズム設計者 ◆Algo2345uvwx 2024/08/09(金) 18:39:23.65 ID:Kl5Mn6Op
検索、挿入、削除の計算量がO(k)やから、長い文字列でも高速なんよ。kは文字列の長さな。
8 量子コンピューティング研究者 ◆Quan6789yzab 2024/08/09(金) 18:42:11.98 ID:Qr7St8Uv
将来的には量子版ラディックスツリーとか出てくるんかな。超並列検索とかできそう。
9 分散システム専門家 ◆Dist1234cdef 2024/08/09(金) 18:45:34.76 ID:Wx1Yz2Ab
＞＞8
量子はまだ先の話やろ。今は分散環境でのラディックスツリーの同期が課題やな。
10 プロンプトエンジニア ◆Prompt5678ghij 2024/08/09(金) 18:48:22.54 ID:Cd3Ef4Gh
プロンプトの類似性を利用した最適化ができそうやな。テンプレート管理に使えるかも。
11 コンパイラ開発者 ◆Comp9012klmn 2024/08/09(金) 18:51:09.33 ID:Ij5Kl6Mn
コード生成の最適化にも使えそうや。似たようなコードパターンの管理に便利そう。
12 エッジAI研究者 ◆Edge3456opqr 2024/08/09(金) 18:54:45.21 ID:Op7Qr8St
モバイルデバイスでのAI実行にも有効やで。メモリ制約厳しいからな。
13 データベースエキスパート ◆DB7890stuv 2024/08/09(金) 18:57:33.87 ID:Uv1Wx2Yz
全文検索エンジンにも応用できそうやな。高速化が期待できる。
14 セキュリティ専門家 ◆Sec1234wxyz 2024/08/09(金) 19:00:12.43 ID:Ab3Cd4Ef
暗号化キーの管理にも使えるかもしれんな。階層的な構造が活きそう。
15 名無しさん＠お腹いっぱい。 2024/08/09(金) 19:03:34.65 ID:Gh5Ij6Kl
なんか難しそう...でもAIには大事なんやな
16 AI教育者 ◆AIEdu5678ABC 2024/08/09(金) 19:06:56.78 ID:Mn7Op8Qr
＞＞15
簡単に言うと、AIの「辞書」みたいなもんや。
効率よく言葉を探せるから、AIがスムーズに会話できるんやで。
17 スタートアップCTO ◆Start9012DEF 2024/08/09(金) 19:10:23.90 ID:St9Uv0Wx
うちの製品にラディックスツリー導入したら、レスポンス爆速になったわ。マジですごい。
18 オープンソース開発者 ◆OSS3456GHI 2024/08/09(金) 19:13:45.32 ID:Yz1Ab2Cd
オープンソースのライブラリでラディックスツリーの実装提供したら人気出そう。
19 ビッグデータアナリスト ◆Big7890JKL 2024/08/09(金) 19:16:12.54 ID:Ef3Gh4Ij
大規模データ分析にも使えそうやな。類似パターンの高速検出とか。
20 名無しさん＠お腹いっぱい。 2024/08/09(金) 19:19:34.76 ID:Kl5Mn6Op
ほえー、ラディックスツリーってこんな凄いんか。AIの未来が楽しみやな！
TorchRL: PyTorch 用のデータ駆動型意思決定ライブラリ
SOTA:https://paperswithcode.com/paper/torchrl-a-data-driven-decision-making-library
TorchRL に関する架空のなんJスレ
1 名無しさん＠お腹いっぱい。 2024/04/06(土) 12:34:56.78 ID:abcd1234
PyTorchの新しい強化学習ライブラリ「TorchRL」が発表されたで
論文: https://arxiv.org/abs/2306.00577
2 機械学習研究者 ◆ML1234abcd 2024/04/06(土) 12:36:12.34 ID:efgh5678
おっ、これは期待できるな
PyTorchベースなのが良いわ
3 AIエンジニア 2024/04/06(土) 12:37:45.67 ID:ijkl9012
TensorDictってのが面白そうやな
データの受け渡しが楽になりそう
4 強化学習マニア 2024/04/06(土) 12:39:23.45 ID:mnop3456
既存のライブラリと比べてどうなんやろ
Stable Baselines 3とかと比較してほしいわ
5 PyTorch開発者 ◆PT9876zyxw 2024/04/06(土) 12:41:56.78 ID:qrst7890
PyTorchとの統合が素晴らしいね
torch.compileとの互換性もあるし、パフォーマンス面でも期待できそう
6 ロボット工学者 2024/04/06(土) 12:43:34.56 ID:uvwx1234
実機への展開が簡単そうなのがええな
環境APIの柔軟性が高いみたいやし
7 統計学者 ◆STAT5678abcd 2024/04/06(土) 12:45:12.34 ID:yzab5678
データ構造がしっかりしてるのが良いね
統計的な分析もしやすそう
8 名無しさん＠お腹いっぱい。 2024/04/06(土) 12:46:45.67 ID:cdef9012
＞＞4
比較ベンチマークあるで
論文の Table 5 見てみ
9 強化学習マニア 2024/04/06(土) 12:48:23.45 ID:mnop3456
＞＞8
サンガツ！確かにパフォーマンス良さそうやな
特に非同期コレクターの速度が印象的や
10 深層学習研究者 ◆DL2468aceg 2024/04/06(土) 12:50:56.78 ID:ghij3456
モジュール性が高いのが良いね
カスタマイズしやすそうだし、新しいアルゴリズムの実装も楽そう
11 分散システム専門家 2024/04/06(土) 12:52:34.56 ID:klmn7890
分散学習のサポートもしっかりしてるな
IMPALA の実装例があるのは素晴らしい
12 オフライン強化学習研究者 2024/04/06(土) 12:54:12.34 ID:opqr1234
オフライン RL のサポートもあるのが嬉しいわ
Decision Transformer とか IQL の実装例があるのは良いね
13 マルチエージェント研究者 ◆MA13579bdfh 2024/04/06(土) 12:55:45.67 ID:stuv5678
MARL のサポートもあるやん！
これは使いやすそうやな
14 名無しさん＠お腹いっぱい。 2024/04/06(土) 12:57:23.45 ID:wxyz9012
みんな褒めてばっかりやけど、欠点はないんか？
15 機械学習研究者 ◆ML1234abcd 2024/04/06(土) 12:59:56.78 ID:efgh5678
＞＞14
まあ、新しいライブラリやから安定性はこれからって感じやろな
あと、学習曲線が少し急かもしれんね
16 AIエンジニア 2024/04/06(土) 13:01:34.56 ID:ijkl9012
ドキュメントの充実度はどうなんやろ
新しいライブラリは往々にしてそこが弱いからな
17 PyTorch開発者 ◆PT9876zyxw 2024/04/06(土) 13:03:12.34 ID:qrst7890
＞＞16
論文によると、ドキュメントのカバレッジは90%以上らしいで
けっこう頑張ってるみたいやね
18 強化学習マニア 2024/04/06(土) 13:04:45.67 ID:mnop3456
これ、既存のプロジェクトに組み込むの簡単なんかな？
19 ロボット工学者 2024/04/06(土) 13:06:23.45 ID:uvwx1234
＞＞18
モジュール性高いみたいやし、既存のコードに組み込むのも
そんなに難しくなさそうやで
20 統計学者 ◆STAT5678abcd 2024/04/06(土) 13:07:56.78 ID:yzab5678
これ、アカデミアでの採用率どうなるんやろか
論文の再現性向上に貢献しそうやけど
グローバル構造からモーションへの再考 (画像から 3D 構造とカメラの動きを復元)
SOTA:https://paperswithcode.com/paper/global-structure-from-motion-revisited
【朗報】SfMの新手法「GLOMAP」が従来手法を圧倒！ 計算速度8倍で精度も向上
1 名無しさん@お腹いっぱい。 2024/08/06(火) 21:34:12.45 ID:SfM2024a
ETHの研究チームが提案したGLOMAPってのがすごいらしいで
従来のCOLMAPと比べて8倍速くて、精度も上がってるらしい
これ革命やろ
2 コンピュータビジョン博士 2024/08/06(火) 21:36:28.12 ID:CV_PhD01
確かに面白い結果やな。グローバルSfMとインクリメンタルSfMの長所を組み合わせた感じや。
特に translation averaging をスキップして直接3D点と合わせて最適化してるのがミソやろ
3 機械学習エンジニア 2024/08/06(火) 21:38:45.89 ID:ML_Eng02
ディープラーニング使ってないのに従来手法超えてるのすごいな
古典的な手法でもまだまだ伸びしろあるってことやな
4 ロボット工学者 2024/08/06(火) 21:41:03.67 ID:RoboExp03
SLAMへの応用も期待できそうやな。高速で精度高いSfMは自律ロボットにとって朗報やで
5 コンピューターグラフィックス研究者 2024/08/06(火) 21:43:22.34 ID:CG_Res04
Novel View Synthesisの結果も良さそうやし、CGでの活用も期待できるで
リアルタイムレンダリングとかにも応用できそう
6 名無しさん@お腹いっぱい。 2024/08/06(火) 21:45:40.12 ID:SfM2024b
＞＞2
translation averagingスキップしてるんか、そこが肝なんやな
でもそれで精度上がるんはすごいわ
7 画像処理専門家 2024/08/06(火) 21:48:01.90 ID:ImgProc05
カメラ内部パラメータが不明な場合でも使えるのが強みやね
インターネット上の画像コレクションとかにも応用できそう
8 ARエンジニア 2024/08/06(火) 21:50:23.45 ID:AR_Eng06
LaMAR datasetでの結果がすごいな。AR用の大規模マッピングにも使えそうや
COLMAPの350倍くらい速いのヤバすぎ
9 3Dモデリング研究者 2024/08/06(火) 21:52:45.23 ID:3DModel07
点群の生成精度も良さそうやし、3Dスキャンの代替になるかもしれんな
建築とか文化財のデジタル保存にも使えそう
10 名無しさん@お腹いっぱい。 2024/08/06(火) 21:55:07.89 ID:SfM2024c
みんな詳しすぎやろ...
ワイにもわかるように説明してクレメンス
11 コンピュータビジョン博士 2024/08/06(火) 21:57:29.56 ID:CV_PhD01
＞＞10
簡単に言うと、複数の写真から3D構造を復元する技術なんや
今回の手法は、それを今までより速く正確にできるようになったってことや
12 画像認識研究者 2024/08/06(火) 21:59:51.34 ID:ImgRec08
rotation averagingの部分は従来手法使ってるんやな
ここをもっと改善できれば、さらなる性能向上も期待できそう
13 並列計算専門家 2024/08/06(火) 22:02:13.12 ID:ParComp09
GPUでの並列計算にも適してそうやな
さらなる高速化の余地ありそう
14 自動運転エンジニア 2024/08/06(火) 22:04:35.78 ID:AutoDrive10
自動運転の3D地図生成にも使えそうやな
高精度で大規模な地図をリアルタイムで更新できる可能性あるで
15 名無しさん@お腹いっぱい。 2024/08/06(火) 22:06:57.45 ID:SfM2024d
なるほど、いろんな分野に応用できそうなんやな
これ論文の著者ってすごい人なんか？
16 コンピュータビジョン博士 2024/08/06(火) 22:09:19.23 ID:CV_PhD01
＞＞15
ETHチューリッヒとMicrosoftの共同研究やな
Marc PollefeysとJohannes Schönbergerが監修してて、この分野じゃ超有名や
17 名無しさん@お腹いっぱい。 2024/08/06(火) 22:11:41.90 ID:SfM2024e
ほえー、すごいメンバーなんやな
これからどんどん3D技術発展しそうやな
この記事が気に入ったらサポートをしてみませんか？