マガジンのカバー画像

Save for later

7
後で読もうと思った記事を自分用にまとめてるだけ
運営しているクリエイター

2023年10月の記事一覧

大規模言語モデルにおいて、「知識は全結合層に蓄積される」という仮説についての文献調査

はじめに大規模言語モデル(LLM)にファインチューニングで新たな知識を入れられないか、検討しています。
そろそろ論文を書くモードに入ってきたので、preprintなどを読みながら、周辺状況を整理中です。
本記事は、その一環の勉強メモです。

最近気になっているのは、「知識は全結合層に蓄積されている」という仮説です。この点について、調べていきます。

(参考)
今週、ファインチューニング関連でPFN

もっとみる
性質の進化論:密度と構造と性質の変化の循環構造

性質の進化論:密度と構造と性質の変化の循環構造

物質と影響は、それぞれ密度と構造と性質を持っています。

物質の密度は、その物質が及ぼす影響の密度に反映されます。同様に、物質の構造は影響の構造に、物質の性質や影響の性質に、それぞれ反映されます。

そして、影響の密度、構造、性質は、その影響を受ける物質の密度や構造や性質のいずれか変化させる場合があります。

特に、物質の性質が変化することで、それまでになかった性質が誕生する場合があります。これが

もっとみる
【永久保存版】Notionで実現できるExcel機能15選+α

【永久保存版】Notionで実現できるExcel機能15選+α

こんにちは!Notionを全力で広めている山田です。
今回は、「Excelのこの機能、Notionでどうやって実現するの?」を全部解決します!

これまで何度もこのようなお声を聞いてきました。
その度に歯がゆい思いをしてきましたが、事実として実現が難しい機能多かったんです…。

でも、それはもう過去の話。
最近のアップデートにより急速に実現できることが増えてきたんです!

今なら満足してもらえるレ

もっとみる

Logik des Nichts

五、六年ほど前に書いて、ドイツの哲学雑誌に投稿したものの不採用となった論文です(当然、ドイツ語ネイティブによるチェック済み)。

ちなみに不採用と言っても、不採用通知に不採用の理由が書かれていないという、きわめて珍しい不採用です。学者の友人知人に尋ねても、そんな不採用通知は見たことがないと言われます。

よっぽど論文としてはお粗末なのか、それとも?
査読しようがない,と言うのなら、まあ、そうだろう

もっとみる

Logically ultimate Question

Abstract:

Why is there anything rather than nothing? This Leibniz’s question is often treated as the ultimate question, but it is not so. The truly ultimate, i.e. logically first, question is whether

もっとみる