Kolmogorov-Arnold Networkを深掘りするpreprintを公開しました

2024年9月19日 11:37

ということで2024年4本目のpreprintです。やりたいことが多すぎてかなり異常なスピードでpreprintばっか公開しており、国際会議なり査読誌なりへの投稿が全く追いついていない。助けてください。求ムAI系共同研究者。

1. これを書くに至った背景

僕は未知のものに対して人々が「これ本当に使えんのか…？」って懐疑的になっているときに、「まあ面白そうだし間違っててもいいかなー」ぐらいの覚悟で突っ込んでいくスタイルで生きてきており、だからこそ2010年台の頭、院生時代からディープラーニングをやり始めたという側面があります。気づけばディープラーニング芸人も芸歴10年になりました。
そんななか、これまでの一般的なMultilayer Perceptron (MLP; いわゆる一般的な順伝播型のニューラルネットワーク)とは随分構造の違う新しいモデルとしてKolmogorov-Arnold Network (KAN; Liu et al., 2024)が春ぐらいに話題になっていました。特に、「ウェイトを持たない！」とか「活性化関数が学習可能！」だとかいう話が流れてきて、なにやら新しそうな雰囲気があり、興味をそそられていました。もし仮に僕のユースケース（マーケティング分析）ではあまり使えない類のモデルだったとしても、それを体系的にまとめればケース報告になるかなとも思い。

とはいえ現実なかなか時間が取れなかったんですが、前期の定期試験が終わったお盆からの1ヶ月で一気に論文らしきものにまとめつつ、DOIがほしかったこともあり初めてJxiv (jxiv.jst.go.jp)に投稿してみました。このあと学内の紀要にでもしようかと思っています。

2. 論文について

Kolmogorov-Arnold Networkのマーケティング解析への応用可能性の検討 —従来的な深層学習手法との理論的比較と実データによる購買予測への応用—10.51094/jxiv.893

立場上あくまでもマーケティング応用というタイトリングですが、そもそも深層学習の歴史について結構長々と整理していますし、なおかつ実際最も肝心なモデル関連の部分は（当たり前ですが）機械学習の文脈で議論しているので、カテゴリを経営学にしたことについて割と後悔しています。KANの理論的基盤としてのKolgomorov-Arnold表現定理についてや一般的なMLPとの比較などいろんな話をしているため、めちゃくちゃに長いです。ただ、マーケティング分野でもData Synthesisの文脈で使われてるGANやVAE、つまり元祖生成モデル周りに触れるのを普通に忘れた。紀要にするタイミングで追加しようかな。

（これ貼って気づいたけど、MLPのアーキテクチャーについての図も含めないとな…）

一応マーケティング分析への有用性の検証として、実データを使った将来時点の購買予測もやっています。意外と予測性能は悪くなかったですし、特にin-sampleでの損失と汎化誤差の乖離は他の参照モデルより小さい傾向にあって、そのあたりは分析してて結構面白かったです。ディープラーニングは一般的にパラメーターを増やせばtraining lossを減らすこと自体は可能ですが、その分test lossがガンガン上がっていきますからね。

上記の図はKANの特性ともいわれる、学習可能な活性化関数の可視化ですね。マーケティング（あるいは社会科学全般において）それを解釈性と呼ぶべきなのだろうかという議論も最後の方でちょろっとしています。個人的に、（原稿上にはキツイ表現になるので避けたけど、特にマーケティングみたいな人間行動のインアウトの関係性をモデリングするような世界において）これは解釈性とは呼べないと考えています。どちらかというと、柔軟な状態空間モデルみたいな印象を持ちました。

3. 引用情報

このあと学内の紀要にでもしようかと思っていますが、刊行が来年3月になるため、とりあえずpreprintの引用情報を貼っておきます。
興味があればぜひとも使ってやってください。

@unpublished{niimi2024kan,
	author = {潤一郎 新美},
	doi = {10.51094/jxiv.893},
	note = {Jxiv},
	title = {Kolmogorov-Arnold Networkのマーケティング解析への応用可能性の検討 —従来的な深層学習手法との理論的比較と実データによる購買予測への応用—},
	year = {2024}}

4. 出典

Liu, Ziming, Yixuan Wang, Sachin Vaidya, Fabian Ruehle, James Halverson, Marin Soljaˇci ́c, Thomas Y Hou, and Max Tegmark (2024) “Kan: Kolmogorov-arnold networks,” arXiv preprint arXiv:2404.19756, DOI: 10.48550/arXiv.2404.19756.

この記事が気に入ったらサポートをしてみませんか？