catalyst2064

固定された記事

ニューラルネットワークの連鎖律を解く（偏微分は横に置いておく）

これはなに？誤差逆伝播法のベースになっている連鎖律を解くと、ニューラルネットワークの理解が捗ります。そこで、連鎖律を解くための教材として「ネットワーク図」と「連鎖律の図」、そしていい感じの「お題」を用意しました。まずはお題から。【お題】重み$${w_{32}^{(2)}}$$を更新したい。どうやるの？このお題はシンプルですがニューラルネットワークの連鎖律を解く上で必要にして十分な要素が詰まっています。このお題では、ネットワーク全体の中にあるたった1個の重みの更新につい

スパイキングニューラルネットワークでMNIST（手書き数字を識別）

これは何？ひょんなことから、現在主流の人工ニューラルネットワーク（ANN）とは別にスパイキングニューラルネットワーク（SNN）なるものが存在することに気付きました。ANNについてはすでにニューロン版と行列版を実装したのでSNNの実装もこの調子で…と思ったのですがあまりにも違いすぎます！ ANNは連鎖律がベースですが、SNNは神経回路シミュレーションがベースになっています。神経回路シミュレーションには興味が湧いたものの、挫折せずに楽しむための足場が欲しいと思いました。そこでま

catalyst2064

1か月前

3
ニューラルネットワークを「行列」を使って書き換えた

前回はニューロンを使ってニューラルネットワーク「Fiber」を実装しましたが、今回はこれを行列を使って書き換えました。以降は、それぞれをニューロン版、行列版と呼ぶことにします。読み始める前に行列版の実装を通じて分かったことを書いています。実装に使用したプログラミング言語はPython 3です。実行環境はGoogle Colabです。動作確認も同様です。本稿には「ライブラリのインポート」「活性化関数」「損失関数」「動作確認」「ユーティリティ」などの多くのコードを

catalyst2064

11か月前

5
ニューラルネットワークの仕組みが知りたい

そもそもの始まりは「ディープラーニングAIはどのように学習し、推論しているのか」を読んだことにあります。当初は人工知能については利用者に徹しようと考えていました。しかし、生成AIのあまりにも魔法すぎる性能に驚愕するとともに頭の中で警鐘が鳴ったのです。せめて人工知能がどのように動作しているのか概要くらいは知っておきたいと思って読んだのがこの本です。この本に出てくる数式と言えば$${y=ax+b}$$くらいでほぼ図と文章で説明し切ります（せいぜい７章にAIコードの説明用に短いP

catalyst2064

1年前

6