見出し画像

PythonでDeepLearning - ネットワーク

donguri

パーセプトロンから一歩すすんでネットワークを組んでみましょう。3層のネットワークを参考サイトを見ながら理解していきます。

パーセプトロンではステップ関数で0、1で判定しますが一歩進んで活性化関数をシグモイドを使って判定ネットワークを組み上げます。

シグモイド関数

def sigmoid(x):
    return 1/(1+np.exp(-x))

ネットワークを作る関数で重み、バイアスを定義します。

def init_network():
    network = {}
    network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
    network['b1'] = np.array([0.1,0.2,0.3])
    return network

重み"w"とバイアス"b"を定義してそれぞれ初期数値が入っています。

順伝搬で推論を行う関数。1層分なので重み、バイアス、活性化関数は1つずつとなっています。

def forword(network,x):
    W1= network['W1']
    b1= network['b1']

    a1 = np.dot(x,W1)+b1
    z1 = sigmoid(a1)

    return z1

順伝搬型のニューラルネットワークを作ります。この順伝搬型とは、入力から出力に一方向に流れていくこと

まず1層の実装を見てみます。

import numpy as np

def sigmoid(x):
    return 1/(1+np.exp(-x))

def init_network():
    network = {}
    network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
    network['b1'] = np.array([0.1,0.2,0.3])
    return network

def forword(network,x):
    W1= network['W1']
    b1= network['b1']

    a1 = np.dot(x,W1)+b1
    z1 = sigmoid(a1)

    return z1

network = init_network()
x = np.array([2,1])
z1 = forword(network,x)
print(z1)

[0.62245933 0.76852478 0.86989153]

一層目からは3つのデータが出力されます。多層にする場合はこのデータに次の重み、バイアスの処理を行います。

次に3層の実装をします。w2,w3とb2,b3を追加。活性化関数についても追加し、出力層にはsoftmax関数を使います。softmax関数は出力される数字を合計が"1"になるように調整します。

def init_network():
    network = {}
    network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
    network['b1'] = np.array([0.1,0.2,0.3])
    network['W2'] = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
    network['b2'] = np.array([0.1,0.2])
    network['W3'] = np.array([[0.1,0.3],[0.2,0.4]])
    network['b3'] = np.array([0.1,0.2])
    return network

def forword(network,x):
    W1,W2,W3 = network['W1'],network['W2'],network['W3']
    b1,b2,b3 = network['b1'],network['b2'],network['b3']

    a1 = np.dot(x,W1)+b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1,W2)+b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2,W3)+b3
    y = softmax(a3)

    return y

softmax関数

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a/sum_exp_a
    return y

3層の重み、バイアス、ネットワーク、活性化関数と組み込んだものが

import numpy as np

def init_network():
    network = {}
    network['W1'] = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]])
    network['b1'] = np.array([0.1,0.2,0.3])
    network['W2'] = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
    network['b2'] = np.array([0.1,0.2])
    network['W3'] = np.array([[0.1,0.3],[0.2,0.4]])
    network['b3'] = np.array([0.1,0.2])
    return network

def forword(network,x):
    W1,W2,W3 = network['W1'],network['W2'],network['W3']
    b1,b2,b3 = network['b1'],network['b2'],network['b3']

    a1 = np.dot(x,W1)+b1
    z1 = sigmoid(a1)
    a2 = np.dot(z1,W2)+b2
    z2 = sigmoid(a2)
    a3 = np.dot(z2,W3)+b3
    y = softmax(a3)

    return y

def sigmoid(x):
    return 1/(1+np.exp(-x))

def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a-c)
    sum_exp_a = np.sum(exp_a)
    y = exp_a/sum_exp_a
    return y

実行は

network = init_network()
x = np.array([2,1])
y = forword(network,x)
print(y)

ネットワークに入力値を入れます。

x = np.array([2,1])

この"x"をネットワークに代入して推論値を出力します。

y = forword(network,x)

実行すると

[0.40442364 0.59557636]

と出力され、0.59557636の方がより値が大きいのでこちらが正解の可能性が高いということになります。

今回の実行では重み、バイアスは固定で行っていますが、実際は正解を学習する過程がありそこで重み、バイアスが最適化され、その最適な環境で実行すると正確な判定ができるようになります。


この記事が気に入ったらサポートをしてみませんか？