Day 3
从感知机到复杂神经网络
简单理解，感知机可看作是激活函数为阶跃函数的“神经元”。而许多神经元进行串、并联可以构成复杂的神经网络，并随着层数的加深拥有近乎无限的表达能力。
激活函数
import numpy as np
def step_function(x: np.array):
y: np.array = x > 0
return y.astype(np.int)
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def relu(x):
return np.maximum(0, x)
def identity_function(x):
return x
def softmax(a: np.array):
c = np.max(a)
exp_a = np.exp(a - c) # to avoid overflow
sum_exp_a = np.sum(exp_a)
y: np.array = exp_a / sum_exp_a
return y
多维数组
import numpy as np
a = np.random.rand(2, 5)
print(a)
a = a.reshape(5, 2)
print(a)
网友评论