非线性数据集

构建这样一个简单的数据集，共有300个样本，每个样本只有一个特征值，然后每个样本都有一个Label。
人为设定Label的计算公式为：label = x ^ 2 + b
这样得到一个非线性的数据集。

# 线性向量(300,)
x_data = np.linspace(-1, 1, 300).astype(np.float32)
# 加一个维，变成(300, 1)
x_data = x_data[:, np.newaxis]
noise = np.random.normal(loc=0, scale=0.05, size=x_data.shape).astype(np.float32)
y_data = np.square(x_data) - 0.5 + noise

显示出来：

fig = plt.figure()
ax = fig.add_subplot(1, 1, 1)
ax.scatter(x_data, y_data)
plt.ion()
plt.show()
plt.pause(2)

非线性数据.png

定义添加一层神经网络的方法

# 添加一个神经网络层
# 输入数据inputs
# 输入数据的特征数 in_size
# 输出数据的特征数 out_size
# 激活函数 activation_function
# 返回output
def add_layer(inputs, in_size, out_size, activation_function=None):
    Weights = tf.Variable(initial_value=tf.random_normal(shape=[in_size, out_size]))
    biases = tf.Variable(initial_value=tf.zeros(shape=[1, out_size]) + 0.1)
    Wx_plus_b = tf.matmul(inputs, Weights) + biases
    if activation_function is None:
        return Wx_plus_b
    else:
        return activation_function(Wx_plus_b)

构建网络

构造一个3层全连接的简单神经网络。
输入层1个神经元，隐藏层10个神经元，输出层1个神经元。

# placeholder
xs = tf.placeholder(dtype=tf.float32, shape=[None, 1])
ys = tf.placeholder(dtype=tf.float32, shape=[None, 1])

# 神经网络
layer1 = add_layer(xs, in_size=1, out_size=10, activation_function=tf.nn.relu)
y_predict = add_layer(layer1, 10, 1, activation_function=None)

训练

loss = tf.reduce_mean(tf.reduce_sum(tf.square(y_predict - ys), reduction_indices=[1]))
train = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

Tensorflow运行

每50次训练打印损失函数值，绘制拟合曲线。

init_var = tf.initialize_all_variables()
with tf.Session() as sess:
    sess.run(init_var)
    for step in range(1001):
        sess.run(train, feed_dict={xs: x_data, ys: y_data})
        try:
            ax.lines.remove(ax.lines[0])
        except Exception:
            pass

        if step % 50 == 0:
            print(step, sess.run(loss, feed_dict={xs: x_data, ys: y_data}))
            prediction = sess.run(y_predict, feed_dict={xs: x_data})
            ax.plot(x_data, prediction, 'r-', lw=5)
            plt.pause(0.2)

plt.pause(5)

拟合.png

输出：

0 0.22511148
50 0.0064557614
100 0.005405054
150 0.0050723306
200 0.004923516
250 0.004812307
300 0.004700601
350 0.004569114
400 0.0044208993
450 0.0042636013
500 0.0041203257
550 0.0039757667
600 0.0038704642
650 0.003767866
700 0.0036926777
750 0.003630723
800 0.0035656723
850 0.003503019
900 0.0034552685
950 0.0034061237
1000 0.0033680173

损失值越来越小，学习成功。