给定一个数据点集合X和对应的目标值y，线性模型的目标就是找到一条使用向量w和位移b描述的线，来尽可能地近似每个样本X[i]和y[i]。用数学符号来表示就是：

并最小化所有数据点上的平方误差

实际上线性模型是最简单但也可能是最有用的神经网络。一个神经网络就是一个由节点（神经元）和有向边组成的集合。我们一般把一些节点组成层，每一层使用下一层的节点作为输入，并输出给上面层使用。为了计算一个节点值，我们将输入节点值做加权和，然后再加上一个激活函数。对于线性回归而言，它是一个两层神经网络，其中第一层是（下图橙色点）输入，每个节点对应输入数据点的一个维度，第二层是单输出节点（下图绿色点），它使用身份函数（f(x)=x）作为激活函数。
线性回归

创建数据集

使用如下方法来生成数据，这里噪音服从均值0和标准差为0.01的正态分布
y[i] = 2 * X[i][0] - 3.4 * X[i][1] + 4.2 + noise

from __future__ import print_function
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np 
from torch.autograd import Variable
from torch.utils.data import TensorDataset, DataLoader


num_inputs = 2
num_examples = 1000

true_w = [2, -3.4]
true_b = 4.2

x = torch.randn(num_examples, num_inputs)
y = true_w[0] * x[:, 0] + true_w[1] * x[:, 1] + true_b

y = y + torch.randn(y.size()) * 0.01

注意到X的每一行是一个长度为2的向量，而y的每一行是一个长度为1的向量（标量）。

数据读取

使用torch.utils.data模块来读取数据

dataset = TensorDataset(x, y)
trainloader = DataLoader(dataset, batch_size=256, shuffle=True)

for data, label in trainloader:
    print(data, label)
    break

定义模型

pytorch有大量预定义的层，我们只需要关注使用哪些层来构建模型。例如线性模型就是使用对应的Linear层

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc = nn.Linear(2,1)
        print(self.fc.weight)

    def forward(self, x):
        x = self.fc(x)
        return x

net = Net() 

损失函数

平方误差函数

criterion = nn.MSELoss()

优化

使用SGD优化算法，学习率设为0.1

optimizer = optim.SGD(net.parameters(), lr=0.1)

训练

epochs = 100
for epoch in range(epochs):
    total_loss = 0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        data = Variable(inputs)
        label = Variable(labels).float()

        optimizer.zero_grad()

        out = net(data)

        loss = criterion(out, label)

        
        loss.backward()
        optimizer.step()

        total_loss = total_loss + loss.data[0]
    print("Epoch %d, average loss: %f" % (epoch, total_loss/num_examples))


params = list(net.parameters())
print(params[0])
print(params[1])

参考资料

pytorch官网
动手学深度学习