这也是最近一个星期我一直在跟学姐搞的一个项目了,很多金融方面的知识丢掉不提,主要是运用深度强化学习的方法来预测股指期货. 最近一个星期我主要是负责了部分的代码开发, CNN,RNN学习以及tensorflow使用. 代码最近我和学姐都搞得有点头疼,感觉思路理的不是很清楚,所以在这里理一下.

目标

给定一系列股指期货数据, 抓取一段时间(现在是以分钟为单位,总时间大约为2个月左右)的股指期货数据,存起来用以给DRL(深度强化学习)网络作为训练. 采用的方法主要是A3C和DRL金融知识的结合.

代码初步

输入

• 给定的股指期货数据
• learning_rate(学习率)
• num_layers(网络层数)
• num_step(每次训练轨迹所用的state)
• hidden_size(RNN的h)
• batch_size(训练轨迹数量)

模型构建(lmmodel)

Agent模型

数据初始化

    def __init__(self, fileName, m, numstep, batchSize):
        self.action_space = [-1, 0, 1] //表示面对股指期货数据的三种选择
        self.m = m //表示一个state包含的维度
        self.numstep = numstep //表示一次训练所用state数量
        self.batchSize = batchSize //表示训练的次数
        self.state = []

初始化状态量(state)

        f = open(fileName, 'r')

        self.dataBase = f.readline()
        self.dataBase = self.dataBase.split(',')
        self.dataBase.pop()

        for i in range(len(self.dataBase)):
            self.dataBase[i] = float(self.dataBase[i])
        for i in range(1, len(self.dataBase)):
            self.dataBase[i] = self.dataBase[i] - self.dataBase[i - 1]

        for i in range(self.m - 1, len(self.dataBase)):
            state_tmp = self.dataBase[i - m + 1:i + \
                1] if i >= self.m - 1 else self.dataBase[0:i]
            self.state.append(state_tmp)

        self.state = self.state[m - 1:]

lmmodel模型

数据初始化:

该模型继承了Agent模型

    def __init__(self,config):
        #self._input = input_
        super(lmmodel,self).__init__('data/IF1601.CFE.csv', 20, 120, 100)  /
        self.config=config
        self.sess = tf.InteractiveSession()
        self.batchsize=1  #batchsize
        self.numsteps=120   #120 price sequence
        self.hiddensize=20  #20features
        self.actionsize=3

网络构建

模型初始化

        self.states = tf.placeholder(tf.float32,shape=[None,self.numsteps, self.hiddensize],name= "states")
        self.actions_taken = tf.placeholder(tf.float32,shape=[None],name= "actions_taken")
        self.critic_feedback = tf.placeholder(tf.float32,shape=[None],name= "critic_feedback")
        self.critic_rewards = tf.placeholder(tf.float32,shape=[None],name= "critic_rewards")

定义一个lstm细胞

        def lstm_cell(size):
            return tf.contrib.rnn.BasicLSTMCell(size, forget_bias=0.0, state_is_tuple=True)

对初始数据设置的全连接层

        with tf.variable_scope("actor") :

            L1= tf.contrib.layers.fully_connected(
                inputs=self.states,
                num_outputs=self.hiddensize, #hidden
                activation_fn=tf.tanh,
                weights_initializer=tf.random_normal_initializer(),
                biases_initializer=tf.zeros_initializer()
            )

全连接层之后通过LSTM:

LSTM为5层
经过LSTM返回一个(numstep * batchsize) * hiddensize 的一个二维矩阵
其中这个矩阵数轴排列如下:
首先是第一个batch的numstep个state,
再是第二个batch的numstep个state...

            state = cell.zero_state(self.numsteps, tf.float32)  #batchsize*hidden cells
            outputs = []
            with tf.variable_scope("testScope"):
                for time_step in range(self.batchSize):#batchsize
                    if time_step > 0: tf.get_variable_scope().reuse_variables()
                    (cell_output, state) = cell(L1[time_step,:,:], state) 
                    outputs.append(cell_output)
            output = tf.reshape(tf.concat(axis=0, values=outputs), [-1, self.hiddensize])

再经过softmax得到loss function:

            softmax_w = tf.get_variable( "softmax_w", [20, 3], dtype=tf.float32)
            softmax_b = tf.get_variable("softmax_b", [3], dtype=tf.float32)
            logits = tf.matmul(output, softmax_w) + softmax_b
            self.probs = tf.nn.softmax(logits,name="action")

反馈与优化:

            policyloss = tf.log(self.action0)*(self.critic_rewards-self.critic_feedback)
            loss = tf.negative(tf.reduce_mean(policyloss),name="loss")
            #with tf.variable_scope("actor-train"):
            self.actor_train = tf.train.AdamOptimizer(0.01).minimize(loss)

以上是A3C中的actor网络更新与反馈
暂时还是不是很懂这里的crtic_reward 和critic_feedback 的意义是什么,晚上回实验室去问问学姐. 理论上actor网络应该时更新策略的, 意思是指, 更新每种state下选择每种action的概率. 但是这里...就很奇怪了..

crtic网络与上面网络本质差异不大.,不多说了,暂时更新到这,感觉学姐很多地方还是没理清楚...