這也是最近一個星期我一直在跟學姐搞的一個項目了,很多金融方面的知識丟掉不提,主要是運用深度強化學習的方法來預測股指期貨. 最近一個星期我主要是負責了部分的代碼開發(fā), CNN,RNN學習以及tensorflow使用. 代碼最近我和學姐都搞得有點頭疼,感覺思路理的不是很清楚,所以在這里理一下.
目標
給定一系列股指期貨數(shù)據(jù), 抓取一段時間(現(xiàn)在是以分鐘為單位,總時間大約為2個月左右)的股指期貨數(shù)據(jù),存起來用以給DRL(深度強化學習)網(wǎng)絡作為訓練. 采用的方法主要是A3C和DRL金融知識的結(jié)合.
代碼初步
輸入
- 給定的股指期貨數(shù)據(jù)
- learning_rate(學習率)
- num_layers(網(wǎng)絡層數(shù))
- num_step(每次訓練軌跡所用的state)
- hidden_size(RNN的h)
- batch_size(訓練軌跡數(shù)量)
模型構建(lmmodel)
Agent模型
數(shù)據(jù)初始化
def __init__(self, fileName, m, numstep, batchSize):
self.action_space = [-1, 0, 1] //表示面對股指期貨數(shù)據(jù)的三種選擇
self.m = m //表示一個state包含的維度
self.numstep = numstep //表示一次訓練所用state數(shù)量
self.batchSize = batchSize //表示訓練的次數(shù)
self.state = []
初始化狀態(tài)量(state)
f = open(fileName, 'r')
self.dataBase = f.readline()
self.dataBase = self.dataBase.split(',')
self.dataBase.pop()
for i in range(len(self.dataBase)):
self.dataBase[i] = float(self.dataBase[i])
for i in range(1, len(self.dataBase)):
self.dataBase[i] = self.dataBase[i] - self.dataBase[i - 1]
for i in range(self.m - 1, len(self.dataBase)):
state_tmp = self.dataBase[i - m + 1:i + \
1] if i >= self.m - 1 else self.dataBase[0:i]
self.state.append(state_tmp)
self.state = self.state[m - 1:]
lmmodel模型
數(shù)據(jù)初始化:
該模型繼承了Agent模型
def __init__(self,config):
#self._input = input_
super(lmmodel,self).__init__('data/IF1601.CFE.csv', 20, 120, 100) /
self.config=config
self.sess = tf.InteractiveSession()
self.batchsize=1 #batchsize
self.numsteps=120 #120 price sequence
self.hiddensize=20 #20features
self.actionsize=3
網(wǎng)絡構建
模型初始化
self.states = tf.placeholder(tf.float32,shape=[None,self.numsteps, self.hiddensize],name= "states")
self.actions_taken = tf.placeholder(tf.float32,shape=[None],name= "actions_taken")
self.critic_feedback = tf.placeholder(tf.float32,shape=[None],name= "critic_feedback")
self.critic_rewards = tf.placeholder(tf.float32,shape=[None],name= "critic_rewards")
定義一個lstm細胞
def lstm_cell(size):
return tf.contrib.rnn.BasicLSTMCell(size, forget_bias=0.0, state_is_tuple=True)
對初始數(shù)據(jù)設置的全連接層
with tf.variable_scope("actor") :
L1= tf.contrib.layers.fully_connected(
inputs=self.states,
num_outputs=self.hiddensize, #hidden
activation_fn=tf.tanh,
weights_initializer=tf.random_normal_initializer(),
biases_initializer=tf.zeros_initializer()
)
全連接層之后通過LSTM:
LSTM為5層
經(jīng)過LSTM返回一個(numstep * batchsize) * hiddensize 的一個二維矩陣
其中這個矩陣數(shù)軸排列如下:
首先是第一個batch的numstep個state,
再是第二個batch的numstep個state...
state = cell.zero_state(self.numsteps, tf.float32) #batchsize*hidden cells
outputs = []
with tf.variable_scope("testScope"):
for time_step in range(self.batchSize):#batchsize
if time_step > 0: tf.get_variable_scope().reuse_variables()
(cell_output, state) = cell(L1[time_step,:,:], state)
outputs.append(cell_output)
output = tf.reshape(tf.concat(axis=0, values=outputs), [-1, self.hiddensize])
再經(jīng)過softmax得到loss function:
softmax_w = tf.get_variable( "softmax_w", [20, 3], dtype=tf.float32)
softmax_b = tf.get_variable("softmax_b", [3], dtype=tf.float32)
logits = tf.matmul(output, softmax_w) + softmax_b
self.probs = tf.nn.softmax(logits,name="action")
反饋與優(yōu)化:
policyloss = tf.log(self.action0)*(self.critic_rewards-self.critic_feedback)
loss = tf.negative(tf.reduce_mean(policyloss),name="loss")
#with tf.variable_scope("actor-train"):
self.actor_train = tf.train.AdamOptimizer(0.01).minimize(loss)
以上是A3C中的actor網(wǎng)絡更新與反饋
暫時還是不是很懂這里的crtic_reward 和critic_feedback 的意義是什么,晚上回實驗室去問問學姐. 理論上actor網(wǎng)絡應該時更新策略的, 意思是指, 更新每種state下選擇每種action的概率. 但是這里...就很奇怪了..
crtic網(wǎng)絡與上面網(wǎng)絡本質(zhì)差異不大.,不多說了,暫時更新到這,感覺學姐很多地方還是沒理清楚...
