gym step报错：IndexError: invalid i

IndexError: invalid index to scalar variable.

在网上很难找到gym较好的参考，很多api的使用建议直接去看gym代码'''\\

def act(self, state):
        if np.random.rand() <= self.epsilon:
            return random.randrange(self.action_size)
        act_values = self.model.predict(state)
        return np.argmax(act_values[0])  # returns action

返回值是一个标量

action = agent.act(state)
next_state, reward, done, _ = env.step(action)

智能体调用act返回一个动作，环境根据动作返回新的状态，
但由于step函数中

newthdot = np.clip(newthdot, -self.max_speed, self.max_speed) #pylint: disable=E1111

使用的是np.clip，需要传入一个np.ndarray
参考spaces.box函数中

            self.low = np.full(self.shape, low)
            self.high = np.full(self.shape, high)

这里直接套用就行，

    def act(self, state):
        if np.random.rand() <= self.epsilon:
            return np.full((1,),random.randrange(self.action_size))
        act_values = self.model.predict(state)
        return np.full((1,),np.argmax(act_values[0]))  # returns action

根据web安全之强化学习和gan书中qlearn改。