spinningup安裝

Spinningup-----openmpi? ----（mingw）gcc,g++編譯器

安裝過程常遇問題既解決方法http://www.itdecent.cn/p/2a6b606d9ae4

常用命令行

仿真spinngup

python -m spinup.run ddpg --env vsbr2dir-v0

--exp_name try1

圖

python -m spinup.run plot D:\anaconda3\envs\spinningup\data\vsbr2dir1\vsbr2dir1_s0

視頻

python -m spinup.run test_policy D:\anaconda3\envs\spinningup\data\vsbr2dir\vsbr2dir_s0

#查看空間屬性

print(env.action_space)

#> Discrete(2)

print(env.observation_space)

#> Box(4,)

#顯示狀態(tài)/動作空間范圍

print(env.observation_space.high)

print(env.observation_space.low)

相關圖

常遇報錯

returned non-zero exitstatus 1.

多半是自己命令行代碼命令敲錯了，仔細檢查

測試結果記錄

1、DDPG方法

（1）7.4.3,這個平衡效果可以,每回合基本都是同一個方向和位置,速度也適中挺慢的, steps_per_epoch=1000，epochs=50

環(huán)境配置圖

（2）

7.4.4?steps_per_epoch=5000，epochs=200,能平衡一定時間,速度很慢,效果可以

總是以左輪加速而倒.17回合之后,倒地就不會立刻重新開始,done的條件不對

python -m spinup.run test_policy

D:\anaconda3\envs\spinningup\data\test.7.4.4\test.7.4.4_s0

配置圖

（3）Test7.5.1其他限制條件同2,運行距離極短，效果不好

配置圖

PPO方法

（1）Test7.5.2，ppo算法，相對來說，也可以。沒那么好，但算法運行快

配置

（2）Test7.5.3 距離極短（相當于原地），效果不好

配置

（3）Test 7.5.4,倒地不起的運動，說明此限制條件有誤

配置

TRPO方法

（1）Trpo??Test7.8.1,原地，時間極短，效果不佳

配置

SAC方法

算法相關介紹：http://m.elecfans.com/article/834892.html

（1）test7.8.2,平衡效果極佳，距離很長，segway下

（2）Test7.8.3 基本靜止，運動幅度很小，完美！

python -m spinup.run test_policy d:\anaconda3\envs\spinningup\data\test7.8.3\test7.8.3_s0

配置

TD3方法

（1）Test7.9.1效果一般，每次都超出邊界

配置

持續(xù)更新，目前看，sac方法完美契合此機器人，持續(xù)改進。