码迷,mamicode.com
首页 > 其他好文 > 详细

【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感

时间:2020-04-02 11:44:44      阅读:88      评论:0      收藏:0      [点我收藏+]

标签:摘要   思维   code   工作   设计   失败   练习   ase   翻译   

导读

看任何一个领域的文章,一定要看第一手资料。学习他们的思考方式,论述逻辑,得出一点自己的感悟。因此,通过阅读paper,来提升自己对于这个领域的感性和理性认识。如少年时,玩war3电子竞技一般。练习一个种族,找寻突破点。

文章原文:https://ai.tencent.com/ailab/zh/paper/detial?id=329

看到这篇文章的title是:Curriculum-guided Hindsight Experience Replay。可能一下会犯晕,但是要想到一点,万事万物是"简易"的,是一步步由简单到复杂的。"天下难事必作于易"。

  • Curriculum-guided
    是某些前辈提出来了。paper中也有如下的引用:curriculum learning [Bengio et al., 2009] and its applications [Khanet al., 2011, Basu and Christensen, 2013, Spitkovsky et al., 2009]他是借鉴人类的思想方式。如果有一个精心设计的课程可以显著提高强化学习的质量和效率。

  • Hindsight Experience Replay
    事后经验复盘(个人翻译,只为个人理解,不权威)。就像人类一样,从失败的经历中得到教训和经验,从而去修正自己的行为。这个概念也是有前辈已经提出来的,引用HER [Andrychowicz et al., 2017]

作者,是把这两种思路,进行了融合。然后加入了一些参数因子goal-proximitydiversity-based curiosity,这个可以说是作者思考的核心要点。采取像人类一般的思考策略(human-like learning strategy),对一件事物,你前期对于它的兴趣越大,那么你接近目标的可能性概率也就越高。通过这些思考,作者提出了Curriculum-guided HER (CHER)

以上是个人分析,但我觉得事物的发展,是通过思考而来的。如果我们也可以站在"巨人的肩膀之上",把A和B的思路合为一体,再加一点点C因素。构成自己的D理论。我们也可能写出顶会的paper。

目录

继续分析,paper的目录结构:

  • Abstract
  • Introduction
  • Related Work
  • Methodology
  • Experiments
  • Conclusion
    Acknowledgements
    References

可以看到,一篇paper的目录结构还是很简单易懂的。介绍一些前人的工作和算法,他们有哪些事情是可以值得借鉴的;他们有哪些是不足的;我(这里不是指我,而是作者)可以做哪些工作取弥补他们。然后我提出来的算法,在某个领域的应用比前辈们有哪些优势。通过基准测试的数据证明我的有效性。最后,得出一定的结论。

全文可以看出,作者任何一句话都不是顺便说的,没有那么多主观论断,都是有客观的引用。循序渐进,最终提出自己的思路和想法。

因此,我(这里指我)可以学到的是什么?他的逻辑思维,思考逻辑和运用的一些方法。如果我要去写的话,也得找出这些前辈们的算法中的优势和不足在哪里。

正文

我不是翻译的,而是,喜欢个人分析。转为自己的思路。如果想看原文请点击最上方。

Abstract【摘要】

提出现象:在off-policy的深入强化学习框架之下,很难在稀疏奖励(sparse matrix)之下获得有效和成功的经验。
那怎么办呢?
前人提出来了HER ,能解决一部分。但是无法把所有的失败案例做有效的复盘和统一整理。

这篇paper,提出的解决思路:
1)利用好奇心多样性驱动,来自适应性的选择这些失败的经验进行复盘。
2)选择想人类一般的思考策略,在前期阶段强制投入过多的好奇心,这样后期阶段达到goal-proximity的可能性就越大。

而这个算法作者取名为:CHER,并在具有挑战性的机器人环境中证明它这种算法有一定的提升性。

什么是off-policy?on-policy:相当于,古时候的皇帝,想了解百姓生活,要眼见为实。所以微服私访,自己去调查民情。而off-policy:就是皇帝自己待在宫中,派百官去了解百姓的民情,然后通过百官的论述做决策。这里就有百官是否可靠的问题了,和RL算法中提到的agent有异曲同工之妙。

Introduction【介绍】

  1. Deep reinforcement Learning(RL)是一个有效的框架,可以解决很多复杂的控制问题。在模拟(simulated)领域中,它可以驱动代理(这里可以比喻为皇帝的百官)去执行各种各样的有挑战性的任务。引用来自:[Mnih et al., 2015, Lillicrap et al., 2015, Duan et al., 2016].(其中括弧中的话,是我说的。主要是为了让人们理解)
  2. 为了训练可靠的代理(判断百官是否忠诚),就要设立奖惩制度(design a reward)。引用来自: [Ng et al., 1999].通过这些代理密集型的反馈(百官们积极反映社会问题),有效指导了算法的决策(皇帝做决策的时候,更符合民情)。因此,在特定环境下特定场景内效果还是不错滴。

--先写到这里,九层之台始于垒土,慢慢来,后面更新--

【深度强化学习】Curriculum-guided Hindsight Experience Replay读后感

标签:摘要   思维   code   工作   设计   失败   练习   ase   翻译   

原文地址:https://www.cnblogs.com/zhangshengdong/p/12618543.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!