作者：杨天培、汤宏垚、白辰甲、刘金毅等
强化学习是在与环境交互过程中不断学习的，交互中获得的数据质量很程度上决定了智能体能够学习到的策略的平。因此，如何引导智能体探索成为强化学习领域研究的核问题之。本介绍天津学深度强化学习实验室近期推出的深度强化学习领域第篇系统性的综述章，该综述次全梳理了DRL和MARL的探索法，深分析了各类探索算法的挑战，讨论了各类挑战的解决思路，并揭了未来研究向。
当前，强化学习（包括深度强化学习DRL和多智能体强化学习MARL）在游戏、机器等领域有常出的表现，但尽管如此，在达到相同平的情况下，强化学习所需的样本量（交互次数）还是远远超过类的。这种对量交互样本的需求，严重阻碍了强化学习在现实场景下的应。为了提升对样本的利效率，智能体需要效率地探索未知的环境，然后收集些有利于智能体达到最优策略的交互数据，以便促进智能体的学习。近年来，研究员从不同的度研究RL中的探索策略，取得了许多进展，但尚个全的，对RL中的探索策略进深度分析的综述。
论文地址：/pdf/2109.06668.pdf
本介绍深度强化学习领域第篇系统性的综述章Exploration in Deep Reinforcement Learning: A Comprehensive Survey。该综述共调研了将近200篇献，涵盖了深度强化学习和多智能体深度强化学习两领域近100种探索算法。总的来说，该综述的贡献主要可以总结为以下四：
三类探索算法。该综述次提出基于法性质的分类法，根据法性质把探索算法主要分为基于不确定性的探索、基于内在激励的探索和其他三类，并从单智能体深度强化学习和多智能体深度强化学习两系统性地梳理了探索策略。
四挑战。除了对探索算法的总结，综述的另特点是对探索挑战的分析。综述中先分析了探索过程中主要的挑战，同时，针对各类法，综述中也详细分析了其解决各类挑战的能。
三个典型benchmark。该综述在三个典型的探索benchmark中提供了具有代表性的DRL探索法的全统的性能较。
五点开放问题。该综述分析了现在尚存的亟需解决和进步提升的挑战，揭了强化学习探索领域的未来研究向。
接下来，本从综述的四贡献展开介绍。
三类探索算法
上图展了综述所遵循的分类法。综述从单智能体深度强化学习算法中的探索策略、多智能体深度强化学习算法中的探索策略两向系统性地梳理了相关作，并分别分成三个类：向不确定性的（Uncertainty-oriented）探索策略、向内在激励的（Intrinsic motivation oriented）探索策略、以及其他策略。
1、向不确定性的探索策略
通常遵循“乐观对待不确定性”的指导原则（OFU Principle）「1」。这类做法认为智能体对某区域更的不确定性（Uncertainty）往往是因为对该区域不充分的探索导致的，因此乐观地对待不确定性，也即引导智能体去探索不确定性的地，可以实现效探索的的。
强化学习中般考虑两类不确定性，其中引导往认知不确定性的区域探索可以促进智能体的学习，但访问环境不确定性的区域不但不会促进智能体学习过程，反由于环境不确定性的扰会影响到正常学习过程。因此，更合理的做法是在乐观对待认知不确定性引导探索的同时，尽可能地避免访问环境不确定性更的区域。基于此，根据是否在探索中考虑了环境不确定性，综述中将这类基于不确定性的探索策略分为两个类。
第类只考虑在认知不确定性的引导下乐观探索，典型作有RLSVI「2」、Bootstrapped DQN「3」、OAC「4」、OB2I「5」等；第类在乐观探索的同时考虑避免环境不确定性的影响，典型作有IDS「6」、DLTV「7」等。
2、向内在激励信号的探索策略
类通常会通过不同式的我激励，积极主动地与世界交互并获得成就感。受此启发，内在激励信号导向的探索法通常通过设计内在奖励来创造智能体的成就感。从设计内在激励信号所使的技术，单智能体法中向内在激励信号的探索策略可分为三类，也即估计环境动学预测误差的法、状态新颖性估计法和基于信息增益的法。在多智能体问题中，前的探索策略主要通过状态新颖性和社会影响两个度考虑设计内在激励信号。
估计环境动学预测误差的法主要是基于预测误差，励智能体探索具有更预测误差的状态，典型作有ICM「8」、EMI「9」等。
状态新颖性法不局限于预测误差，是直接通过衡量状态的新颖性（Novelty），将其作为内在激励信号引导智能体探索更新颖的状态，典型作有RND「10」、Novelty Search「11」、LIIR「12」等。
基于信息增益的法则将信息获取作为内在奖励，旨在引导智能体探索未知领域，同时防智能体过于关注随机领域，典型作有VIME「13」等。
在多智能体强化学习中，有类特别的探索策略通过衡量“社会影响”，也即衡量智能体对其他智能体的影响作，指导作为内在激励信号，典型作有EITI和 EDTI「14」等。
3、其他
除了上述两类主流的探索算法，综述还调研了其他些分的法，从其他度进有效的探索。这些法为如何在DRL中实现通和有效的探索提供了不同的见解。
这主要包括以下三类，是基于分布式的探索算法，也即使具有不同探索行为的异构actor，以不同的式探索环境，典型作包括Ape-x「15」、R2D2「16」等。是基于参数空间噪声的探索，不同于对策略输出增加噪声，采噪声对策略参数进扰动，可以使得探索更加多样化，同时保持致性，典型作包括NoisyNet「17」等。除了以上两类，综述还介绍了其他种不同思路的探索法，包括Go-Explore「18」，MAVEN「19」等。
四大挑战
综述重点总结了效的探索策略主要临的四挑战。
规模状态动作空间。状态动作空间的增加意味着智能体需要探索的空间变，就疑导致了探索难度的增加。
稀疏、延迟奖励信号。稀疏、延迟的奖励信号会使得智能体的学习常困难，探索机制合理与否直接影响了学习效率。
观测中的噪声。现实世界的环境通常具有很的随机性，即状态或动作空间中通常会出现不可预测的内容，在探索过程中避免噪声的影响也是提升效率的重要因素。
多智能体探索挑战。多智能体任务下，除了上述挑战，指数级增长的状态动作空间、智能体间协同探索、局部探索和全局探索的权衡都是影响多智能体探索效率的重要因素。
综述中总结了这些挑战产的原因，及可能的解决法，同时在详细介绍法的部分，针对现有法对这些挑战的应对能进了详细的分析。如下图就分析了单智能体强化学习中基于不确定性的探索法解决这些挑战的能。
三个经典的benchmark
为了对不同的探索法进统的实验评价，综述总结了上述种有代表性的法在三个代表性 benchmark上的实验结果: 《蒙特祖玛的复仇》，雅达利和Vizdoom。
蒙特祖玛的复仇由于其稀疏、延迟的奖励成为个较难解决的任务，需要RL智能体具有较强的探索能才能获得正反馈；穿越多个房间并获得分则进步需要类平的记忆和对环境中事件的控制。
整个雅达利系列侧重于对提RL 智能体学习性能的探索法进更全的评估。
Vizdoom是另个具有多种奖励配置(从密集到常稀疏)的代表性任务。与前两个任务不同的是，Vizdoom是款带有第称视的导航(和射击)游戏。这模拟了个具有严重的局部可观测性和潜在空间结构的学习环境，更类似于类对的现实世界的学习环境。
基于上表所的统的实验结果，结合所提出的探索中的主要挑战，综述中详细分析了各类探索策略在这些任务上的优劣。
关于探索策略的开放问题和未来方向
尽管探索策略的研究取得了常前沿的进展，但是仍然存在些问题没有被完全解决。综述主要从以下五个度讨论了尚未解决的问题。
在规模动作空间的探索。在规模动作空间上，融合表征学习、动作语义等法，降低探索算法的计算复杂度仍然是个急需解决的问题。
在复杂任务（时间步较长、极度稀疏、延迟的奖励设置）上的探索，虽然取得了一定的进展，如蒙特祖玛的复仇，但这些解决办法代价通常较，甚要借助量类先验知识。这其中还存在较多普遍性的问题值得探索。
噪声问题。现有的些解决案都需要额外估计动态模型或状态表征，这疑增加了计算消耗。除此之外，针对噪声问题，利对抗训练等式增加探索的鲁棒性也是值得研究的问题。
收敛性。在向不确定性的探索中，线性MDP下认知不确定性是可以收敛到0的，但在深度神经络下维度爆炸使得收敛困难。对于向内在激励的探索，内在激励往往是启发式设计的，缺乏理论上合理性论证。
多智能体探索。多智能体探索的研究还处于起步阶段，尚未很好地解决上述问题，如局部观测、不稳定、协同探索等。
主要作者介绍
杨天培博，现任University of Alberta博后研究员。杨博在从天津学取得博学位，她的研究兴趣主要包括迁移强化学习和多智能体强化学习。杨博致于利迁移学习、层次强化学习、对建模等技术提升强化学习和多智能体强化学习的学习效率和性能。前已在IJCAI、AAAI、ICLR、NeurIPS等顶级会议发表论余篇，担任多个会议期刊的审稿。
汤宏垚博，天津学博在读。汤博的研究兴趣主要包括强化学习、表征学习，其学术成果发表在AAAI、IJCAI、NeurIPS、ICML等顶级会议期刊上。
甲博，哈尔滨业学博在读，研究兴趣包括探索与利、离线强化学习，学术成果发表在ICML、NeurIPS等。
刘毅，天津学智能与计算学部硕在读，研究兴趣主要包括强化学习、离线强化学习等。
郝建业博，天津学智能与计算学部副教授。主要研究向为深度强化学习、多智能体系统。发表智能领域国际会议和期刊论100余篇，专著2部。主持参与国家基委、科技部、天津市智能重等科研项10余项，研究成果荣获ASE、DAI、CoRL最佳论奖等，同时在游戏AI、告及推荐、动驾驶、络优化等领域落地应。
Reference [1]P. Auer, N. Cesa-Bianchi, and P. Fischer, “Finite-time analysis of the multiarmed bandit problem,” Machinelearning, vol. 47, no. 2-3, pp. 235–256, 2002. [2]I. Osband, B. V. Roy, and Z. Wen, “Generalization and exploration via randomized value functions,” inInternational Conference on Machine Learning, , pp. 2377–2386. [3]I. Osband, C. Blundell, A. Pritzel, and B. V. Roy, “Deep exploration via bootstrapped DQN,” in Advances inNeural Information Processing Systems 29, , pp. 4026–4034. [4]K. Ciosek, Q. Vuong, R. Loftin, and K. Hofmann, “Better exploration with optimistic actor critic,” inAdvances in Neural Information Processing Systems, , pp. 1785–1796. [5]C. Bai, L. Wang, L. Han, J. Hao, A. Garg, P. Liu, and Z. Wang, “Principled exploration via optimisticbootstrapping and backward induction,” in International Conference on Machine Learning, . [6]J. Kirschner and A. Krause, “Information directed sampling and bandits with heteroscedastic noise,” inConference On Learning Theory, , pp. 358–384. [7]B. Mavrin, H. Yao, L. Kong, K. Wu, and Y. Yu, “Distributional reinforcement learning for efficientexploration,” in International Conference on Machine Learning, , pp. 4424–4434. [8]D. Pathak, P. Agrawal, A. A. Efros, and T. Darrell, “Curiosity-driven exploration by self-supervisedprediction,” in International Conference on Machine Learning, , pp. 2778–2787. [9]H. Kim, J. Kim, Y. Jeong, S. Levine, and H. O. Song, “EMI: exploration with mutual information,” inInternational Conference on Machine Learning, , pp. 3360–3369. [10]Y. Burda, H. Edwards, A. J. Storkey, and O. Klimov, “Exploration by random network distillation,” inInternational Conference on Learning Representations, . [11]R. Y. Tao, V. Franois-Lavet, and J. Pineau, “Novelty search in representational space for sample efficientexploration,” in Advances in Neural Information Processing Systems, . [12]Y. Du, L. Han, M. Fang, J. Liu, T. Dai, and D. Tao, “LIIR: learning individual intrinsic reward in multi-agentreinforcement learning,” in Advances in Neural Information Processing Systems, , pp. 4405– 4416 [13]R. Houthooft, X. Chen, Y. Duan, J. Schulman, F. D. Turck, and P. Abbeel, “VIME: variational information maximizing exploration,” in Advances in Neural Information Processing Systems, , pp. 1109–1117. [14]T. Wang, J. Wang, Y. Wu, and C. Zhang, “Influence-based multi-agent exploration,” in International Conference on Learning Representations, [15]D. Horgan, J. Quan, D. Budden, G. Barth-Maron, M. Hessel, H. van Hasselt, and D. Silver, “Distributed prioritized experience replay,” in International Conference on Learning Representations, . [16]S. Kapturowski, G. Ostrovski, J. Quan, R. Munos, and W. Dabney, “Recurrent experience replay in distributed reinforcement learning,” in International Conference on Learning Representations, . [17]M. Fortunato, M. G. Azar, B. Piot, J. Menick, M. Hessel, I. Osband, A. Graves, V. Mnih, R. Munos, D. Hassabis, O. Pietquin, C. Blundell, and S. Legg, “Noisy networks for exploration,” in International Conference on Learning Representations, . [18]E. Adrien, H. Joost, L. Joel, S. K. O, and C. Jeff, “First return, then explore,” Nature, vol. 590, no. 7847, pp.580–586, . [19]A. Mahajan, T. Rashid, M. Samvelyan, and S. Whiteson, “MAVEN: multi-agent variational exploration,” inAdvances in Neural Information Processing Systems, , pp. 7611–7622.
