从变压器到扩散模型2023介绍了基于序列建模的强化学习方法。

机器之心被转载

来源:知乎

作者:蒋铮尧

本文简要论述基于序列建模的强化学习方法。

大规模生成模型在近两年来给自然语言处理,甚至计算机视觉带来了巨大的突破。 最近这股风潮是强化学习,特别是decisiontransformer[dt][1]、trajectorytransformer[TT][2]、Gato[3]、diffussion[3]等离线强化学习oon 使用复杂的“策略改进”( policy improvement )和“评估”( value estimation )方法在离线增强学习中也表现出了非常好的性能。

简要介绍基于该系列建模的强化学习方法。 接下来笔者用我们新提出的trajectoryautoencodingplanner ( tap )和vectorquantisedvariationalautoencoder ( VQ-vae )进行系列建模

Transformer和强化学习

Transformer体系结构[5]自2023年提出以来,逐渐引发了自然语言处理的革命,后续的BERT和GPT-3将自监控Transformer的组合逐渐推向了一个新的高度,在自然语言处理领域存在较少的样本

但是,对于强化学习来说,这个过程在2023年之前似乎并不特别显著。 2023年,多头注意机制也被引入到强化学习[8]中,这种工作基本上是在半编码sub-symbolic这样的领域尝试解决强化学习的泛化问题。 此后,这样的尝试一直处于不温不火的状态。 根据笔者的个人体验,实际上Transformer在强化学习中也没有显示出稳定的压倒性优势,训练也很难。 在我们20年来使用Relational GCN进行强化学习的工作中[9],我们也尝试了Transformer,但基本上比传统的结构(类似CNN )差得多,在于得到稳定训练使用的policy 为什么Transformer和传统的在线强化学习( online RL )的相容性不好还是个开放的问题。 例如,Melo[10]解释说,这是因为传统Transformer的参数初始化不适合强化学习,但在此不多讨论。

2023年年中,诊断转移( dt )和转移( TT )的发布掀起了转移应用于RL的新大潮。 这两个工作的想法其实很直接。 如果Transformer和在线强化学习的算法不匹配,你会不会把强化学习当成自我监控学习的任务? 在离线强化学习这个概念也很火热的时候,这两个工作都把自己的主要目标任务锁定在离线数据集( offline dataset )的建模上,将这个序列模型用于控制和决策。

对强化学习来说,序列就是状态( state ) s,动作( action )

、报酬( reward ) r和价值( v )构成的轨迹( trajectory ) )。 其中价值目前普遍被return-to-go取代,可以认为是蒙特卡罗估计。 离线数据集由该轨迹组成。 轨道生成和环境动力学模型( dynamics )和行为策略( behaviour policy ) )。

是有关系的。 另一方面,序列建模是对产生序列的概率分布( distribution )进行建模,或者严格来说是其中的几个条件概率。

诊断转换程序

DT的方法是对历史数据和价值到操作的映射( return-conditioned policy )或数学期望建模,用于对操作的条件概率建模。 此观点与Upside Down RL[11]非常相似,但直接动机很可能是模仿如何基于关键字( prompt ) (如GPT2/3 )完成下游任务。 这种方法的一个问题是确定什么是最好的目标价值

没有比较系统化的方法。 但是,DT的作者们发现,即使将目标价值设定为数据集整体的最高return,最终DT也能很好地发挥作用。

诊断传输器,Figure 1

对于有强化学习背景的人来说,用滴滴涕这样的方法获得强大的表现是非常直观的。 说到DQN,策略梯度( Policy Gradient )这样的方法也可以看作是只能够插值泛化神经网络的拟合函数,强化学习中策略的提高、评价仍然是结构策略的核心。 可以说DT完全以神经网络为中心。 在这背后,如何将可能不现实的高目标价值与正确的动作挂钩的整个过程完全是黑匣子。 从强化学习的角度来看,DT的成功可以说是没有道理的,但我认为这就是这个实证研究的魅力。 我认为神经网络,或者Transformer的泛化能力可能会超过整个RL社区以前的期待。

DT在所有的数组建模方法中也非常简单,大多数强化学习的核心问题在Transformer内部得到了解决。 这种简单性是目前最受欢迎的原因之一。 但是,其黑匣子的性质使得我们在算法设计上失去了很多线索,难以吸取传统强化学习中的一些成果。 这些成果的有效性在alpha go、alpha star、VPT等超大规模的实验中被反复证实。

轨迹传输器

TT定律类似于传统的基于模型的增强学习( model-based RL )规划( planning )方法。 在建模中,对整个序列的元素进行离散化,采用GPT-2等离散自回归( auto-regressive )方法对整个离线数据集进行建模。 由此,可以对除了return-to-go以外任意序列的后续进行模型化。 由于将后续序列的分布模型化,TT实际上变成了一个序列生成模型。 通过在所生成的序列中寻找具有更好评价( value estimation )的序列,TT可以输出“最佳方案”。 关于寻找最佳序列的方法,TT使用了自然语言中常用的方法beam search的变种。 基本上,就是永远保留展开的序列中最好的序列的一部分

并根据它们查找下一步的最佳序列集。

从强化学习的角度来说,TT没有DT那么叛道。 有趣的是,“和DT一样,完全抛弃了原来的强化学习中的马尔可夫决策过程( Markov Decision Process )”的因果图结构。 该基于模型的方法(例如PETS、world model、dramerv2等)遵循马尔可夫过程[或者隐含马尔可夫]中的策略函数、转移函数、报酬函数等的定义。 也就是说,状态分布的条件是前一步的状态,动作、报酬、价值由现在的状态决定。 据信,在整个强化学习社区中,可以获得提高个样本的效率,但这种图表结构其实也可能是一种约束。 自然语言领域从RNN到Transformer,以及计算机视觉领域从CNN到Transformer的变化表明,随着数据的增加,让网络自身学习图形结构更有利于得到表现更好的模型

DreamerV2,Figure 3

因为TT基本上把所有的系列预测的任务都交给了Transformer,所以Transformer可以更加灵活地从数据中学习更好的图表结构。 如下图所示,TT模型化的行动战略根据任务和数据集的不同而显示出不同的图表结构。 图的左侧对应于以往的马尔可夫战略,图的右侧对应于运动的平均战略。

Trajectory Transformer,Figure 4

Transformer强大的序列建模能力带来了更高的序列建模精度。 下图显示,TT 100步以上的预测仍然保持较高的精度,但马尔可夫性单步预测模型很快就因预测误差叠加问题而崩溃。

Trajectory Transformer,Figure 2

TT在具体建模和预测方面与传统方法不同,但提供的预测能力为集成到强化学习中的未来其他成果留下了很好的线索。 但是,TT在预测速度上有重要的问题。 因为需要对序列整体的分布进行模型化,所以将序列中的所有要素按维度进行离散化。 也就是说,在100维的状态下需要占有系列中的100处,被模型化的系列的实际长度特别容易变长。 另外一方面,在Transformer情况下,对于序列长度n的运算复杂度

这使得从TT中采样未来的预测变得非常昂贵。 即使是100维以下的任务TT,也要花几秒到几十秒进行进一步决策的模型很难投入到实时的机器人控制和在线学习中。

盖塔

GTO是Deepmind发表的“类属模型”,实际上是模态多任务生成模型。 使用同一个Transformer,您可以完成各种任务:自然语言问答、照片描述、从电脑游戏到机器人控制。 关于连续控制( continous control )的建模,Gato的方法基本上与TT相似。 不过,Gato的严格意义并不是强化学习,它只是对专家策略生成的序列数据进行建模,并在行动时对下一个动作进行采样,实际上是模仿专家策略。

网关博客

其他序列生成模型:扩散模型

最近,在图像生成领域,扩散模型可以说是鲜红的紫红色,DALLE-2和Stable Diffusion在此基础上进行图像生成。 Diffuser还将该方法应用于离线强化学习。 其思路与TT相似,首先建模序列的条件分布,然后从当前状态采样未来可能的序列。

Diffuser比TT更灵活。 在设置了起点和终点的情况下,可以在模型中填充中间路径,从而实现目标驱动的控制,而不是最大化报酬函数。 还可以混合多个目标和预先的目标达成条件,帮助模型完成任务。

差异图像1

Diffuser相对于以往的强化学习模式也是卓越的,不是在时间轴上阶段性地展开,而是从系列整体意义上的模糊性逐渐生成为正确的。 扩散模型本身的进一步研究也是计算机视觉中的热门话题,该模型本身也很有可能在未来几年取得突破。

但是,扩散模型本身与其他生成模型相比存在特殊的缺点。 这意味着生成速度比其他生成模型慢。 许多相关领域的专家认为,这可能在未来几年内缓解。 但是,数秒的生成时间目前在强化学习需要实时控制的情况下是无法接受的。 Diffuser提出了通过从前一步骤的计划中稍微增加噪声并重新生成下一步骤的计划来提高生成速度的方法,但是这样会在一定程度上降低模型的性能。

参考

诊断传输器: reinforcementlearningviasequencemodeling https://arxiv.org/ABS/2106.01345 offlinereinforcementlearningasonebigsequencemodelingproblem https://arxiv.org/ABS/2106.02039 ageneralistagent 3359 abbiget 2106.02039 a 205.06175 planningwithdiffusionforflexiblebehaviorsynthesis 3359 arxiv.org/ABS/2205.09991 attentionisallyouneed 3359 arxiv 1706.03762 animageisworth 16x 16 words:transformersforimagerecognitionatscale https://arxiv 2010.11929 maskedautoencodersarescalablevisionlearners https://arxiv.org/ABS/2111.06377 relationaldeepreinforcementlearning 3337 1806.01830 grid-to-graph:flexiblespatialrelationalinductivebiasesforreing/ABS/2102.04220传输信息学习资源https://arxiv.org/ABS/206.06614传输信息学习资源

动态分享

三维建模初学者用什么软件,现在比较流行的三维建模

2022-12-14 23:09:37

动态分享

2023年,老人学会双手插花,展示(163)制作蓝屏材料

2022-12-14 23:11:40

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索