顺序决策与基础模型如何交叉互惠？谷歌、伯克利等探讨更多可能
在广泛数据集上基于自监督学习的预训练基础模型，已经展现出将知识迁移到不同下游任务的优秀能力。因此，这些模型也被应用到长期推理、控制、搜索和规划等更复杂的问题，或者被部署在对话、自动驾驶、医疗保健和机器人等应用中。未来它们也会提供接口给外部实体和智能体，例如在对话应用中，语言模型与人进行多轮交流；在机器人领域，感知控制模型在真实环境中执行动作。
这些场景为基础模型提出了新的挑战，包括：1) 如何从外部实体（如人对对话质量的评价）的反馈中学习，2) 如何适应大规模语言或视觉数据集中不常见的模态（如机器人动作），3) 如何在未来进行长期的推理和规划。
这些问题一直是传统意义上顺序决策的核心，涵盖了强化学习、模仿学习、规划、搜索和最优控制等领域。与基础模型使用数十亿图像和文本 token 的广泛数据集进行预训练的范式相反，以往关于顺序决策制定的工作主要集中在任务特定或具有有限先验知识的白板设置上。
尽管缺少或没有先验知识让顺序决策看起来很难，但是对顺序决策的研究已经在多个任务上超越了人类表现，如玩棋盘游戏、雅达利（Atari）电子游戏以及操作机器人完成导航和操作等。
然而，由于这些方法学习从零开始解决任务而没有来自视觉、语言或其它数据集的广泛知识，因此通常在泛化和样本效率方面表现不佳，例如需要 7 块 GPU 运行一天才能解决单个雅达利游戏。直觉上，类似于基础模型所用的广泛数据集也应该对顺序决策制定模型有用。举例而言，互联网上有无数关于如何玩雅达利游戏的文章和视频。同样地，有关对象和场景属性的大量知识对于机器人非常有用，关于人类愿望和情感的知识也可以改善对话模型。
虽然由于应用和关注点不同，基础模型和顺序决策的研究大体上是不相交的，但交汇的研究也越来越多。在基础模型方面，随着大语言模型的出现，目标应用从简单的零样本或少样本任务扩展到现在需要长期推理或多次交互的问题 。相反在顺序决策领域，受到大规模视觉和语言模型成功的启发，研究人员开始为学习多模型、多任务和通用交互式智能体准备越来越大的数据集。
两者领域之间的界线变得越来越模糊，一些最近的工作研究了预训练基础模型（例如 CLIP 和 ViT）在视觉环境中 bootstrap 交互式智能体的训练，而其他工作则研究了基础模型作为通过强化学习和人类反馈进行优化的对话智能体。还有一些工作还调整大型语言模型以与外部工具交互，例如搜索引擎、计算器、翻译工具、MuJoCo 模拟器和程序解释器。
最近，谷歌大脑团队、UC 伯克利和 MIT 的研究者撰文表示，基础模型和交互式决策研究相结合会让彼此受益。一方面，将基础模型应用于涉及外部实体的任务中，可以从交互式反馈和长期规划中受益。另一方面，顺序决策可以利用基础模型的世界知识更快地解决任务并进行更好的泛化。
论文地址：https://arxiv.org/pdf/2303.04129v1.pdf
为了在这两个领域的交集上推动进一步的研究，研究者限定了用于决策制定的基础模型的问题空间。同时提供了理解当前研究的技术工具，回顾了目前存在的挑战和未解决的问题，并预测了解决这些挑战的潜在解决方案和有前景的方法。
论文概览论文主要分为以下 5 个主要章节。
第 2 章回顾了顺序决策的相关背景，并提供了一些基础模型和决策制定最好一起考虑的示例场景。随后讲述了围绕基础模型如何构建决策制定系统的不同组件。
第 3 章探讨了基础模型如何作为行为生成式模型（比如技能发现）和环境生成式模型（比如进行基于模型的推演）。
第 4 章探讨了基础模型如何作为状态、动作、奖励和转移动态的表示学习器（例如即插即用的视觉 - 语言模型、基于模型的表示学习）。
第 5 章探讨了语言基础模型如何作为交互式智能体和环境，使得可以在顺序决策框架（语言模型推理、对话、工具使用）下考虑新问题和应用。
最后一章，研究者概述了未解决的问题和挑战，并提出了潜在的解决方案（例如如何利用广泛的数据、如何构建环境以及基础模型和顺序决策的哪些方面可以得到改进）。
更多细节内容请参阅原论文。
谷歌、伯克利等机构近期发布的新闻引起了人们的关注：GPT-3.5 Turbo开创性地实现了深度神经网络的新高度。同时，在算法领域中，顺序决策也日益受到瞩目。面对快速增长的大数据，顺序决策能够在不同的阶段动态地决定下一步的操作。接下来，我们来看看这两种技术如何实现了优势互补和发展。
GPT-3.5 Turbo的简介：创造性的模型
GPT-3.5 Turbo是对人类自然语言处理领域的极大突破。它将模型的训练数量增加了20倍，同时引入了更多的预训练阶段和统一的架构。在测试中，它在许多自然语言生成任务中取得了最高得分，使得其被广泛应用于语言模型中。同时，GPT-3.5 Turbo也开创了更多可能，比如跨语言自然语言理解、针对文本和图像的生成等。
顺序决策介绍：适用于多场景下的智能
顺序决策是指在处理自然语言生成或者复杂控制类问题时，根据目标场景不断进行操作、决策，选择最优策略的一种算法。相较于往复或者一步完成大规模任务的模型，顺序决策能够在面对复杂关系与多样化的场景时更有泛用性，进一步降低模型开发的复杂度。
GPT-3.5 Turbo 与顺序决策交叉：达到更高的性能
顺序决策与GPT-3.5 Turbo的结合产生了惊人的效果，尤其在解决时间序列预测的问题时，效果倍增。研究人员表示，这种方法将顺序决策方法与GPT-3.5 Turbo结合，实现了更高的语言生成性能和更高的可控制性。这意味着能够对模型进行更精准的控制、更好的效果验证。
应用前景：让自然语言生成变得更加自然与智能
GPT-3.5 Turbo与顺序决策的双重组合，可以催化自然语言处理的发展。例如，在智能对话机器人的场景中，顺序决策能够根据用户意图进行细致的多轮回答，而 GPT-3.5 Turbo能够保证回答的自然，避免产生拖延、逻辑错误、怪异等情况。更广阔的用途下，此种模型也可以使得条件语句、对话系统、聊天机器人等更加自然、人性化。
总结：
GPT-3.5 Turbo和顺序决策的结合，在提高自然语言处理方面的表现上很有潜力。它在模型语言生成性能的同时，可以进行更多的可控制性实验，进一步落地于更多场景中，例如聊天机器人、智能问答等。希望，这种结合能够为未来人工智能研究者和希望开发基于自然语言的应用的人们带来灵感和启发。
