南栖仙策最新发布强化学习工业软件和预训练模型

11月3日南栖仙策通用智能决策2022发布会上，介绍了强化学习工业软件REVIVE的新版本，更为惊艳的是，还发布了首个工业控制预训练模型。可以预见到强化学习，这一曾经在围棋上战胜人类的AI技术，将为工业场景将带来巨大变革。

　　智能决策平台REVIVE（ReinforcementlearningwithVirtualizedEnvironment），能够将少量历史数据转化为强大的决策引擎。

　　"我们在多年的落地经验中，吸取了非常多的教训，我们相信这个版本，能够带来更加智能，准确，灵活，可信的智能决策结果。" 南栖仙策联合创始人秦熔均这样介绍。新发布的REVIVE更智能、更准确、更灵活、更可信：

　　更加智能：新版本的REVIVE SDK引入变量因果分析工具，将用户从稠密的数据和复杂交错的流程当中解脱出来，自动进行结构优化和推荐，帮助用户轻松构建模型和进行虚拟环境的训练。

　　更加准确：正如人类在做决策时可以很快认知他所面临的环境，REVIVE通过生成、自动识别并自动匹配不同环境和最佳元策略模型，对最终的策略进行调优。针对实际环境，选择出最适宜准确的决策。

　　更加灵活：在现实应用中往往会有一些隐藏变量，新版REVIVE可以轻松添加隐变量模块，将缺失值也纳入考量。同时，新版本也更容易拆分出子模块进行修改和复用。

　　更加可信：REVIVE提供了决策的树状可视化状态，用户可以主动和模型进行交互，看看做了不同改变会获得怎样不同的结果，尝试不同决策，预见不同未来。

　　除了面向通用决策场景的REVIVE SDK，本场发布会上最惊艳的内容，是面向工业反馈控制任务的决策预训练模型。

　　通用反馈控制预训练模型

　　反馈控制任务广泛存在于大量的工业场景中。这类任务需要对实施过程中的每一步所引起的客观效果进行感知和反馈，并据此做出控制反应，调整下一步的计划决策和实施方案，在往复动态中达到控制目标。

　　不同的场景之下，工程师们需要根据不同的场景和环境去调整每一个控制参数，达到控制效果。如果能够实现通用的反馈控制系统，将为工业应用带来巨大变革。

　　要实现这项技术的关键核心在于，对不同任务的自动识别。只有当它识别了当前的任务是什么，才能根据任务调整控制策略，以做到对不同的任务都做出最优的决策。

　　针对这个问题，南栖仙策推出了通用反馈控制系统识别器：GFSEncoder。它能够输出3维的编码，来识别和表达不同反馈控制系统的特征和变化。

　　作为神经网络对系统的理解，GFSEncoder编码的每一维不会直接对应到系统的物理参数，但是二者依然会存在一定联系。

　　南栖仙策还额外发布了GFSEncoder Pro，将参数量提升50%以上。输出的任务编码维度从3维提升至8维，具有更强大的任务识别和编码能力。

　　在发布会上，南栖仙策以滑块的控制为例，展示了特征编码是如何随着物理参数的变化而变化的。B站搜索南栖仙策https://www.bilibili.com/video/BV1Bd4y1c7n7/?spm_id_from=333.999.0.0&vd_source=81e9203bcfc1f33b834d254f33b023c7可以看到完整的演示过程。

　　最后还需要强调的是，GFSEncoder并不需要额外测量系统的各种参数。

　　GFSEncoder下游应用

　　（一）系统变动预警

　　很多系统在长时间的运行后会发生老化或者损坏。通过比对GFSEncoder输出的编码可实时监控系统是否出现变化，预警系统失效。

　　（二）系统标定

　　GFSEncoder还可以根据当前系统编码与标准系统编码的差异来调整系统的参数，使用户不需要精密测量，就可以将系统向标准系统校准。

　　（三）PID参数预测

　　在这个应用中，南栖仙策介绍了将要推出的第二个模型，PIDPredictor。

　　PIDPredictor也是一个深度神经网络模型，能够基于GFSEncoder编码对相应的最优PID参数进行预测。GFSEncoder与PIDPredictor相结合，可以通过系统中的历史轨迹信息得到最优PID参数。

　　在展示当中，可以看出PIDPredictor所预测的PID参数的控制效果（右侧）会比待整定的PID控制器好很多。B站搜索南栖仙策可以看到完整的演示过程。

　　（四）通用反馈任务控制

　　南栖仙策还将PID控制器用神经网络控制器替代，推出了通用反馈控制器，GFSController。GFSController是使用强化学习训练得到的通用控制器，它由GFSEncoder与一个神经网络控制器组合而成。

　　结合GFSEncoder对系统的快速编码能力，GFSController可以做到部署即运行。

　　发布会以平衡车任务为例，进行了展示。在部署了GFSEncoder之后，无需进行任何针对性的调节，GFSController就能够直接将平衡车控制在稳定的状态。

　　作为验证，南栖仙策将GFSController部署至无人机高度控制任务中。作为对比，南栖仙策还引入了一个调好的二阶PID完成同样的任务，可以看出，GFSController与一个调好的PID控制器表现出了相当的水平。

　　为了测试GFSController通用性，发布会上，南栖仙策对更多的衍生场景进行了假设和模拟：如果有一天人类登陆火星或是在高空飞行，这个无人机能否适应新的环境变化？

　　GFSController很快就完成了对新系统的识别，其超调已经明显降低，然而PID控制器的超调依然很严重，以致于最后无人机撞击到地面并损毁。B站搜索南栖仙策可以看到完整的演示过程。

　　需要注意的是，这里的PID控制器是一个二阶级联的PID控制器。而GFSController则是一阶控制的。事实上，GFSController也能够通过级联来提升控制效果。这意味着GFSController除了通用性之外，还具有强大的拓展性。