AI领域很多技术原理，都可以从人脑在现实世界中学习找到参照对应。随着社会智能化水平提升，智能体概念应用场景越来越广，提到智能体绕不过去的是强化学习技术，本篇探讨下AI产品经理对强化学习的理解。
高中错题本
通过强化学习技术训练智能体的原理是，智能体通过在环境中不断试错交互，获得环境的状态反馈和任务奖励反馈，以此不断积累数据，并不断调整智能体，通过海量的试错和应用，最终形成高质量的智能体（agent）。
上高中时候，每天都有大量的课程和习题，同时学校要求构建错题本，即专门将错题整理成册。这就构成了两套系统，一方面不断通过大量的习题和考试练习，大脑对知识的掌握获得快速的对与错的反馈；另一方面，通过整理错题本和不断加强对错题的理解和思考，可以对知识薄弱环节进行针对性提升。
实际执行下来，并非每个学生都能很好掌握错题本习惯其中的奥义。假设只大量练习，不加强错题本整理和分析，会出现不断的重复在同样知识上失分；假设只看错题本，而不做大量练习，就会存在训练不足，掌握知识的泛化和迁移性存疑，可能陷入信息茧房，甚至错题本本身内容也会成为无源之水。
因此，大量练习是必要的，温错题而知新也是必要的，最终导向更高的分数，这样的优化目标。这就是现实中的强化学习应用。
游戏智能体
强化学习出现时间不短，但目前商业化应用场景仍然比较有限，大量的强化学习研究和应用都在游戏领域。
上述提到强化学习需要通过大量的与环境交互产生数据，才能不断地将智能体训练的更加智能。往往现实场景难以具备这样的条件，因此训练强化学习智能体的前提，一个仿真模拟的环境就是必要条件。电子游戏的本身便是对现实或想象的仿真模拟，并且通过各种信息识别方式，反馈很容易收集与量化。
拿上古策略游戏《三国群英传1》举例，智能体训练目标便是最小化统一时间，进一步是最小化占领全部城池时间。在优化目标前提下，城池、路线、将领、兵种都是智能体可以不断试错的对象，通过观察-行动-反馈不断积累数据，为了加速数据积累，可以同时开大量并行线程，加速智能体的试错与迭代。
通过这种方式训练出来的智能体，只要训练数据足够海量，打游戏的效果大概率比大部分人强的。但带来的问题是，智能体可以快速做出策略行动时，但不一定能解释清楚背后的原因或机理，这就是强化学习智能体可解释性问题。对比来讲，人类玩家需要长年累月的玩同样游戏和总结经验，形成对于剧本策略、武将、兵种等认知，然后行动中根据机理理解进行明确策略执行。
大模型+强化学习
去年大模型的爆发，很多业内人士会觉得是工程领域的成果。预训练模型刚出现时，在没有做指令微调情况下，与大模型交互，经常会出现大量答非所问的情况，这个阶段即便大模型已经掌握了很多知识，也不具备可用性。
收集大量人类认知与交互数据后，通过指令微调，大模型加深了与人类对齐能力，少了无关输出，更具有可用性。但实际使用过程中，又会出现幻觉，即模型不知道自己不知道，也要给出回答。这里的问题是SFT只有正样例造成过强的信号导致大模型受到影响。
RLHF（人类强化学习反馈）将人类反馈的结果作为强化学习奖励（reward），对大模型进行强化学习模拟交互，给出的生成结果，经过人类排序，排序本身既包含了正反馈与负反馈，最终使大模型更加符合人类认知与偏好。
安全性与生活应用
强化学习之商业化应用有限，主要原因是在严肃决策场景如何保证可解释性与安全性问题。解决安全性问题有两种思路：即先划定安全空间，强化学习给出的策略在安全空间才采用；另外一种思路是，将强化学习作为优化目标的约束条件，这样强化学习给出的策略也能保证安全性。
强化学习虽然是AI技术，但我们日常生活中，仍可以借鉴强化学习的思想做刻意练习进行自我提升。例如日常梳理思路、写文章、与人复盘交流，都是不断从现实世界中抽象数据，进行针对性强化练习，将自己大脑训练的更加全面，更好适应生产生活的需要。
网友评论