RL-05-赵-不基于模型1：MC算法02【MC Basic】【将策略迭代算法中的PE步骤中的基于模型计算Vπ进而计算q_π(s,a)的方式改为通过Monte Carlo来估计q_π(s,a)】

二、最简单的 MC-based RL algorithm 【蒙特卡洛方法思想核心，但数据利用效率太低】蒙特卡洛方法思想核心，但效率太低，在实际中无法使用。1、将策略迭代转换为无模型方法理解该算法的关键是理解how to convert the policy iteration algorithm to be model-free.首先，策略迭代算法在每次迭代中分为两步：{ Policy