RL-07-赵-不基于模型2-计算Q/ActionValue-TD算法04：Q-Learning03【判断某TD算法是On/Off】【Sarsa/MC：On】【Q-learning：Off】

1、如何判断一个时序差分（TD）算法是on-policy还是off-policy？如何判断一个时序差分（TD）算法是on-policy还是off-policy？首先，检查这个算法在数学上解决什么问题，然后，检查这个算法在实施过程中需要哪些东西才能让算法跑起来。这值得特别注意，因为对初学者来说，这是最令人困惑的问题之一。