RL-赵-(八)-ValueBased01-StateValue估算：TD函数逼近算法01【用函数拟合v、q值取代之前的“表格”形式】【函数可用于处理连续v/q空间，存储空间小泛化能力强】

一、Motivating examples: 曲线拟合curve fitting到目前为止，我们都是使用tables表示state values和action values。例如，下表是action value的表示：在编程的时候我们实际上就把这些表格重组成向量矩阵或者是数组，我使用表格的好处是什么呢？就是它是非常的直观，然后我去分析的时候也是比较简单的。优势：直观且容易分析劣势：难以处理较大或者连续的state或者action空间。两个方面：1）存储；2）泛化能力。举个例子： 假定有一个one-dimensional statess1,...,s∣S∣s_1,...,s_{|S|}s1​,...,s∣S∣​, 当π\piπ是给定策略的时候，它们的state values是vπ(s1),...,vπ(s∣S∣)v_\pi(s_1),...,v_\pi(s_{|S|})vπ​(s1​),...,vπ​(s∣S