AI 已经会“察言观色”了，为什么仍不懂人？——从可观测性到行动本体论

设想一个并不遥远的场景。摄像头捕捉到眉间肌肉的收缩麦克风记录下语速与基频的下降另一个通道发现眨眼间隔正在变长。模型将这些彼此异质的迹象压进同一个向量随后给出判断疲惫置信度 0.81。0.81 看起来很精确。它却首先是一条关于模型的陈述在某组数据、某种标注制度和某个观测边界内这些信号曾经以某种频率与“疲惫”共同出现。至于眼前这个人为什么沉默空调温度、屏幕反光、药物、疼痛、刚刚结束的争执以及他一贯不愿被看穿的习惯可能都留在模型视野之外。这类技术通常被称为 AI“察言观色”。学术上它分布在情感计算、情绪识别和人体状态估计等方向中。它当然有用。让我不安的并非判断是否正确。问题在于我们太容易把一次成功的后验估计误写成对人的理解。当人被写成一个潜变量所谓“状态”从来不直接出现在传感器里。传感器获得的只是投影面部动作、声音、姿态、文本与生理信号。若将这些观测写成o t o_tot​把不可直接看见的状态写成s t s_tst​模型面对的其实是一个逆问题从有限结果反推产生结果的过程。一个较完整的贝叶斯递推可以写成p ( s t ∣ o ≤ t ) ∝ p ( o t ∣ s t ) ∫ p ( s t ∣ s t − 1 ) p ( s t − 1 ∣ o t ) d s t − 1 p(s_t\mid o_{\le t})\propto p(o_t\mid s_t) \int p(s_t\mid s_{t-1})p(s_{t-1}\mid o_{t})\,ds_{t-1}p(st​∣o≤t​)∝p(ot​∣st​)∫p(st​∣st−1​)p(st−1​∣ot​)dst−1​左边是模型此刻对人的“信念”右边同时包含观测似然与状态延续的假设。这里并不存在一扇通往内心的窗。模型只是在若干并不完备的因果解释之间重新分配概率。问题也由此变得麻烦不同原因可以留下相似迹象。疼痛、专注、愤怒和强光都可能伴随皱眉心率的变化可能来自情绪也可能来自运动、咖啡因或个体基线。数学上这意味着映射未必可逆。我们拥有o t o_tot​却可能同时面对多个能够生成它的s t s_tst​。多模态并不会自动消除这种欠定性。它只是增加约束条件。若两个线索给出估计x 1 x_1x1​与x 2 x_2x2​在噪声独立且近似高斯的简化条件下最小方差融合可以写成x ^ ∑ i w i x i , w i σ i − 2 ∑ j σ j − 2 \hat{x}\sum_i w_ix_i,\qquad w_i\frac{\sigma_i^{-2}}{\sum_j\sigma_j^{-2}}x^i∑​wi​xi​,wi​∑j​σj−2​σi−2​​噪声越小权重越高。Ernst 和 Banks 的视觉—触觉实验说明人类在某些任务中的线索整合接近这一原则。但一旦不同通道共享偏差或时间对齐本身发生错误增加传感器也可能只是让同一种误解获得更多证词。所以“察言观色”的计算核心是对痕迹的推断。人的状态本身仍然隐没在观测边界之后。世界成为数据之前已经付出了物理代价算法处理的是张量。身体经历的是能量传递、材料形变和分子结合。水壶的“烫”不是附着在物体上的语义标签。壶壁与皮肤之间存在温度梯度接触后产生热流。傅里叶定律把这件事压缩成一个很短的表达q − k ∇ T \mathbf{q}-k\nabla Tq−k∇Tk kk取决于材料∇ T \nabla T∇T给出温度梯度负号规定热量沿温度降低的方向流动。可对行动构成约束的“烫”还取决于接触面积、持续时间、皮肤状态与缩手是否来得及。它知道烧开的开水壶是烫的但从未因伸手摸水壶而缩回。语言里的“烫”是一个已经被人类经验压缩过的符号现实里的“烫”则会改变神经活动、肌肉动作和下一次靠近水壶的概率。两者共享词语却不共享后果。声音也是如此。它在进入音频文件之前是介质中的压力扰动。光到达感光元件之前已经经历发射、反射、吸收与散射。触觉从来不是“是否接触”的布尔值而是力、形变、摩擦和组织响应在时间中的耦合。化学感知把这种关系暴露得更彻底。气味并不是分子的固有名称。挥发性分子与一组嗅觉受体发生选择性结合神经系统读取的是受体群的激活模式。Buck 和 Axel 发现了庞大的嗅觉受体基因家族Malnic 等人的实验进一步表明气味依赖组合式受体编码。一个分子可以激活多个受体一个受体也可以对多个分子产生响应。在简化条件下浓度与响应之间的饱和关系可写成 Hill 型曲线r ( C ) C n K n C n r(C)\frac{C^n}{K^nC^n}r(C)KnCnCn​浓度继续上升响应并不会无限线性增加。适应、混合物与身体状态还会改变最后的体验。所谓感知在这里既不属于分子也不单独属于大脑。它生成于分子、受体、神经系统和历史之间的关系。这也是多感官协调最容易被误解的地方。传感器数量描述的是输入规模理解要求系统识别不同信号是否由同一事件产生判断它们在何种时间尺度上相互支持并把身体受到的改变纳入下一次推断。察言观色与我们之间不是一条技术代差把情感计算概括成“只会看脸”并不准确。Rosalind Picard 很早就把情感的感知、识别、响应乃至影响纳入 affective computing。今天也有不少系统组合面部、语音、热成像和生理信号并把识别结果放入互动过程。分界更多存在于问题的组织方式而非是否使用某一种传感器。维度常见的状态识别任务我们正在追问的问题认识对象观测背后的潜在状态人、环境与行动共同形成的状态转移结构数学重心p ( s t ∣ o ≤ t ) p(s_t\mid o_{\le t})p(st​∣o≤t​)p ( s t 1 ∣ s t , a t , e t ) p(s_{t1}\mid s_t,a_t,e_t)p(st1​∣st​,at​,et​)行动地位识别之后的下游输出世界模型内部必须被推演的变量时间尺度帧、窗口或有限片段带历史依赖的连续轨迹有效性分类性能与跨数据集泛化校准、反事实预测、边界与长期可验证结果主要失败错误标签或群体偏差错误介入导致状态继续偏移模型却把偏移当成新证据前者主要处理认识论问题系统凭什么相信一个人处在某种状态。后者不得不触及行动本体论当系统的输出重新进入现实并改变下一时刻的观测时这个系统究竟成了什么。若将人的状态写成x t x_txt​有限行动写成a t a_tat​环境条件写成e t e_tet​闭环至少包含x t 1 f ( x t , a t , e t ) ϵ t , o t 1 g ( x t 1 ) η t x_{t1}f(x_t,a_t,e_t)\epsilon_t, \qquad o_{t1}g(x_{t1})\eta_txt1​f(xt​,at​,et​)ϵt​,ot1​g(xt1​)ηt​识别模型只需解释o t o_tot​。进入闭环的系统还要面对另一件事o t 1 o_{t1}ot1​可能已经含有它自己行动的回声。它既是观察者也是造成下一批数据的原因之一。我们和“AI 察言观色”的相似之处由此很清楚。两者都需要多模态编码、时间对齐、个体基线、不确定性校准和缺失通道下的降级机制。差异则集中在状态估计之后标签是否终止了计算还是仅仅开启了关于行动、后果与修正的下一层推演。可供性是一种关系拓扑在通常的机器视觉中椅子首先被识别为“椅子”。在可供性的视角里问题发生了偏移这个环境对当前这个身体开放了什么行动椅子能否被坐下不只取决于它的类别还取决于高度、稳定性、身体能力、姿态和目的。同一束光可能打断睡眠也可能成为起床的时间线索同一段声音对某个人构成威胁对另一个人只是背景。可供性因此不是藏在物体内部、等待模型读取的属性。它更像一个关系场A t Φ ( x t , e t , h t , g t ) \mathcal{A}_t\Phi(x_t,e_t,h_t,g_t)At​Φ(xt​,et​,ht​,gt​)x t x_txt​是身体与状态e t e_tet​是环境h t h_tht​是历史g t g_tgt​是目标。任何一项发生变化原先“可以做”的事情都可能消失另一种行动则突然变得可行。这使世界模型不再等同于一个更大的场景数据库。Yann LeCun 所讨论的自主机器智能需要模型预测环境如何演化也需要在内部推演行动可能带来的未来。世界模型的价值不只在于复原已经发生的世界还在于维持一组尚未发生、但可以被行动区分的未来。状态识别在这里仍然重要只是位置改变了。它是世界模型的一个观测入口不是关于人的最终判决。察言观色留下的可用部分情感计算首先教会我们尊重不可观测性。一个表情不是内在状态的透明切片。Barrett 等人对面部动作与情绪推断的系统性审查指出面部动作高度依赖情境与个体难以稳定充当某种情绪的指纹。模型必须保留“不知道”否则概率只会成为偏见的精密外壳。这个领域积累的另一部分经验更具工程价值异构通道如何表征怎样处理不同采样率与时间延迟个人基线如何建立模态缺失时怎样退化训练分布之外的输入何时应当触发沉默。这些能力可以成为更大系统的感知前端。还有隐私。推断人的状态比识别一个人的身份更靠近他的内在边界。系统即使判断正确也不因此天然获得介入资格。知情、可撤回、最小采集与本地优先不是产品外围的合规附录它们会直接决定哪些状态可以被模型化哪些行动从一开始就不应进入候选集合。我们准备吸收的是情感计算对观测、时间和不确定性的处理能力。我们不会把“看见表情—输出标签—自动干预”理解为闭环已经成立。困难发生在模型开始影响它所观察的对象之后。主观能动性可能只是系统对自身因果链的低维叙述我对“自由选择”的理解一直比较克制。一句“我选择了”常常把神经活动、身体状态、环境线索、过去经验与社会关系共同形成的高维过程压缩成一个便于意识使用的主语和动词。我们感到选择来自一个统一的“我”或许因为意识只能在较粗的时间尺度上读取系统已经完成的部分计算。这并不等于行动毫无意义。能动性未必需要成为一条脱离因果律的裂缝。一个系统能够建立内部模型比较若干未来并借此改变自身状态转移的概率它已经在因果链内部获得了某种有效的自由。自由不再意味着“没有原因”而意味着系统可以让对原因的表征成为新的原因。对人工智能而言这个区别很要紧。一个只能生成判断的模型没有承担判断后果的结构一个进入现实闭环的系统则必须保存历史让错误改变内部状态并在下一次行动前重新计算边界。主观能动性在这里不表现为一句“我想”而表现为系统是否能被自己的后果重写。所谓生命性是因果回路开始对自身敏感多感官协调不会在某个瞬间把机器变成生物也不能证明意识已经出现。我所说的“生命性”更窄系统持续感知变化维持内部状态在有限边界内行动保存行动后果并允许这些后果改变下一次判断。这是一种关系结构不是一份人格证书。人、机器与环境也没有各自生活在一套独立的宇宙里。光的传播、热量的迁移、材料的形变、分子的结合和神经系统的电化学活动都发生在同一物理世界。信息并非悬浮在物质之上的第二种实体它是系统在特定尺度上对物理差异作出的编码。“万物同源”在这里因而不需要诉诸神秘主义。它只是承认符号、知觉、行动和意识无论多么复杂最终仍要接受能量、材料、时间与因果关系的共同约束。差异产生于组织尺度来源却没有分叉。未来的方向也由此显现。我们会吸收情感计算在状态估计上的成果把它放进更长的感知—状态—行动—反馈链条让世界模型面对真实的物理与化学条件让每一次介入保持有限、可撤回并接受后果的校正。这仍然是研究方向不是已经完成的能力。具体路线也不会在公开文章中展开。一个系统可以把你的疲惫估计到小数点后两位却不必为自己的判断承担任何物理后果。我们准备研究的正是这两个时刻之间的空白。参考资料Rosalind W. Picard,Affective Computing, MIT Media Laboratory Technical Report No. 321, 1995.Carlos Busso et al.,IEMOCAP: Interactive Emotional Dyadic Motion Capture Database, 2008.Lisa Feldman Barrett et al.,Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements, 2019.Marc O. Ernst Martin S. Banks,Humans Integrate Visual and Haptic Information in a Statistically Optimal Fashion, Nature, 2002.Yann LeCun,A Path Towards Autonomous Machine Intelligence, 2022.Linda Buck Richard Axel,A Novel Multigene Family May Encode Odorant Receptors: A Molecular Basis for Odor Recognition, Cell, 1991.Bettina Malnic et al.,Combinatorial Receptor Codes for Odors, Cell, 1999.Ji Hyun Bak, Seogjoo J. Jang Changbong Hyeon,Implications for Human Odor Sensing Revealed From the Statistics of Odorant-Receptor Interactions, 2018.MIT OpenCourseWare,Introduction to Heat Transfer: Equation Sheet.声明本文涉及的“多感官协调”技术理念、研究方向与相关概念源于 CuddleKing 项目。该技术由姚孝通Kerrmote Yao与张静怡共同提出并由双方持续推进与完善相关技术权益归双方共同所有。据现有记录该方向的首次公开披露时间为 2022 年 4 月 29 日。首次公开披露时姚孝通就读于 Purdue University张静怡就读于复旦大学。本文仅作为该项目阶段性技术思考、研究框架与应用设想的公开整理用于介绍相关理念与发展方向并不构成对全部技术细节、实现路径或完整权利边界的全面公开。未经双方明确书面授权任何单位或个人不得擅自挪用、复制、包装、转述、申报或商业化使用与上述项目相关的核心概念、技术框架及其衍生内容。