LSTM-PINN-HSV：融合循环网络与物理约束的时序物理场建模实战

简介这份 MATLAB 代码包围绕 LSTM 与 PINN物理信息神经网络的融合建模展开面向需要将深度时序模型与物理约束相结合的研究者和 MATLAB 开发者适合用于复现基于 HSV 特征的仿真实验或作为模型对比的基线。包内共 8 个文件5 个 .m 脚本涵盖主程序、模型训练与验证等关键模块3 个 .asv 文件为 MATLAB 自动保存的中间版本便于回溯调试过程压缩包整体仅 17KB代码体量精简读写与移植都很方便。已有 228 人学习过这套代码说明其在实际复现和二次开发中具备一定参考价值。通过主程序可快速启动完整流程配合验证脚本中的验证逻辑能清晰梳理 LSTM-PINN 在 HSV 数据上的输入输出、损失构成与效果评估方式也可在此基础上修改网络层数或损失权重迁移到其他物理场建模任务。1. LSTM-PINN-HSV一个能报时序物理场的混合建模资源做时序物理场建模的人大概率撞过同一堵墙纯 LSTM 前几十步拟合漂亮往外推就开始发散物理规律一点没学到纯 PINN 守得住方程可你得先手写出完整的边界条件写错一条收敛曲线直接躺平。LSTM-PINN-HSV 这个资源包就是替这种处境准备的——先用 LSTM 窗口压缩历史观测得到一条隐状态向量 HSV再交给 PINN 当条件约束让整个网络在不依赖人工给定边界函数的前提下完成时序物理场的预测与状态补齐。适合做温度场外推、流场状态辨识、残缺观测修复的工程场景也适合刚接触 PINN 与循环网络混编的开发者用来搭骨架。包里数据处理、模型定义和训练循环相互独立能直接拿来比对实验。2. 核心结构与数据流LSTM 如何把历史压成 HSVPINN 又怎么把它变成场2.1 整体框架编码器-解码器与批处理约定这套资源的核心不是一个网络而是两个网络串成的一条数据流水线。左侧是 LSTM 编码器输入一批连续时间步的空间场观测输出一个低维向量也就是标题里的 HSVHidden State Vector隐状态向量右侧是 PINN 解码器输入查询点的空间坐标和时间坐标同时把 HSV 作为条件向量拼进去输出该点对应的物理场值。如果你熟悉 DeepONet 那类 branch-trunk 结构会发现这套东西的思路是同族的历史观测走 branch 分支空间时间坐标走 trunk 分支两个分支的产物在解码器里汇合。区别在于这里的 branch 换成了循环结构所以它天然能处理不等长、时序依赖强、观测窗口可滑动的数据。HSV 本质上就是 LSTM 末时刻隐状态的再投影它承担的职责可以理解为「这一段时间序列里的状态摘要」。批处理约定上这份资源默认 batch size 为 1也就是一个 batch 对应一条历史观测序列后面跟着一套查询点。好处是每个案例的物理场规模可以不同适合传感器点位稀疏或不均匀的工程数据代价是 GPU 利用率不高批量训练要靠多个 batch 叠加。实际验证时我一般保持这个设定因为 PINN 的查询点采样本来就随机batch 里点多了反而掩盖边界区域的欠采样问题。2.2 三类损失函数数据损失、PDE 残差与边界匹配模型要能同时拟合观测、满足物理、不被边界条件卡死靠的是损失函数里三个项的配合。第一项是数据损失直接用预测值与查询点上真实观测做 MSE作用是把网络拉回数据现实避免纯物理残差让模型走偏。第二项是 PDE 残差用自动微分算出输出对时间坐标和空间坐标的各阶偏导数代入控制方程得到一个残差。以 Burgers 方程为例残差形式是 u_t uu_x - nuu_xx。这一项不要求任何观测只要求坐标点落在计算域内是整个模型外推能力的来源。第三项边界匹配损失作用是把 HSV 和坐标信息映射到边界上的输出与已知边界值对齐。注意这里的关键设计和纯 PINN 不同纯 PINN 的边界条件靠人工写死这套模型里边界信息同时由 HSV 携带LSTM 看过的历史观测越完整边界匹配损失越小。实际使用时如果历史窗口内刚好覆盖了边界区域的数据这一项会迅速收敛反之建议把权重调低防止模型在边界上反复震荡。2.3 核心实现模型定义与一次前向传播先看编码器。这段代码定义了 LSTM 如何把历史观测压成 HSVimport torch import torch.nn as nn class HSVEncoder(nn.Module): LSTM编码器历史观测序列 - HSV隐状态向量 def __init__(self, input_dim, lstm_hidden, hsv_dim, num_layers1): super().__init__() self.lstm nn.LSTM( input_dim, lstm_hidden, num_layersnum_layers, batch_firstTrue ) self.head nn.Sequential( nn.Linear(lstm_hidden, 32), nn.Tanh(), nn.Linear(32, hsv_dim) ) def forward(self, hist): # hist: (batch, seq_len, input_dim) _, (h, _) self.lstm(hist) last_h h[-1] # 取最后一层的最后时刻状态 return self.head(last_h) # (batch, hsv_dim)逻辑上hist的 shape 是 (batch, seq_len, input_dim)其中input_dim是每个时间步上观测点的维度。如果输入是空间上 N 个测点的温度读数那么input_dimN每个时间步就是一条空间快照。h[-1]取的是最后时刻、最后一层的隐状态它的维度是lstm_hidden再经过两层全连接映射到hsv_dim。这里的 ReLU 没放在最后一层因为 HSV 要作为后续网络的连续条件输入激活区间太窄反而限制表达。接着看解码器。PINN 头把坐标和 HSV 拼成一个输入向量再走几层全连接class PINNHead(nn.Module): PINN解码器查询坐标 HSV - 场值u def __init__(self, coord_dim, hsv_dim, hidden_dim, num_layers): super().__init__() in_dim coord_dim hsv_dim layers [] for _ in range(num_layers): layers.extend([ nn.Linear(in_dim, hidden_dim), nn.Tanh() ]) in_dim hidden_dim layers.append(nn.Linear(hidden_dim, 1)) self.net nn.Sequential(*layers) def forward(self, xq, tq, hsv): # xq, tq: (batch, n_query) B, N xq.shape coord torch.stack([xq, tq], dim-1) # (B, N, 2) hsv_b hsv.unsqueeze(1).expand(B, N, -1) # (B, N, hsv_dim) inp torch.cat([coord, hsv_b], dim-1) # (B, N, 2hsv_dim) return self.net(inp) # (B, N, 1)hsv.unsqueeze(1).expand(B, N, -1)这一步是把 HSV 复制到每个查询点上。expand 不申请新内存内存占用小但反向传播时梯度会自然地累积到 hsv 上。这里coord_dim固定为 2对应空间坐标加时间坐标如果你要处理二维空间场把它改成 3 即可代码结构不变。最后把它们组装起来class LSTMPINN(nn.Module): def __init__(self, input_dim, seq_len, lstm_hidden, hsv_dim, pinn_hidden, pinn_layers): super().__init__() self.encoder HSVEncoder(input_dim, lstm_hidden, hsv_dim) self.pinn PINNHead(2, hsv_dim, pinn_hidden, pinn_layers) def forward(self, hist, xq, tq): hsv self.encoder(hist) # (B, hsv_dim) u self.pinn(xq, tq, hsv) # (B, n_query, 1) return u, hsv整个前向过程里HSV 只由历史观测生成PINN 头不直接接触原始时间序列。这么设计的理由很直接如果让 PINN 直接看序列它会学着「记住」历史数据而忽略物理结构压缩成低维 HSV 之后模型被迫把有效信息提取出来长外推时的泛化能力反而强。3. 训练前准备数据切分、归一化与关键超参数3.1 数据切分让历史窗口与查询点对齐这份资源里最需要注意的是数据构造方式。如果你的观测矩阵是data形状为 (T_total, N_points)那么每个训练样本要从里切两段前seq_len步作为 LSTM 的历史输入后面一段作为 PINN 的查询区间。import numpy as np def make_batch(data, stencil_x, seq_len30, n_query256, t_span20.0): 构造一个 LSTM-PINN 训练样本 data: (T_total, N_points) 已归一化的观测矩阵 stencil_x: (N_points,) 空间坐标已归一化到 [0,1] 返回 hist, xq, tq, u_true T_total, N data.shape i0 np.random.randint(0, T_total - seq_len) hist data[i0:i0 seq_len] # (seq_len, N) x_idx np.random.randint(0, N, sizen_query) # 随机挑空间点 t_offs np.random.uniform(0, t_span, sizen_query) # 相对时间偏移 xq stencil_x[x_idx].astype(np.float32) tq t_offs.astype(np.float32) # 用最近邻网格点近似真实观测值 t_nearest np.clip(np.round(t_offs).astype(int), 0, int(t_span) - 1) u_true data[i0 seq_len t_nearest, x_idx].astype(np.float32) hist torch.from_numpy(hist).unsqueeze(0) # (1, seq_len, N) xq torch.from_numpy(xq).unsqueeze(0) # (1, n_query) tq torch.from_numpy(tq).unsqueeze(0) # (1, n_query) u_true torch.from_numpy(u_true).unsqueeze(0) # (1, n_query) return hist, xq, tq, u_true这里有两个参数在复现时会直接决定效果好坏。seq_len是历史窗口长度窗口太短时 HSV 拿不到足够的演化趋势信息窗口太长则 LSTM 记忆负担加重末端时间步的信息会被淹没。做仿真数据时我会先用 30 步跑通再试 50 步看外推误差是否下降。t_span是查询区间长度它决定模型要外推多久工程上建议是seq_len的 0.5 到 1 倍超过一倍后 PDE 残差权重必须相应加大否则外推段纯靠惯性滑行。3.2 归一化与采样策略PINN 老玩家都清楚坐标不归一化基本等于让网络去拟合一个条件极差的函数。空间坐标要线性映射到 [0,1]时间坐标同样映射到 [0,1]。物理场值按全局 min-max 归一化到 [-1,1]而不是 [0,1]因为 Tanh 激活的输出区间是对称的场值偏置到正区间会让第一层权重初始化变得不均匀。采样策略上内部点和边界点要分开采。常见做法是 80% 的查询点均匀撒在时空域内部20% 落在边界附近。如果把边界点混进全体随机采样里边界区域的样本密度太低边界匹配损失会拖累整体收敛。我在复现时习惯的做法是先用np.random.uniform采内部点再用边界坐标单独采样一组边界点把两组拼接起来统一打乱顺序喂给模型。另一个容易被忽略的细节是每次迭代都重新采样查询点而不是固定一套点反复训练。固定查询点会导致 PINN 在这几个点上过拟合loss 曲线看似下降换一批点立即暴露残差很高。资源包里默认每步重新采样正是为了防止这种「记忆坐标」的情况。3.3 超参数配置参考下面这组参数是在模拟温度场数据上跑通的配置直接照抄能复现出误差曲线收敛的效果但不保证每套数据都最优参数名推荐值说明seq_len30历史时间窗口长度lstm_hidden64LSTM 隐状态维度hsv_dim12HSV 向量维度过大容易过拟合pinn_hidden32PINN 每层宽度pinn_layers3PINN 深度超过 5 层训练不稳n_query256每步查询点数w_phy50.0PDE 残差权重lr1e-3Adam 初始学习率batch_size1每条序列一个 batchhsv_dim是最值得先做敏感性测试的参数。它太小比如压到 4边界信息丢失外推曲线会在后半段明显偏平它太大比如 64LSTM 会把历史序列几乎原样编码进去模型等同于一个带正则的纯拟合器。12 附近是多数测试里表现最稳的区间但如果你手头数据的时间相关性特别强可以试着降到 8。注意w_phy不是越大越好。PDE 残差项和数据的量纲不一致权重过大会让模型优先满足方程而牺牲观测点拟合表现是训练早期损失震荡剧烈后期才慢慢收敛回来。先从 10 起步看三步损失的比例再调。4. 复现流程从初始化到收敛每一步看什么4.1 模型初始化与权重管理拿到资源后第一步不是跑训练而是把模型结构和参数量打出来核对一遍。常见的错误是数据里空间点数是 50input_dim却写成 128LSTM 的输入维度对不上前向直接报错。device torch.device(cuda if torch.cuda.is_available() else cpu) model LSTMPINN( input_dimN, # 空间测点数 seq_len30, lstm_hidden64, hsv_dim12, pinn_hidden32, pinn_layers3 ).to(device) for name, p in model.named_parameters(): if p.dim() 1: nn.init.xavier_uniform_(p) else: nn.init.zeros_(p)初始化这里有个讲究。LSTM 自带初始化逻辑不用额外干预但 PINNHead 里全连接层如果不做 Xavier 初始化Tanh 激活之后每层输出方差会逐步衰减深层时梯度近似消失。Xavier 均匀初始化在 Tanh 网络里是稳定选择尤其当输入维度是coord_dim hsv_dim这种混合维度时控制每层方差很关键。验证参数量还有个附带好处能看出 HSV 在整体参数里占比是否合理。经验上 HSV 编码器参数应占不到总参数的 20%否则说明历史信息通道过重训练时物理约束容易被 LSTM 分支带偏。4.2 训练循环数据损失与 PDE 残差的合流训练循环是这个资源的核心也是和普通监督学习最不同的地方。每一个 step 里数据损失和 PDE 残差共用同一个前向结果但 PDE 残差要求坐标张量带梯度所以坐标要在进模型前就挂上requires_grad_。import torch.nn.functional as F optimizer torch.optim.Adam(model.parameters(), lr1e-3) w_phy 50.0 nu 0.01 # Burgers 方程粘性系数 model.train() for step in range(10000): hist, xq, tq, u_true make_batch( data, stencil_x, seq_len30, n_query256, t_span20.0 ) hist hist.to(device) xq xq.to(device).requires_grad_(True) tq tq.to(device).requires_grad_(True) u_true u_true.to(device) # 一次前向同时拿输出和 HSV u, hsv model(hist, xq, tq) # u: (1, n_query, 1) u u.squeeze(-1) # (1, n_query) # 1) 数据损失 data_loss F.mse_loss(u, u_true) # 2) PDE 残差Burgers 方程 u_t u*u_x - nu*u_xx 0 u_t torch.autograd.grad( u, tq, grad_outputstorch.ones_like(u), create_graphTrue )[0] u_x torch.autograd.grad( u, xq, grad_outputstorch.ones_like(u), create_graphTrue )[0] u_xx torch.autograd.grad( u_x, xq, grad_outputstorch.ones_like(u_x), create_graphTrue )[0] residual u_t u * u_x - nu * u_xx phy_loss residual.square().mean() # 3) 合并与反传 loss data_loss w_phy * phy_loss optimizer.zero_grad() loss.backward() optimizer.step() if step % 500 0: print(fstep {step:5d} | data {data_loss.item():.6f} f| pde {phy_loss.item():.6f} | hsv_norm {hsv.norm().item():.4f})torch.autograd.grad是这套代码里唯一需要认真理解的地方。u_t是输出对时间坐标的一阶导u_x是对空间坐标的一阶导u_xx则是在u_x的基础上再对x求一次导。create_graphTrue会保留这些导数运算的计算图这样二阶导能参与反向传播代价是显存消耗增加建议查询点数量控制在 512 以内。hsv_norm是每个 step 打印出的 HSV 向量范数。这个指标很实用如果训练初期hsv_norm快速逼近 0说明编码器把信息压缩没了边界匹配项形同虚设如果hsv_norm持续上涨且超过 10则说明 HSV 维度内表达过度集中后续 PINN 输入不稳定。直觉上 5 到 20 之间都算在正常工作范围。4.3 收敛判据与结果输出数据损失降下来不代表物理约束真的生效要同时盯两个曲线的斜率。跑 5000 步后数据损失降不动没关系关键是 PDE 残差要继续下降或者说两个 loss 的比值从初始的几十比一慢慢收敛到个位数。如果 PDE 残差曲线走平且数值大于 1e-3外推结果基本不可信小于 1e-4 时即可认为物理约束已经稳定嵌入。输出验证时别只看误差曲线至少做两件检查第一张图是预测场与真实场的热力图对比看边界处是否有色差突变第二张图是 PDE 残差在空间-时间平面上的分布理想情况下全平面呈均匀淡色如果残差集中出现在某条边界沿线上排查方向是边界点采样密度。包里的绘图函数默认输出这两张图复现时可以直接读出来确认。5. 避坑与常见问题LSTM-PINN 混编中五个真实翻车现场5.1 数据损失和 PDE 残差量级失衡训练变成了纯拟合现象第 1000 步后损失曲线还在降但每次打印数据会发现 PDE 残差纹丝不动外推段预测结果呈现直线和物理演化完全脱节。原因data_loss初始量级在 1e-3 左右pde_loss因为包含二阶导项初始量级可能在 1e-1 甚至更高。等权相加后梯度被 PDE 残差主导但 Adam 的自适应学习率会压低大梯度最终两边都学不动。解决把w_phy从 50 往 200 方向调同时观察hsv_norm是否稳定在一个区间。如果调到 200 后 PDE 残差还是不掉那就是后面第 5.3 条的维度问题不是权重问题。我一般先在固定查询点上跑 100 步打印初始损失算出两个损失初始值的比值再把w_phy设为比值的 1/10后续再微调。5.2 HSV 维度定义不清换来换去都是玄学现象无论hsv_dim设为 4、16 还是 64误差曲线几乎一样外推效果没有明显变化。原因模型里 HSV 和坐标拼接后共同进入全连接层这时网络完全有机会忽略 HSV只靠坐标拟合出一个平均场。HSV 成了真正意义上的「摆设」维度再怎么调都不影响结果。解决在数据损失之外单独加一个辅助损失用 HSV 解码出历史窗口最后一步的场值分布与真实观测做 MSE。这样强制 HSV 携带时序信息再调维度才有意义。辅助损失只参与训练不参与推理验证阶段把它关掉。5.3 边界点采样太稀边界匹配损失成了摆设现象训练早期 loss 直线下降到了 3000 步突然开始震荡log 里还能看到个别 step 的梯度范数冲到几百。原因查询点完全均匀采样时计算域内边界区域占比本来就小落到边界附近的点数太少。边界匹配项在这个稀疏点上拟合噪声梯度波动大连带 PINN 内部权重反复修正。解决内部点和边界点分开采样按 8:2 的比例拼接后再喂给模型。边界点的坐标可以固定但每个 step 要重新加随机扰动避免网络死记边界坐标。另一个辅助手段是将边界损失单独用一个较小的学习率优化器更新这在多任务网络里是常见做法。5.4 LSTM 输入时间步的归一化影响状态演化现象把场值直接按偏移量减去均值再除以标准差后模型在验证集上表现正常但换一批初始条件后外推结果在时间轴上前半段和后半段波动幅度明显不对称。原因这类标准化方式只压缩了观测值没有保留传感器噪声的尺度信息。LSTM 结构对输入尺度变化极度敏感训练阶段和验证阶段如果噪声留存量不一致隐状态分布就会平移。解决统一使用全局 min-max 归一化到 [-1,1]并用训练集全量数据的最大最小值不要在 batch 内动态计算。若传感器本身存在漂移先做差分变换代替原始值进入 LSTM差分后的序列更平稳LSTM 对漂移的抗性会好很多。5.5 二阶导计算图过大导致显存溢出现象n_query设成 1024网络深度设为 6 层前向和反向都正常但loss.backward()时直接 OOM。原因create_graphTrue的二阶导会把计算图规模放大一个量级每多一层 Tanh反向传播需要的内存按层叠加显存打满错在最后一环。解决剪枝是第一步把 PINN 层数降到 3 到 4 层pinn_hidden降到 32。再做坐标分块把 1024 个查询点切分成 4 块每块 256 点轮流前向和累积梯度最后统一 backward。或者换用梯度检查点策略这在资源包里已经预留了开关需要显存紧张时开启。6. 进阶技巧小维度 HSV 也能出多尺度结果的拆解玩法6.1 多尺度拆段把 HSV 分成三路再重组HSV 维度低的时候一次给 PINN 一整条向量空间场里低频全局趋势和高频局部细节会互相争抢表达空间。我的做法是把 hsv_dim12 拆成三段每段 4 维分别通过不同初始化尺度的映射层再重新拼接。低频段映射层用小权重初始化偏置置零保证初始输出接近中性高频段映射层用相对大的权重初始化让细节信息在输入层有一席之地。这个改动很小直接在 PINNHead 的拼接逻辑中间插入三个 Linear 就能实现训练步数不变但对流场这类多尺度结构的重建效果提升明显。6.2 自适应损失权重让模型自己平衡物理和数据w_phy固定为 50 只能叫及格设置更好的方案是让权重在训练过程中随损失量级自适应调整。我习惯每 500 步对比一次 data_loss 和 pde_loss 的量级用它们在 log 空间的比值更新权重权重更新幅度限制在 0.9 倍到 1.1 倍之间防抖。这套机制避免了固定权重下两头翘的问题——前期数据损失下降快权重自动向 PDE 倾斜后期 PDE 残差也被压到很小量级时数据损失重新拿回合适权重。6.3 最后一步的检查习惯就算是完整复现了这份资源我也会额外跑一组「换初始条件」的验证把历史窗口前 10 步数据整体替换成同分布但不同的观测重新推理后确认外推段没有明显畸变。这一步能快速暴露模型是否记住了训练数据里的初始场。从那次踩过 5.2 的坑之后我每次调 HSV 维度都强制走一遍这个流程先验证 HSV 真的在携带信息再谈效果优化。希望帮到你。本文还有配套的精品资源点击获取