矿物数据质量处理与特征工程实战指南

1. 项目背景与核心挑战矿物分类是地质勘探和资源评估中的基础性工作。在实际项目中我们拿到的原始矿物成分数据往往存在各种质量问题实验室检测设备误差导致的异常值、不同批次样本的测量尺度差异、缺失值以及非标准化的记录格式等。这些问题会直接影响后续分类模型的准确性。去年参与某矿区勘探项目时我们收集的3000多份样本数据中仅铁含量这一项指标就存在12种不同的计量单位包括百分比、ppm、g/t等部分样本的稀土元素检测值出现数量级偏差。更棘手的是某些关键矿物成分存在高达30%的缺失率。这些数据质量问题如果不妥善处理直接建模会导致分类准确率下降40%以上。2. 数据质量诊断方法论2.1 异常值检测的三重验证机制传统方法常依赖简单的3σ原则或箱线图判定异常值但矿物数据具有其特殊性元素共生规律验证某些元素存在天然共生关系。例如铅锌矿中当Pb含量5%时Zn含量不应低于1%。我们建立了包含58条共生规则的专家知识库自动标记违反地质规律的异常记录。仪器误差范围校验不同检测设备如XRF与ICP-MS的允许误差范围不同。我们为每台设备建立误差阈值矩阵例如XRF测得的Fe含量允许±7%相对误差。空间分布一致性检查同一矿脉样本的成分应具有空间连续性。采用克里金插值法生成成分分布曲面偏离预测值超过2个标准差的样本需要复核。实战经验某铜矿项目中共生规则检查发现3个高铜低硫异常样本经核查是检测时未充分研磨导致的测量误差。2.2 缺失值处理的领域适配策略矿物数据的缺失机制可分为三类需区别处理缺失类型判断方法处理方案随机缺失(MAR)Littles MCAR检验p0.05多重插补mice包检测限缺失(LOD)值检测限的样本5%半检测限替换标记系统性缺失(MNAR)特定元素缺失率20%建立缺失指示变量对于稀土元素这类关键但常缺失的指标我们开发了基于地质成因模型的预测填补法def geo_impute(df): # 使用主量元素预测微量元素 X df[[SiO2,Al2O3,MgO]] y df[La] model RandomForestRegressor() return model.fit(X[~y.isna()], y[~y.isna()]).predict(X[y.isna()])3. 标准化与特征工程3.1 成分数据的特殊处理矿物成分数据属于闭合数据总和为100%直接标准化会导致伪相关。我们采用等距对数比变换(ilr)对原始成分数据x进行对数变换y ln(x)构建正交对比矩阵Ψ计算ilr坐标z y · Ψ^Tfrom skbio.stats.composition import ilr # 输入需为不含零值的DataFrame df_ilr pd.DataFrame(ilr(df.replace(0, 1e-6)), columns[filr_{i} for i in range(df.shape[1]-1)])3.2 多源数据的尺度统一不同实验室数据合并时需进行批次校正使用标准参考物质(SRM)建立校正曲线对每批次数据应用线性变换x_corrected a·x_raw b通过ANOVA验证批次效应消除情况4. 典型问题排查指南4.1 异常值处理中的常见失误过度清洗删除真实的地质异常体如矿囊解决方案结合野外地质记录复核忽略检测限将LOD当作0处理正确做法用LOD/2替代并添加指示变量错误转换对含零值数据直接取对数应对方案用1/2检测限替换零值4.2 标准化后的验证要点检查变换后数据的线性关系是否保持验证主要元素的相关性方向是否符合地质规律通过PCA投影观察数据结构是否保持5. 完整流程示例以某铁矿数据集为例的操作流水线原始数据诊断发现Fe2O3存在负值仪器校准问题SiO2缺失率达15%MNAR类型不同批次Al2O3测量尺度差异清洗步骤# 异常值修正 df[Fe2O3] df[Fe2O3].apply(lambda x: x if x0 else np.nan) # 缺失值处理 df[SiO2] geo_impute(df) # 批次校正 df_b1 df[df.batch1].apply(lambda x: 1.02*x - 0.3) df_b2 df[df.batch2].apply(lambda x: 0.98*x 0.1)标准化处理# 闭合数据转换 comp_data df[[SiO2,Al2O3,Fe2O3,CaO,MgO]] ilr_data ilr(comp_data/clr_data.sum(axis1, keepdimsTrue))实际项目中这套流程使分类模型的F1-score从0.62提升到0.89。最关键的是建立了可复用的数据质量评估报告模板包含22项自动检测指标。