Hadoop伪分布式与Spark on YARN实战避坑指南

简介本资源是一套面向大数据开发工程师与高校学习者的Hadoop/Spark数据算法实践代码集聚焦分布式计算核心场景助力掌握海量数据清洗、聚合、机器学习建模等关键技能。压缩包共876个文件涵盖360个Java实现的MapReduce作业、242个依赖JAR包、34个Scala版Spark应用、63个Markdown技术说明及31个Shell调度脚本辅以CSV/TSV数据样例、PDF原理文档与JPG/PNG架构图整体204.27MB结构清晰便于按框架分层研读。已有686人学习下载可直接运行词频统计、日志分析、MLlib分类回归等典型任务配套_transform.awk等预处理工具及_Success标记文件体现真实生产级作业流程设计。读者不仅能复现经典算法逻辑还可深入理解RDD与DataFrame执行优化、HDFS分区策略及Spark Streaming实时处理链路。1. 为什么你写的 Spark 作业总在 YARN 上挂掉而别人用同一套 Hadoop/Spark 源码能跑通这不是环境配置的玄学而是数据算法工程师每天真实踩的坑你本地spark-shell跑得飞起一提交到 YARN 就报Container exited with code 143你照着官网文档搭完 Hadoop 伪分布式hdfs dfs -ls /却返回Connection refused你从 GitHub 下载的「大数据处理技巧源代码」解压后连pom.xml都找不到——因为那根本不是可运行的工程只是零散脚本片段。这个标题说的不是泛泛而谈的“大数据处理”而是一套可复现、可调试、可嵌入生产 pipeline 的 Hadoop/Spark 数据算法实战组合技它包含 Hadoop 生态HDFS/YARN的最小可靠底座、Spark Core/SQL 的典型数据清洗与特征计算模式、以及所有关键环节的源码级验证点。适合正在做课程设计、实习项目或中小型企业离线数仓搭建的工程师——不需要你从零编译 Hadoop 源码但必须知道core-site.xml哪一行改错会导致整个集群失联不强制你手写 RDD 算子但得清楚spark.sql.adaptive.enabledtrue在什么数据倾斜场景下反而让任务更慢。本文只讲你打开终端、敲下命令、看到SUCCESS之前真正卡住你的那 5 分钟。2. 搭建 Hadoop 伪分布式绕过官网文档里没写的三个致命陷阱Hadoop 伪分布式不是“单机版 Hadoop”它是用单机模拟真实集群行为的最小闭环验证环境。很多教程让你wget官网 tar 包、解压、改core-site.xml却没告诉你Hadoop 3.x 默认禁用fs.defaultFS的file://协议而你若漏掉hdfs://localhost:9000这个地址hadoop fs -mkdir表面成功实际写进的是本地文件系统后续 Spark 读取时直接报FileNotFoundException。下面步骤基于Hadoop 3.3.6 OpenJDK 11JDK 8 已被 Hadoop 3.x 明确弃用所有配置均经实测可触发jps显示NameNode/DataNode/SecondaryNameNode/ResourceManager/NodeManager五个进程。2.1 环境初始化JDK 与 SSH 的硬性校验Hadoop 依赖 SSH 本地免密登录即使伪分布式也需此机制启动守护进程。很多翻车始于ssh localhost失败但错误提示模糊。执行以下命令逐项验证# 检查 JDK 版本必须为 11 或 17Hadoop 3.3 不兼容 JDK 17 以外的高版本 java -version # 输出应为 openjdk version 11.0.22 2024-04-16 # 生成 SSH 密钥并启用本地免密关键Hadoop 启动脚本会调用 ssh ssh-keygen -t rsa -P -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys # 测试免密登录必须返回空行无密码提示 ssh -o StrictHostKeyCheckingno localhost echo OK提示StrictHostKeyCheckingno是为了跳过首次连接的 yes/no 提示避免自动化脚本卡住。生产环境请移除此参数并手动确认 host key。2.2 核心配置文件四文件联动的最小生效集Hadoop 伪分布式需同时修改四个 XML 文件缺一不可。不要只改core-site.xml和hdfs-site.xml——YARN 服务依赖yarn-site.xml而mapred-site.xml决定 MapReduce 是否启用Spark 通常不用 MR但 Hadoop 启动脚本会检查该文件是否存在。以下是精简后的必配内容路径均为$HADOOP_HOME/etc/hadoop/core-site.xmlconfiguration property namefs.defaultFS/name valuehdfs://localhost:9000/value !-- 必须是 hdfs://不是 file:// -- /property /configurationhdfs-site.xmlconfiguration property namedfs.replication/name value1/value !-- 伪分布式设为 1避免因副本不足导致 namenode 进入 safe mode -- /property property namedfs.namenode.name.dir/name valuefile:/usr/local/hadoop/data/namenode/value !-- 绝对路径需提前 mkdir -- /property property namedfs.datanode.data.dir/name valuefile:/usr/local/hadoop/data/datanode/value /property /configurationyarn-site.xmlconfiguration property nameyarn.nodemanager.aux-services/name valuemapreduce_shuffle/value !-- 必须与 mapred-site.xml 中的 shuffle service 名称一致 -- /property property nameyarn.resourcemanager.hostname/name valuelocalhost/value /property /configurationmapred-site.xmlconfiguration property namemapreduce.framework.name/name valueyarn/value !-- 告诉 MapReduce 使用 YARN 作为资源管理器 -- /property /configuration参数说明dfs.replication1是伪分布式唯一安全值namenode.name.dir和datanode.data.dir必须指向已创建且有写权限的绝对路径否则hdfs namenode -format会静默失败yarn.nodemanager.aux-services的值必须与mapred-site.xml中mapreduce.shuffle完全匹配大小写敏感。2.3 格式化与启动验证进程存活的三步法执行前确保所有目录已创建mkdir -p /usr/local/hadoop/data/{namenode,datanode}然后按顺序执行# 1. 格式化 NameNode仅首次运行 $HADOOP_HOME/bin/hdfs namenode -format # 2. 启动 HDFS会自动启动 NameNode 和 DataNode $HADOOP_HOME/sbin/start-dfs.sh # 3. 启动 YARN会自动启动 ResourceManager 和 NodeManager $HADOOP_HOME/sbin/start-yarn.sh验证是否成功# 查看 Java 进程应有 5 个 jps | grep -E (NameNode|DataNode|SecondaryNameNode|ResourceManager|NodeManager) # 检查 HDFS 是否可读写 $HADOOP_HOME/bin/hdfs dfs -mkdir -p /user/spark/input $HADOOP_HOME/bin/hdfs dfs -put $HADOOP_HOME/etc/hadoop/core-site.xml /user/spark/input/ # 检查 YARN Web UIhttp://localhost:8088是否可访问 curl -s http://localhost:8088/ws/v1/cluster/apps | jq .apps.app[0].state 2/dev/null || echo YARN UI not ready若jps缺少任一进程立即检查$HADOOP_HOME/logs/下对应组件的日志如hadoop-xxx-namenode-xxx.log90% 的问题藏在java.lang.UnsupportedClassVersionErrorJDK 版本不匹配或Address already in use端口冲突中。3. Spark on YARN从本地模式切换到集群模式的三处代码级改造Spark 本地模式local[*]和 YARN 模式本质是两套资源调度逻辑。很多开发者把本地跑通的代码直接spark-submit --master yarn提交结果任务卡在ACCEPTED状态不动——因为 Spark Driver 默认在客户端机器启动而 YARN 要求 Driver 必须运行在 ApplicationMaster 中。下面以一个典型的数据清洗任务为例展示如何将本地代码改造为 YARN 可运行版本。3.1 数据源适配HDFS 路径替换与权限绕过本地测试常用spark.read.csv(data/sample.csv)但在 YARN 上必须指向 HDFS。更关键的是Spark Driver 运行在 YARN Container 中其用户身份是yarn而非你的登录用户。若 HDFS 目录/user/spark/input属主为hadoop则yarn用户无读权限任务会报AccessControlException。解决方案是预设 HDFS 权限或在代码中指定用户from pyspark.sql import SparkSession # 方案一在 SparkSession 创建时指定 HDFS 用户推荐用于开发调试 spark SparkSession.builder \ .appName(DataCleaning) \ .master(yarn) \ .config(spark.hadoop.fs.defaultFS, hdfs://localhost:9000) \ .config(spark.hadoop.fs.hdfs.impl, org.apache.hadoop.hdfs.DistributedFileSystem) \ .config(spark.hadoop.dfs.client.use.datanode.hostname, true) \ .config(spark.yarn.principal, hadoopLOCALHOST) \ # 若启用了 Kerberos此处为必需 .getOrCreate() # 方案二在读取前设置 HDFS 用户上下文无需 Kerberos hadoop_conf spark.sparkContext._jsc.hadoopConfiguration() hadoop_conf.set(fs.defaultFS, hdfs://localhost:9000) hadoop_conf.set(hadoop.job.ugi, hadoop:hadoop) # 用户:组需与 HDFS 目录属主匹配 # 读取 HDFS 数据路径必须以 hdfs:// 开头 df spark.read.csv(hdfs://localhost:9000/user/spark/input/core-site.xml, headerTrue, inferSchemaTrue)注意hadoop.job.ugi是 Hadoop 1.x 的旧参数在 Hadoop 3.x 中已被hadoop.security.authenticationsimple替代但伪分布式环境下仍有效。生产环境务必使用 Kerberos 认证此处仅为简化演示。3.2 资源参数调优Driver 和 Executor 的内存分配公式YARN 任务失败最常见的原因是内存溢出。Spark 默认--driver-memory 1g在 YARN 上常不够——Driver 需加载整个 DAG 并协调任务尤其当 SQL 查询含大量 JOIN 时。Executor 内存则需预留 20% 给 JVM Off-Heap如 Netty 缓冲区。经验公式如下组件推荐值依据--driver-memory≥ 2gDriver 需存储广播变量、累加器及 SQL 执行计划--executor-memory≥ 4gExecutor 内存 spark.executor.memoryspark.executor.memoryOverhead默认为 executor-memory 的 10%但至少 384m--num-executors2~4伪分布式不宜过多避免抢占本机资源提交命令示例$SPARK_HOME/bin/spark-submit \ --master yarn \ --deploy-mode cluster \ # 关键必须为 cluster否则 Driver 在客户端启动YARN 无法调度 --driver-memory 2g \ --executor-memory 4g \ --executor-cores 2 \ --num-executors 3 \ --conf spark.sql.adaptive.enabledfalse \ # ADAPTIVE QUERY EXECUTION 在小数据集上易引发额外开销 --conf spark.serializerorg.apache.spark.serializer.KryoSerializer \ --conf spark.sql.orc.implnative \ /path/to/your/cleaning_job.py重要--deploy-mode cluster是 YARN 模式下 Driver 运行位置的开关。client模式下 Driver 在提交机器运行cluster模式下 Driver 在 YARN Container 中运行——后者才是真正的集群模式。3.3 日志定位YARN 应用日志的实时抓取方法当任务失败时spark-submit终端只显示Application finished with exitCode: 1真正错误藏在 YARN 日志中。不要依赖yarn logs -applicationId application_XXX该命令在伪分布式中常超时直接查看 Container 日志# 获取 Application ID从 spark-submit 输出或 YARN UI APP_IDapplication_1717023456789_0001 # 列出该应用的所有 Container 日志含 Driver 和 Executor yarn logs -applicationId $APP_ID | grep -A 5 -B 5 Exception\|Caused by # 或直接下载 Driver 日志最可能出错的位置 yarn logs -applicationId $APP_ID -containerId container_1717023456789_0001_01_000001 driver.log常见错误关键词java.lang.OutOfMemoryError: Java heap space→ 增大--driver-memory或--executor-memoryorg.apache.hadoop.ipc.RemoteException: User yarn cannot access ...→ 检查hadoop.job.ugi或 HDFS 权限Failed to connect to localhost:9000→ 检查core-site.xml中fs.defaultFS是否为hdfs://localhost:90004. 避坑指南Hadoop/Spark 数据算法开发中 5 个血泪经验这些不是文档里的警告而是我在三次线上事故后记下的操作清单。每一条都对应一个曾让我加班到凌晨三点的真实故障。4.1 现象spark-submit提交后立即返回Submitted application application_XXX但 YARN UI 中应用状态始终为ACCEPTED无任何 Container 启动原因YARN ResourceManager 未启动或yarn-site.xml中yarn.resourcemanager.hostname指向错误 IP如写成127.0.0.1而非localhost导致 NodeManager 无法注册。解决执行jps确认ResourceManager进程存在检查$HADOOP_HOME/logs/yarn-*-resourcemanager-*.log中是否有Failed to bind to /0.0.0.0:8032类似错误端口被占用将yarn.resourcemanager.hostname改为localhost并重启 YARN。4.2 现象Spark SQL 查询SELECT COUNT(*) FROM table返回结果正确但SELECT * FROM table LIMIT 10报java.io.IOException: Failed to replace a bad datanode原因HDFS DataNode 进程虽在运行但磁盘空间不足或dfs.datanode.data.dir目录权限错误如属主为root导致 DataNode 拒绝写入新块。解决运行hdfs dfsadmin -report查看 DataNode 状态检查/usr/local/hadoop/data/datanode目录权限应为hadoop:hadoop清理磁盘或扩容目录。4.3 现象Python UDF 在本地模式正常YARN 模式下报ModuleNotFoundError: No module named pandas原因YARN Container 中 Python 环境与客户端不同UDF 依赖的包未分发到 Executor。解决使用--py-files打包依赖spark-submit --py-files mylib.zip或在代码中用spark.sparkContext.addPyFile()加载.py文件切勿依赖pip install到集群节点伪分布式中节点即本机但仍需显式分发。4.4 现象spark.sql.adaptive.enabledtrue开启后JOIN 任务执行时间反而增加 3 倍原因AQEAdaptive Query Execution在小数据集 1GB上会引入额外的 stage 分析开销且伪分布式环境下spark.sql.adaptive.coalescePartitions.enabled可能因分区数过少导致反效果。解决关闭 AQEspark.sql.adaptive.enabledfalse或显式设置spark.sql.adaptive.coalescePartitions.enabledfalse对小数据集优先使用repartition()手动控制分区。4.5 现象HDFS 文件hdfs://localhost:9000/user/spark/output/part-00000内容为空但 Spark 任务显示SUCCESS原因Spark 写入 HDFS 时默认使用parquet格式而part-00000是_SUCCESS文件所在目录的临时文件名真实数据在part-00000-cb123...snappy.parquet中。解决用hdfs dfs -ls /user/spark/output/查看完整文件列表读取时指定格式spark.read.parquet(hdfs://.../output)若需 CSV显式调用.option(header, true).mode(overwrite)。5. 源码级验证用 Hadoop/Spark 自带工具校验数据算法逻辑的正确性所谓「源代码」不是指你要去 GitHub clone Apache Hadoop 仓库编译而是利用官方发行版内置的诊断工具对数据处理链路做端到端验证。这比写单元测试更快且能暴露环境与代码的耦合问题。5.1 HDFS 数据一致性校验hdfs fsck的三个关键参数当 Spark 任务写入 HDFS 后用hdfs fsck验证数据完整性避免因网络抖动导致部分 block 丢失# 检查路径下所有文件的 block 状态-files 显示文件名-blocks 显示 block 详情 hdfs fsck /user/spark/output -files -blocks -locations # 检查是否所有 block 都有足够副本-replicaPlacement 检查副本分布 hdfs fsck /user/spark/output -replicaPlacement # 修复缺失副本仅限伪分布式生产环境慎用 hdfs fsck /user/spark/output -repair输出解读重点Status: HEALTHY表示无损坏 blockUnder replicated blocks: 0表示副本数达标伪分布式为 1Missing blocks: 0表示无丢失 block若出现Block replica on machine xxx is corrupt说明 DataNode 存储损坏需hdfs dfs -rm删除后重跑任务5.2 Spark SQL 执行计划解析explain()的三层信息提取法Spark UI 的 SQL tab 只显示物理计划而explain()可在代码中获取完整计划。对数据算法而言需关注三层# 在 PySpark 中获取执行计划 df spark.read.parquet(hdfs://localhost:9000/user/spark/output) df_filtered df.filter(df.age 25).select(name, city) # 第一层逻辑计划未优化 print( LOGICAL PLAN ) df_filtered.explain(modelogical) # 第二层物理计划含分区、shuffle 信息 print( PHYSICAL PLAN ) df_filtered.explain(modephysical) # 第三层成本计划需开启 AQE 后才有 print( COST PLAN ) df_filtered.explain(modecost)关键观察点Exchange hashpartitioning表示发生 Shuffle若出现在filter后说明 WHERE 条件未下推到数据源如 Parquet 的谓词下推失效WholeStageCodegen出现次数越多JVM 字节码生成越充分性能越好BroadcastHashJoin比SortMergeJoin快 3~5 倍若未出现检查spark.sql.autoBroadcastJoinThreshold默认 10MB5.3 数据质量快检用 Spark 内置函数替代自定义 UDF新手常写 UDF 校验数据如is_valid_email_udf但 UDF 无法被 Catalyst 优化且序列化开销大。Spark 3.0 提供原生函数替代场景推荐方案优势邮箱格式校验col(email).rlike(^[A-Za-z0-9_.-][A-Za-z0-9.-]\\.[A-Za-z]{2,}$)无序列化支持谓词下推时间范围校验col(ts).between(2023-01-01, 2023-12-31)直接转为 Filter 算子空值填充coalesce(col(phone), lit(N/A))避免 UDF 的 null-safe 问题# 错误示范UDF 校验邮箱 def is_valid_email(email): return in email and . in email.split()[-1] spark.udf.register(is_valid_email, is_valid_email) # 正确做法正则表达式原生函数 valid_df df.filter( df.email.rlike(^[A-Za-z0-9_.-][A-Za-z0-9.-]\\.[A-Za-z]{2,}$) df.phone.isNotNull() )我的习惯是所有数据清洗逻辑优先用 Spark SQL 内置函数实现仅当业务规则极度复杂如多级嵌套 JSON 解析才引入 UDF并严格限制 UDF 输入输出为基本类型str/int/float。这让我在 2023 年一次电商订单清洗任务中将 12 小时的运行时间压缩到 2.3 小时——核心就是把 7 个 UDF 全部替换为get_json_object和regexp_replace。希望帮到你。本文还有配套的精品资源点击获取