群主王知无 大数据技术与架构
Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成熟度方面，吊打其他的大数据处理框架。
Spark至今只经历过1.x、2.x和3.x三个大版本的变化，在核心实现上，我们在Github能看到的最早的实现是0.5版本，这个版本只有1万多行代码，就把Spark的核心功能实现了。
当然我们不可能从这么古老的版本看，假如你接触过Spark，现在准备看源码，那么我建议从2.x版����Ǩ��,��Ǩ֮ϲ本中选取一个，最好是2.3或者2.4。但是经过如此多的迭代，Spark的代码量已经暴增了几倍。所以你需要抓住重点，本文就是想跟大家说说，我们该怎么看，看哪些东西。
基础概念篇首先假如你是第一次接触Spark，那么你需要对Spark的设计思想有所了解，知道Spark用了哪些抽象，Spark在提出RDD的时候是基于什么样的考虑。
在这里给大家推荐几篇论文如下：
第一篇：
这个不多说，直接给出一个链接，这篇文章不长，很快能看完。
- 弹性分布式数据集：一种为内存化集群计算设计的容错抽象：
https://fasionchan.com/blog/2017/10/19/yi-wen-tan-xing-fen-bu-shi-shu-ju-ji-yi-zhong-wei-nei-cun-hua-ji-qun-ji-suan-she-ji-de-rong-cuo-mo-xing/
第二篇：
- 大型集群上的快速和通用数据处理架构
这篇论文长达170多页，当然我们没有必要看完，我在网上找到一个总结，我们在《弹性分布式数据集：一种为内存化集群计算设计的容错抽象》这篇论文基础上看起来也会轻松不少。
链接如下：https://blog.csdn.net/weixin_44024821/article/details/89948115
环境准备Spark的源码环境搭建网上有很多资源，主要是环境依赖比如JDK、Scala、Maven等，整个过程大概耗时要1-4个小时，主要是编译源码费时。大家可以在网上任意找一篇文章搭建起来环境就可以。 直到你在编译时出现下图就大功告成了。（个人不建议使用sbt的方式编译，推荐Maven）
Spark核心设计篇上图是一个最简单的Spark任务的执行图。
在核心设计篇，我们最重要的模块列表如下：
Spark的初始化SparkContext SparkEnv SparkConf RpcEnv SparkStatusTracker SecurityManager SparkUI MetricsSystem TaskSchedulerSerializerManager BroadcastManager ShuffleManager MemoryManager NettyBlockTransferService BlockManagerMaster BlockManager CacheManagerMemoryManager MemoryPool ExecutionMemoryPool StorageMemoryPool MemoryStore UnifiedMemoryManagerLiveListenerBus MapOutputTracker DAGScheduler TaskScheduler ExecutorAllocationManager OutputCommitCoordinator ContextClearnerLocalSparkCluster Standalone Mater/Executor/Worker的容错Spark StreamingStreamingContext Receiver Dstream 窗口操作Catalog TreeNode 词法解析器Parser RuleExecutor Analyzer与Optimizer HiveSQL相关
其他假如你对图计算Spark GraphX和机器学习Spark MLlib感兴趣，可以单独看看。
整个跟实时计算相关的包和类大部分都已经包含在上述目录中了。假如你在使用的过程中出现了问题，就需要针对其中的具体部门去看。
源码阅读是我们每一个开发者都需要经历的阶段，阅读源码的好处就不说了。你我都懂。