Spark 2.0学习笔记
主要结合Spark 2.3.2源码和《图解Spark 核心技术与案例实战》一书,记录对Spark系统的一些思考。
在阅读的过程中发现《图解Spark 核心技术与案例实战》一书中许多地方的描述和源码不符合,这里以实现源码为准。
作图工具推荐一下ProcessOn网站,非常不错
话不多说,请从这里开始吧。
[1]. Apache Spark. http://spark.apache.org/
[2]. 《图解Spark 核心技术与案例实战》. 郭景瞻著
[3]. Zaharia M, Chowdhury M, Das T, et al. Resilient distributed datasets: a fault-tolerant abstraction for in-memory cluster computing[C]// Usenix Conference on Networked Systems Design and Implementation. USENIX Association, 2012:2-2.