假如我们要通过RDD[Row]创建一个包含多个列的DataFrame，重点是列的数据类型可能会包含多个，这时候需要有一点技巧。uiduser_nameageincome1111nituchao21123.0这个DataFrame里包含多个数据类型：uid: Longuser_name: Stringage: Intincome: Double我们可以使用下面的方式来构建：import org.a。
在Scala里，带有其他函数做参数的函数叫做高阶函数，使用高阶函数可以简化代码。匿名函数Scala中定义匿名函数的语法很简单，箭头左边是参数列表，右边是函数体，参数的类型是可省略的，Scala的类型推断系统会推测出参数的类型。 使用匿名函数后，我们的代码变得更简洁了。 下面的表达式就定义了一个接受一个Int类型输入参数的匿名函数：var inc = (x:Int) => x + 1上面定义。
块管理器BlockManager是Spark存储体系的核心组件。Spark围绕着BlockManager构建了存储模块，包括RDD, Shuffle, Broadcast的存储都使用了BlockManager。Driver Application和Executor都会创建BlockManager，而Driver Appliction还会创建一个BlockManagerMaster负责所有节点上(。
Spark Shuffle 的过程和源码分析<!-- toc -->Shuffle基本概念与常见实现方式shuffle，是一个算子，表达的是多对多的依赖关系。在类MapReduce计算框架中，是连接Map阶段和Reduce阶段的纽带，即每个Reduce Task从每个Map Task产生的数据中读取一片数据，极限情况下可能触发M*R个数据拷贝通道（M是Map Task数目，R是Red。
此文从用户角度出发，如果遇到OOM，该如何调参，因此不论述Spark框架层次引来的OOM。Full GC or GC limited or Heap SpaceUI或者spark.log日中能见着：java.lang.OutOfMemoryError: GC overhead limit exceeded java.lang.OutOfMemoryError: java heap space或。
Spark是一个基于内存的分布式计算系统，该系统运行稳定，设计精妙，语法简洁，是很多公司首选的大数据处理系统，深入理解它的运行逻辑、工作方式对我们进行Spark开发，错误排查，性能调优都非常有帮助。Spark本身支持local，Standalone，Cluster等多种运行模式以对应不同的部署环境。其中，local运行模式适用于开发环境进行调试，可以通过参数指定单线程或者多个线程。Standal。