Apache Spark 是在大数据工业界里用的最多的基于内存的技术框架，尤其是RDD的特性以及应用，对帮助理解Spark和任务提交的流程以及缓存机制。 学完本章能掌握什么 本节课能够掌握Spark的环境搭建，任务调度流程，以及RDD代码的应用。

教程列表：

好程序员大数据教程：01、Scala解释器本地安装

好程序员大数据教程：02、IDEA安装

好程序员大数据教程：03、安装IDEA的Scala插件

好程序员大数据教程：04、创建maven项目

好程序员大数据教程：05、关于IDEA中maven仓库的配置

好程序员大数据教程：06、安装ScalaSDK、创建类

好程序员大数据教程：07、Scala简介

好程序员大数据教程：08、Scala编译

好程序员大数据教程：09、注释、命名规范

好程序员大数据教程：10、变量的声明

好程序员大数据教程：11、多变量的定义

好程序员大数据教程：12、数据类型

好程序员大数据教程：13、表达式

好程序员大数据教程：14、关于变量的扩展内容

好程序员大数据教程：15、Scala的输入和输出

好程序员大数据教程：16、循环

好程序员大数据教程：17、关于循环的扩展：map、foreach

好程序员大数据教程：18、声明方法

好程序员大数据教程：19、声明函数、方法和函数的转换

好程序员大数据教程：20、回顾

好程序员大数据教程：21、集合简介

好程序员大数据教程：22、数组-定长数组和变长数组

好程序员大数据教程：23、Map-不可变和可变Map

好程序员大数据教程：24、元组

好程序员大数据教程：25、zip拉链

好程序员大数据教程：26、List列表

好程序员大数据教程：27、Set集合

好程序员大数据教程：28、lazy修饰符

好程序员大数据教程：29、集合练习

好程序员大数据教程：30、实现单词计数

好程序员大数据教程：31、实现单词计数

好程序员大数据教程：32、常用方法练习：flatMap、reduce、fold、aggregate、par

好程序员大数据教程：33、默写题

好程序员大数据教程：34、回顾

好程序员大数据教程：35、oop-类和属性

好程序员大数据教程：36、主构造器和辅助构造器

好程序员大数据教程：37、单例对象

好程序员大数据教程：38、伴生对象

好程序员大数据教程：39、apply和unapply方法

好程序员大数据教程：40、特质、继承、实现

好程序员大数据教程：41、模式匹配-String、数组、元组、集合

好程序员大数据教程：42、模式匹配-匹配类型

好程序员大数据教程：43、模式匹配-样例类

好程序员大数据教程：44、Option类型结合模式匹配

好程序员大数据教程：45、模式匹配-偏函数

好程序员大数据教程：46、scala的输入输出

好程序员大数据教程：47、高阶函数-作为值的函数

好程序员大数据教程：48、闭包

好程序员大数据教程：49、回顾

好程序员大数据教程：50、private关键字

好程序员大数据教程：51、柯里化介绍和练习

好程序员大数据教程：52、隐式转换函数

好程序员大数据教程：53、Scala泛型的定义

好程序员大数据教程：54、泛型demo

好程序员大数据教程：55、泛型-上界

好程序员大数据教程：56、泛型-视界

好程序员大数据教程：57、泛型-上下文界定

好程序员大数据教程：58、创建线程池-固定线程数量和可复用线程的线程池

好程序员大数据教程：59、创建有返回值的线程：Future

好程序员大数据教程：60、回顾

好程序员大数据教程：61、Netty的几个重要的组件

好程序员大数据教程：62、实现Server

好程序员大数据教程：63、实现ServerHandler

好程序员大数据教程：64、实现Client

好程序员大数据教程：65、实现ClientHandler

好程序员大数据教程：66、本地测试运行

好程序员大数据教程：67、Akka简介

好程序员大数据教程：68、用Akka实现通信Demo

好程序员大数据教程：69、用Akka实现WordCount

好程序员大数据教程：70、Scala回顾

好程序员大数据教程：71、大数据架构体系介绍

好程序员大数据教程：72、Spark的特性和优点

好程序员大数据教程：73、官网介绍

好程序员大数据教程：74、Spark集群安装、启动

好程序员大数据教程：75、Spark的几个重要的组件

好程序员大数据教程：76、关于Hadoop客户端

好程序员大数据教程：77、提交任务到Spark集群

好程序员大数据教程：78、Spark-Shell启动（local模式和集群模式）

好程序员大数据教程：79、Spark实现WordCount

好程序员大数据教程：80、Spark实现WordCount

好程序员大数据教程：81、打包并提交作业到集群

好程序员大数据教程：82、用Java api实现WordCount

好程序员大数据教程：83、Java Lambda表达式实现WordCount

好程序员大数据教程：84、关于IDEA调试

好程序员大数据教程：85、RDD的概念

好程序员大数据教程：86、回顾

好程序员大数据教程：87、RDD的概念增强

好程序员大数据教程：88、生成RDD的两种方式

好程序员大数据教程：89、RDD的两种算子：transformation和action

好程序员大数据教程：90、简单算子练习

好程序员大数据教程：91、groupByKey和reduceByKey的区别

好程序员大数据教程：92、算子进阶-map、mapPartitions、mapPartitionsWithIndex

好程序员大数据教程：93、算子进阶-重分区算子

好程序员大数据教程：94、算子进阶-aggregate

好程序员大数据教程：95、算子进阶-aggregate

好程序员大数据教程：96、算子进阶-aggregateByKey

好程序员大数据教程：97、算子进阶-combineByKey

好程序员大数据教程：98、算子进阶-Action算子、foreach和foreachPartition

好程序员大数据教程：99、算子进阶-其他算子

好程序员大数据教程：100、pvuv

好程序员大数据教程：101、textFile分区过程

好程序员大数据教程：102、统计广告点击量top3需求分析

好程序员大数据教程：103、统计广告点击量top3需求实现

好程序员大数据教程：104、统计各省各小时的广告点击量的top3

好程序员大数据教程：105、基站停留时间top2需求分析

好程序员大数据教程：106、基站停留时间top2需求实现

好程序员大数据教程：107、RDD对象的传递和序列化

好程序员大数据教程：108、RDD的宽依赖和窄依赖

好程序员大数据教程：109、DAG概念

好程序员大数据教程：110、回顾

好程序员大数据教程：111、DAG、Application、Job、Stage、Task

好程序员大数据教程：112、Stage划分过程

好程序员大数据教程：113、任务管理器中Stage划分过程

好程序员大数据教程：114、task的生成过程

好程序员大数据教程：115、RDD分多个类型

好程序员大数据教程：116、shuffle、shuffle write、shuffle read

好程序员大数据教程：117、血统

好程序员大数据教程：118、学科模块访问量top3需求分析

好程序员大数据教程：119、学科模块访问量top3需求实现

好程序员大数据教程：120、缓存和缓存级别

好程序员大数据教程：121、缓存案例的练习

好程序员大数据教程：122、checkpoint

好程序员大数据教程：123、集群启动流程

好程序员大数据教程：124、任务提交流程

好程序员大数据教程：125、回顾

好程序员大数据教程：126、今天的知识点

好程序员大数据教程：127、自定义排序1

好程序员大数据教程：128、自定义排序2

好程序员大数据教程：130、自定义排序3

好程序员大数据教程：131、自定义排序4

好程序员大数据教程：132、自定义排序5

好程序员大数据教程：133、Spark的分区器

好程序员大数据教程：134、自定义分区器

好程序员大数据教程：135、回顾

好程序员大数据教程：136、今天课程内容

好程序员大数据教程：137、Accumulator累加器的应用场景和简单使用

好程序员大数据教程：138、LongAccumulator、DoubleAccumulator累加器的使用

好程序员大数据教程：139、自定义Accumulator累计器实现聚合过程

好程序员大数据教程：140、自定义Accumulator实现单词计数

好程序员大数据教程：141、总结Accumulator的应用场景和使用步骤

好程序员大数据教程：142、广播变量的应用场景

好程序员大数据教程：143、广播变量的使用过程

好程序员大数据教程：144、广播变量总结

好程序员大数据教程：145、文件的输入输出

好程序员大数据教程：146、IP所属区域访问量需求分析

好程序员大数据教程：147、IP所属区域访问量需求实现

好程序员大数据教程：148、IP所属区域访问量需求实现

好程序员大数据教程：149、JdbcRDD

好程序员大数据教程：150、Spark作业提交的4个阶段

好程序员大数据教程：151、回顾

好程序员大数据教程：152、SparkSQL简介

好程序员大数据教程：153、DataFrame概念

好程序员大数据教程：154、DataSet概念和DataFrame的区别

好程序员大数据教程：155、SparkShell操作SparkSQL

好程序员大数据教程：156、初始化环境创建的几种方式

好程序员大数据教程：157、RDD转换为DataFarme的过程

好程序员大数据教程：158、通过反射的方式生成Schema的过程

好程序员大数据教程：159、通过StructType的方式生成Schema

好程序员大数据教程：160、RDD转换为DataSet及RDD、DataFrame、DataSet互相转换

好程序员大数据教程：161、用DSL语言风格操作

好程序员大数据教程：162、用DSL语言风格实现小需求

好程序员大数据教程：163、用SQL语言风格进行操作

好程序员大数据教程：164、创建临时表和全局表的区别和作用域

好程序员大数据教程：165、自定义函数-实现UDF

好程序员大数据教程：166、自定义函数-实现UDAF（弱类型）

好程序员大数据教程：167、回顾

好程序员大数据教程：168、实现UDAF-强类型

好程序员大数据教程：169、开窗函数练习

好程序员大数据教程：170、集成外部Hive

好程序员大数据教程：171、用代码操作Hive

好程序员大数据教程：172、用代码链接元数据库进行操作

好程序员大数据教程：173、输入输出api

好程序员大数据教程：174、jdbc-获取数据

好程序员大数据教程：175、jdbc-写入数据

好程序员大数据教程：176、Kafka简介

好程序员大数据教程：177、Kafka的应用场景

好程序员大数据教程：178、JMS规范

好程序员大数据教程：179、Kafka主要组件介绍

好程序员大数据教程：180、Kafka集群配置和启动

好程序员大数据教程：181、回顾

好程序员大数据教程：182、kafka常用命令

好程序员大数据教程：183、kafka常用命令

好程序员大数据教程：184、kafka的存储

好程序员大数据教程：185、如何消费已经消费过的数据

好程序员大数据教程：186、kafka分区和消费者的关系和isr同步机制

好程序员大数据教程：187、kafka设置生存周期和动态选举

好程序员大数据教程：188、kafkaapi练习-实现producer

好程序员大数据教程：189、kafkaapi练习-实现consumer

好程序员大数据教程：190、本地测试

好程序员大数据教程：191、Streaming简介

好程序员大数据教程：192、DStream的概念

好程序员大数据教程：193、DStream的概念补充和transformations、outputoperations

好程序员大数据教程：194、StreamingWordCount

好程序员大数据教程：195、回顾kafka

好程序员大数据教程：196、回顾Streaming

好程序员大数据教程：197、补充Kafka的同步flush过程

好程序员大数据教程：198、updateStateByKey实现批次累加功能

好程序员大数据教程：199、消费kafka数据

好程序员大数据教程：200、消费kafka数据

好程序员大数据教程：201、transform的使用

好程序员大数据教程：202、窗口操作的应用背景和概念

好程序员大数据教程：203、窗口操作的使用

好程序员大数据教程：204、回顾

好程序员大数据教程：205、streaming消费kafka的两种方式

好程序员大数据教程：206、直连方式怎么维护offset

好程序员大数据教程：207、streaming清洗数据案例实现过程

好程序员大数据教程：208、生产环境中存在问题分析

好程序员大数据教程：209、streaming消费数据的语义（保证数据一致性）

好程序员大数据教程：210、Spark-On-Yarn的应用场景

好程序员大数据教程：211、Cluster模式和Client模式的区别

好程序员大数据教程：212、提交应用程序到Yarn

好程序员大数据教程：213、总结Spark-On-Yarn的执行过程

好程序员大数据教程：214、总结Driver端初始化过程的内容

好程序员大数据教程：215、解压导入工程

好程序员大数据教程：216、观察脚本的调用过程

好程序员大数据教程：217、集群启动流程-Master服务启动过程

好程序员大数据教程：218、集群启动流程-Worker服务启动过程

好程序员大数据教程：219、回顾

好程序员大数据教程：220、SparkSubmit执行过程

好程序员大数据教程：221、SparkContext初始化主要过程

好程序员大数据教程：222、后端调度器创建了两个endpoint

好程序员大数据教程：223、总结SparkContext和后端调度器创建了两个endpoint

好程序员大数据教程：224、时序图表示SparkContext初始化过程

好程序员大数据教程：225、Driver向Master发送（注册）任务描述过程、Master生成任务信息过程

好程序员大数据教程：226、资源调度的方式

好程序员大数据教程：227、Master通知Worker启动Executor的过程

好程序员大数据教程：228、Executor向Driver进行反向注册过程

好程序员大数据教程：229、RDD的生成过程

好程序员大数据教程：230、stage划分并生成TaskSet的过程

好程序员大数据教程：231、TaskScheduler的任务调度过程以及将task发送给Execuotr的过程

好程序员大数据教程：232、Executor开始执行task-ShuffleMapTask、ResultTask

好程序员大数据教程：233、总结任务提交流程

好程序员大数据教程：234、回顾

好程序员大数据教程：235、触发shuffle的算子

好程序员大数据教程：236、spark shuffle过程

好程序员大数据教程：237、shuffle参数调优

好程序员大数据教程：238、关于spark优化总结

好程序员大数据教程：239、Spark基础阶段总结

好程序员大数据教程：240、Redis介绍

好程序员大数据教程：241、Redis的应用场景

好程序员大数据教程：242、Redis安装和启动

好程序员大数据教程：243、Redis的客户端

好程序员大数据教程：244、数据结构-string

好程序员大数据教程：245、回顾

好程序员大数据教程：246、数据结构-hash

好程序员大数据教程：247、数据机构-list

好程序员大数据教程：248、数据结构-set

好程序员大数据教程：249、jedis-string

好程序员大数据教程：250、jedis-hash

好程序员大数据教程：251、jedis-list

好程序员大数据教程：252、jedis-set

好程序员大数据教程：253、keys命令，数据的生命周期

好程序员大数据教程：254、两种持久化机制

好程序员大数据教程：255、主从复制

好程序员大数据教程：256、集群搭建

好程序员大数据教程：257、ES介绍

好程序员大数据教程：258、ES集群搭建和启动介绍

好程序员大数据教程：259、ik分词器配置过程

好程序员大数据教程：260、ES的检索

好程序员大数据教程：261、关于ES优化的重点

好程序员大数据教程：262、日志生成过程

好程序员大数据教程：263、项目技术架构介绍

好程序员大数据教程：264、数据对接

好程序员大数据教程：265、需求描述

好程序员大数据教程：266、esRDD

好程序员大数据教程：267、其他指标