Spark从入门到精通

本课程我们为您精心准备的Spark学习任务主要分为三种模式:视频讲解、实验操作、习题检测等,内容主要包括Spark安装,基础概念,RDD,SparkSQL对表和文件的操作。

通过本课程,您将掌握以下内容:

1、了解Spark到底是什么。

2、熟悉Spark和Hadoop的区别 。

3、掌握Spark的基础知识和概念。

4、掌握Spark RDD的基本操作和特性 。

5、掌握Spark程序的开发和部署流程。

6、掌握SparkSQL操作数据。

7、掌握SparkSQL操作文件。



  • 教学老师:lin
  • 课程难度:
  • 主题分类:基础学习
  • 预计学习时间:20h
展开剩余
收 起
  • 01
    大数据演进
    本视频讲解了大数据演进,即Spark的诞生背景,对Spark进行了一个简单的介绍。
    8m
  • 02
    Spark特点
    本视频根据Spark官网讲解了Spark底层原理和构成以及Spark的一些特点。
    10m
  • 03
    Spark开发环境搭建
    本视频讲解了Spark开发环境搭建的具体流程。
    27m
  • 04
    Spark生态系统组件简介
    本视频讲解了Spark生态系统构成及各组件的特点。
    16m
  • 05
    Scala开发插件安装
    本任务介绍了Eclipse开发环境的使用和Scala开发插件在Eclipse上的安装部署。
    1h
  • 06
    Scala基础编程
    本任务介绍了Scala语言的语法格式和基本使用方法。
    1h
  • 07
    Spark本地模式安装说明
    本视频讲解了Spark本地模式安装所需的实验环境以及注意事项。
    7m
  • 08
    Spark本地模式安装演示
    本视频详细讲解了Spark本地模式的安装步骤并操作演示。
    10m
  • 09
    Spark Local模式安装
    本任务详细介绍了Spark Local本地模式如何安装,以及Spark Local模式的运行原理 。
    1h
  • 10
    Spark Standalone模式安装
    本视频讲解了Spark Standalone模式安装的步骤和注意事项。
    14m
  • 11
    Spark Standalone模式简单测试
    本视频讲解了对前面安装好的Spark Standalone模式进行测试,检查环境是否完全正确。
    15m
  • 12
    Spark Standalone伪分布模式安装
    本任务介绍了在已经安装好Hadoop伪分布模式下,如何安装Spark Standalone模式。
    1h
  • 13
    Spark的编程模型
    本视频讲解了Spark编程模型,包括代码编写模板和具体步骤。
    11m
  • 14
    Spark Java API&Spark Scala API操作
    本任务介绍了Spark原理,以及用代码演示Spark的Scala API对数据的处理及Java API对数据的处理。
    2h
  • 15
    Spark学习--入门习题
    本习题测试了Spark基础知识的掌握情况。
    30m
  • 16
    RDD简介及算子操作
    本视频讲解了Spark RDD的概念以及基本算子的操作。
    9m
  • 17
    RDD依赖及缓存
    本视频讲解了RDD依赖和缓存的原理和具体操作。
    11m
  • 18
    Spark学习--RDD习题
    本习题测试了Spark RDD的知识掌握情况。
    30m
  • 19
    Spark Shell简介
    本视频讲解了Spark Shell概念和启动方式以及在Spark Shell下面进行简单操作。
    14m
  • 20
    Spark Shell操作
    本任务介绍了Spark Shell操作,在Spark Shell命令行下对算子进行实例讲解,包括去重、排序、Join、求平均值等。
    1h 30m
  • 21
    数据来源
    本视频讲解了Spark算子RDD的源码以及数据来源。
    8m
  • 22
    对RDD action操作
    本视频讲解了对RDD 进行action操作。
    8m
  • 23
    Action 数据存储
    本视频讲解了RDD处理数据并存储到HDFS。
    4m
  • 24
    缓存
    本视频讲解了RDD缓存操作方法并分析Cache源代码。
    10m
  • 25
    Spark Streaming概念及wordcount演示
    本次视频主要对Spark Streaming进行了详细的讲解并使用其完成词频统计。
    16m
  • 26
    Dstream
    本视频讲解了持续离散流DStream的高级操作并详细讲解其运行原理。
    17m
  • 27
    Wordcount演示,Checkpoint容错,性能优化
    本视频讲解了Wordcount演示,Checkpoint容错,性能优化等。
    11m
  • 28
    Spark Streaming WordCount演示
    本任务介绍了Spark Streaming的框架结构和实现原理,并使用Spark Streaming进行词频统计。
    1h
  • 29
    Spark学习--Streaming习题
    本习题测试了Spark Streaming的掌握情况。
    20m
  • 30
    Spark SQL概述
    本视频讲解了Spark SQL由来、概念、原理和应用场景。
    21m
  • 31
    Spark SQL演示
    本视频讲解了Spark SQL基本使用、创建表、加载数据、sql查询等。
    38m
  • 32
    SparkSQL,创建表,查询数据
    本任务介绍了使用Spark SQL如何创建表,以及查询数据等操作。
    2h
  • 33
    SparkSQL,加载文件,处理文件,存储文件
    本任务主要介绍了Spark SQL的基本操作以及Spark SQL对文件的处理。
    2h
233
学员评论(0)