分布式大数据框架Hadoop

1、熟悉Hadoop开发插件安装。

       2、掌握Hadoop核心组件HDFS和MapReduce工作原理。

3、熟悉Hadoop核心组件的优势与不足。

4、掌握分布式存储HDFS Java API。

5、掌握MapReduce编程,MapReduce运行过程。

6、掌握MapReduce如何结合算法对数据进行分析。

  • 教学老师:平台默认讲师
  • 课程难度:
  • 主题分类:基础学习
  • 预计学习时间:50h
展开剩余
收 起
  • 01
    大数据的发展历史
    本次视频讲解了大数据时代背景、大数据特点、技术挑战、大数据的影响及应用。
    32m
  • 02
    Hadoop理论概述
    本视频讲解了Hadoop的理论概述。
    29m
  • 03
    Hadoop伪分布模式安装
    本视频讲解了Hadoop的伪分布式配置文件及安装过程。
    46m
  • 04
    Hadoop伪分布模式安装
    本实验介绍了搭建Hadoop伪分布模式的具体步骤。
    2h
  • 05
    Hadoop开发插件安装
    本实验介绍了如何给Eclipse配置Hadoop插件、方便使用Eclipse开发工具进行大数据开发。
    1h
  • 06
    Hadoop常用命令
    本视频讲解了Hadoop的常用Shell命令。
    13m
  • 07
    Hadoop Shell基本操作
    本任务介绍了常用的Hadoop Shell命令。
    1h
  • 08
    Hadoop基础学习--习题
    本习题测试了Hadoop基础知识的掌握情况。
    30m
  • 09
    HDFS开发
    本视频讲解了HDFS的Java API、文件操作、目录操作、压缩及序列化等操作。
    55m
  • 10
    HDFS JAVA API
    本任务介绍了编写代码将HDFS与JAVA综合使用。
    1h
  • 11
    HDFS学习--习题
    本习题测试了HDFS基础知识的掌握情况。
    30m
  • 12
    MapReduce理论概述
    本视频讲解了MapReduce的理论概述。
    20m
  • 13
    Mapreduce体系结构
    本视频讲解了MapReduce的体系结构。
    12m
  • 14
    MapReduce学习--习题
    本习题测试了MapReduce知识点的掌握情况。
    30m
  • 15
    Mapreduce实例:WordCount
    本视频讲解了MapReduce实现词频统计WordCount
    8m
  • 16
    Mapreduce实例——WordCount
    本任务练习使用电商数据进行词频统计。
    1h
  • 17
    MapReduce统计—求平均值
    本视频讲解了MapReduce实现求平均值功能。
    9m
  • 18
    Mapreduce实例——求平均值
    本任务介绍了Mapreduce求平均值的设计原理并对电商数据进行求平均值操作。
    1h
  • 19
    MapReduce统计—去重
    本视频讲解了MapReduce实现去重功能。
    16m
  • 20
    Mapreduce实例——去重
    本任务使用电商数据,介绍了Mapreduce去重的设计原理以及对数据进行去重操作。
    1h
  • 21
    MapReduce排序—自然排序
    本视频讲解了MapReduce实现排序功能。
    15m
  • 22
    MapReduce排序—二次排序
    本视频讲解了MapReduce实现分组排序功能。
    19m
  • 23
    Mapreduce实例——排序
    本任务介绍了MapReduce排序的设计原理并使用电商数据进行排序操作。
    1h
  • 24
    Mapreduce实例——二次排序
    本任务介绍了二次排序的设计原理并对电商数据进行二次排序操作。
    1h
  • 25
    MapReduce排序—倒排序索引
    本视频讲解了MapReduce实现倒排索引功能。
    15m
  • 26
    Mapreduce实例——倒排索引
    本任务介绍了倒排索引的设计原理并对电商数据进行倒排索引操作
    1h
  • 27
    Mapreduce实例——单表join
    本任务介绍了单表join的设计原理并对电商数据进行join操作。
    1h
  • 28
    MapReduce多表关联—Map端join
    本视频讲解了MapReduce实现Map端Join功能。
    20m
  • 29
    Mapreduce实例——Map端join
    本任务介绍了Map端join的设计原理并对电商数据进行join操作。
    1h
  • 30
    MapReduce多表关联—Reduce端join
    本视频讲解了MapReduce实现Reduce端Join功能。
    10m
  • 31
    Mapreduce实例——Reduce端join
    本任务介绍了Reduce端join的设计原理并对电商数据进行join操作。
    1h
  • 32
    Mapreduce实例——ChainMapReduce
    本任务介绍了ChainMapReduce的概念和运行流程,并使用ChainMapReduce对电商数据进行分析。
    1h
  • 33
    MapReduce实战PageRank算法
    本任务介绍了PageRank算法的基本概念和运行原理。
    1h
532
学员评论(0)