Storm是在大数据时代最为流行的一款内存分析开发框架,在实际的项目开发过程之中也使用的非常广泛。其可以方便的与各种存储设备以及消息系统结合形成流式数据分析处理。
在本课程之中主要为读者讲解Storm的组成、集群搭建、Topology程序编写开发、项目部署、Kafka集成、Redis集成,同时在本课程之中还会为读者讲解现在流式分析开发框架的使用方式。
一、Storm简介
storm-0101_Hadoop问题分析
本课程主要为读者讲解传统Hadoop开发框架的特点以及缺陷,同时介绍了Storm开发框架的特点。
storm-0102_Storm核心概念
本课程主要讲解Storm开发框架的主要组成概念,以及每个组成部分的主要作用。
二、搭建Storm集群
storm-0203_配置ZooKeeper集群
Storm主要基于ZooKeeper开发框架进行集群配置处理,所以在本课程之中将为读者讲解如何进行ZooKeeper集群部署。
storm-0204_Storm集群部署
本课程主要讲解如何在已有的ZooKeeper集群部署的基础上实现Storm开发框架的部署,以及动态扩充节点的实现方案。
三、开发Storm程序
storm-0305_Storm程序开发说明
本课程主要讲解Storm开发程序的基本组成单元,以及本项目的组成;
storm-0306_开发Spouts程序
本课程主要讲解Spout程序的主要实现方式以及代码开发。
storm-0307_开发Bolts程序
本课程主要讲解Bolts程序的实现方式以及相关开发处理。
storm-0308_Storm项目本地测试
本课程主要直接使用Storm的本地测试程序进行Storm开发代码的演示,同时分析了Storm程序中的各个组成部分的组织关系处理。
storm-0309_Storm项目发布
本课程主要讲解如何将storm程序利用maven打包,以及在nimbus上进行项目部署,同时演示了项目中的HA处理机制。
四、Storm分组策略
storm-0410_shuffle分组与分组概览
本课程主要为读者详细解释了在Storm之中Worker、Executor、Task之间的关系以及shuffle分组处理模型。
storm-0411_Storm分组操作
本课程主要为读者讲解了field分组与全局分组的特点。
五、Storm整合Redis
storm-0512_使用Jeds连接访问
本课程主要讲解如何在Kafka之中使用jedis通过连接池访问redis并且进行数据记录。
storm-0513_使用RedisStoreBolt存储
本课程主要讲解Storm中提供的Redis存储Bolt支持处理。
storm-0514_使用AbstractRedisBolt存储
本课程主要讲解如何利用AbstractRedisBolt存储复杂数据处理。
六、Storm整合Kafka
storm-0615_使用KafkaClient处理消息消费
本课程主要讲解如何使用Kafka的消费端作为Spout程序实现数据收集。
storm-0616_使用KafkaSpout消费数据
本课程主要讲解如何使用KafkaSpout内置处理类实现消费端开发。
storm-0617_使用KafkaBolt发送消息
本课程主要讲解如何在Storm中,利用KafkaBolt实现消息发送的处理操作。
七、综合案例:搜索热词
storm-0718_热门词实现架构方案
本课程主要讲解了热门搜索词的统计实现方案以及要使用的Redis数据类型分析。
storm-0719_Storm流式数据处理
本课程主要讲解如何在Storm程序中实现热门词的接收以及保存处理。
storm-0720_热词分析代码测试
本课程主要对已实现的代码进行功能测试。
八、StromTrident内存分析框架
storm-0821_Trident实现单词统计
本课程主要讲解trident的处理特点并且通过具体的代码演示了trident的处理流程。
storm-0822_取出统计结果
本课程主要讲解如何对统计结果进行聚合操作以及与Java8中Stream数据流操作的关系。
storm-0823_数据过滤处理
本课程主要讲解如何进行数据处理,以过滤掉不需要的统计数据。
storm-0824_使用Kafka作为消息来源
本课程主要讲解如何在trident中使用Kafka进行数据源操作。