先展示一下作品部分截图以及代码
├─douyu-spark --基于sparkstreaming+kafka的斗鱼直播热度分析的计算支持
├─douyu-springboot -- 后台springboot 数据及业务交互
├─douyu-vue --前端:vue+echart 数据可视化+页面交互
1> 集群:
-
HadoopHA
-
Hive
-
Spark(后面会将Hive引擎从MR换成Spark)
-
Azkaban 任务调度
-
Kafka(当前仅用于斗鱼直播热度分析)
-
DataX 阿里开源异构数据源同步框架
目前部署架构,部分例如HBase,ES等,目前还没有用到,先部署着
| bdp-dc-002 | bdp-dc-003 | bdp-dc-004 | |
|---|---|---|---|
| Zookeeper | Zookeeper | Zookeeper | Zookeeper |
| HDFS | NameNode | NameNode | |
| DataNode | DataNode | DataNode | |
| YARN | ResourceManager | ResourceManager | |
| NodeManager | NodeManager | NodeManager | |
| HIVE | Hive | ||
| Kafka | Kafka | Kafka | Kafka |
| Spark | Master | Slaver | Slaver |
| Hbase | Master | Slaver | Slaver |
| Mysql | Mysql | ||
| Hue | Hue |
2>后台(Resful)
-
springboot
-
Hibernate(Mysql) 数据持久化
-
Quartz 定时调度框架
-
JSSH Java远程SSH连接服务器,并执行shell脚本
3>前端
- VUE 单页面开发框架
- Element-ui 饿了么前端UI
- V-chart echart 用于图表可视化
- 数据源
-
数据同步
-
数据建模
- 图表可视化
先上个图,再慢慢整理吧
