这个框架封装了日常大数据工作的数据集处理,监控,评估等任务,并将大数据工作流程化,以此提高开发时间

因为数据体量的原因,大数据集的开发调试工作较其他开发而言很不一样,在总结多次开发实践之后,将调试工作单独抽出来,以方便调试

在大数据工作没有任何规范,约束的日子里,调试和开发的代码可读性很差,这个框架的目的也有提供一个可行的规范,使得代码可读性更强

1 安装 java8 在本地

2 安装 scala 在本地

3 下载并打包本程序

4 执行example中的示例main方法

本框架的总体流程如下图所示

1 DataLoader负责原始数据集的载入工作,因为这部分工作很多重复性劳动,所以可以抽离出来。目前共封装了3个数据源:hbase,hive,redis

2 DataCleaner负责数据清洗,目前是以组件的形式封装在DataLoader中,主要以BigDataVO的数据传输类进行约束

3 DataCutter负责数据集切分,这一块主要是评估任务用到,将训练集和测试集分离

4 DataConverter负责多个模型数据集之间的转换,这个也是大量重复性的劳动,因此也可以单独抽离出来

5 DataDebuger主要是将调试任务流程化,将每次调试都常用的操作固定出来

6 DataMoniter负责数据集任务的监控,正在开发中

7 DataProcessor 大数据工作开始的入口,封装了以上组件

1 数据源的完善 2 切分器的通用性 3 修复评估处理器的部分bug 4 增加通用工具类 5 维护