HStore Bulkload 整体流程设计:

image

整体流程已跑通,点数据抽样验证也是符合预期,但是遇到一些问题需要跟大家讨论确认下:

待讨论项

1、partitionEngine的创建在store侧是数据的到来然后创建的,bulkload 需要提前创建好pe(rocksdb),由PD驱动实现所有pe的初始化?

2、pd下发任务指令到store,原来都是到leader分区,bulkload是所有分区引擎, 所以之前指令状态管理机制不是特别合适,现在是粗糙的实现,在pd 侧对来自store的bulkload 任务状态汇报进行数量统计来确定一个终态?

3、loader 提交bulkload任务到pd后同步阻塞直到获取到任务终态,是否有更好的方式?

4、公司yarn使用的jdk8环境,对1.5版本的代码无法运行,loader侧不好引入pd-client依赖,有无更好的建议?