分享
云渲染集群监控与任务调度架构设计
_男猪脚 · · 2174 次点击 · · 开始浏览这是一个创建于 的文章,其中的信息可能已经有所发展或是发生改变。
首先说一下此项目的背景,公司主要从事互联网家居设计行业,所以最重要的就是室内设计,初期做的是离线渲染,设计师使用我们的设计软件做设计,将设计好的方案提交至后端,由我们的构建应用做参数转换,然后提交至我们的渲染引擎进行云渲染,最终出设计图。
云渲染的专业知识要求比较高,本人也是第一次接触,对于渲染引擎、专业图形显卡的预研工作涉及颇少,最终大佬选用英伟达的iray渲染引擎和2080TI显卡,话不多说先上整体的架构设计图:
iraycloud.png
接下来细述各应用的职责与功能:
- dr-client:面向C端设计师使用的设计软件客户端。
- dr-web: 设计软件服务端,存储设计师方案参数。
- dr-notify:渲染任务状态消息的收发。
- rocketMQ:DR端和IRAY端数据通讯的中间层。
- iray-proxy: 云渲染端的数据网关层,用来接收渲染任务。
- iray-scheduler:云渲染任务调度和分发应用。
- construct:构建应用,主要做参数转换成IrayServer识别的协议报文。
- iray-server:云渲染引擎,英伟达的产品,主要用来渲染出图。
- cluster-agent: 集群监控客户端,主要提供进程监控、重启命令执行、内存监控等功能。
- cluster-admin: 集群监控服务端,提供节点管理、启动命令下发、节点监控状态等功能。
- zipkin:用来做渲染任务流转状态的全链路监控。
- grafana:整体架构的异常告警和业务监控。
- ELK: 应用日志的采集平台,主要由FileBeat、ES、Kibana、Kafka组成。
整个项目涉及的技术栈还是蛮多的有Golang、Java、Python、C++等,目前集群的规模接近百十台(50台云渲染、42台构建),每天近10000张的出图量(分辨率2K、4K、6K不等),能够满足目前的业务需求。
有疑问加站长微信联系(非本文作者)
入群交流(和以上内容无关):加入Go大咖交流群,或添加微信:liuxiaoyan-s 备注:入群;或加QQ群:692541889
关注微信2174 次点击
上一篇:Golang的入门教程(二)
下一篇:我要在栈上。不,你应该在堆上
添加一条新回复
(您需要 后才能回复 没有账号 ?)
- 请尽量让自己的回复能够对别人有帮助
- 支持 Markdown 格式, **粗体**、~~删除线~~、
`单行代码` - 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
- 图片支持拖拽、截图粘贴等方式上传
收入到我管理的专栏 新建专栏
首先说一下此项目的背景,公司主要从事互联网家居设计行业,所以最重要的就是室内设计,初期做的是离线渲染,设计师使用我们的设计软件做设计,将设计好的方案提交至后端,由我们的构建应用做参数转换,然后提交至我们的渲染引擎进行云渲染,最终出设计图。
云渲染的专业知识要求比较高,本人也是第一次接触,对于渲染引擎、专业图形显卡的预研工作涉及颇少,最终大佬选用英伟达的iray渲染引擎和2080TI显卡,话不多说先上整体的架构设计图:
iraycloud.png
接下来细述各应用的职责与功能:
- dr-client:面向C端设计师使用的设计软件客户端。
- dr-web: 设计软件服务端,存储设计师方案参数。
- dr-notify:渲染任务状态消息的收发。
- rocketMQ:DR端和IRAY端数据通讯的中间层。
- iray-proxy: 云渲染端的数据网关层,用来接收渲染任务。
- iray-scheduler:云渲染任务调度和分发应用。
- construct:构建应用,主要做参数转换成IrayServer识别的协议报文。
- iray-server:云渲染引擎,英伟达的产品,主要用来渲染出图。
- cluster-agent: 集群监控客户端,主要提供进程监控、重启命令执行、内存监控等功能。
- cluster-admin: 集群监控服务端,提供节点管理、启动命令下发、节点监控状态等功能。
- zipkin:用来做渲染任务流转状态的全链路监控。
- grafana:整体架构的异常告警和业务监控。
- ELK: 应用日志的采集平台,主要由FileBeat、ES、Kibana、Kafka组成。
整个项目涉及的技术栈还是蛮多的有Golang、Java、Python、C++等,目前集群的规模接近百十台(50台云渲染、42台构建),每天近10000张的出图量(分辨率2K、4K、6K不等),能够满足目前的业务需求。