1、离线分布式并行计算,主要作用是为上层业务提供大数据的离线分布式并行计算能力。
2、离线分布式并行计算在普通的x86 服务器组成的集群中,提供稳定、可靠的离线数据分析能力。
3、在线实时计算:对于在线计算来说,处理的是线上产生的数据,比如用户计费、用户行为分析,需要低延时高可靠的处理海量数据。
4、对具有 上述实时性要求的业务,提供实时在线流式计算能力。实时采集业务数据并实时计算与反馈。
5、基于消息传递的并行计算:对于计算机密集型的业务,基于消息传递的并行计算框架将作业分散到集群的各台机器上,这些机器访问存储区域的共享文件系统,共同完成提交的作业。
6、分布式资源管理调度系统:对于大规模集群的资源,主要是内存和CPU ,进行统一的管理与调度。
7、针对不同业务对实时性需求,合理分配的资源,保证集群的利用率与业务的不同需求。