Python大数据架构全栈开发与应用
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.2.8 运维管理

在运维管理层面,数据架构设计主要包括运维控制、状态监控和功能集成及部署3方面。

1.运维控制

运维控制涉及集群、资源和工作流的统一管理问题。

• 集群统一管理:包括集群节点管理、进程管理、接口管理、服务管理和应用管理等。

• 资源统一管理:包括资源隔离、内部资源协调、多任务资源分配等。

• 工作流统一管理:包括分布式或集中式的工作流或单个任务的编排、调度、触发、错误管理,多任务类型、多语言支持,多程序变量传递及海量任务的有效管理等。

2.状态监控

状态监控包括针对集群硬件监控、软件监控、服务监控、进程监控、接口监控、资源监控和工作流监控,以及用户访问行为、外部入侵、非法操作等其他因素的监控。

与监控相关的功能是预警功能。一般情况下,当集群出现重大问题时,需要系统实时给出预警并推送给目标管理人员;同时,需要尽量提供针对不同异常场景的预置方案,当发生异常时,自动执行方案并消除异常,或者最大化地减小异常带来的负面影响。

3.功能集成及部署

当后续不断有新的功能完成时,需要支持运维人员简便、批量、自动化地完成对集群所有节点的部署及功能集成工作。