大数据平台异常检测分析系统的若干关键技术研究

大数据技术生态体系中的各类技术构件本身没有可自省的安全机制，构件间使用的RPC协议也没有安全机制，大数据平台的安全性面临着巨大挑战，如何高效、快速地检测大数据平台中的应用异常对提高大数据平台的安全性具有重要意义。本书在介绍相关研究工作及相关基础内容之后，主要针对大数据平台的应用层日志数据，研究了平台异常的检测与分析问题，构建了大数据平台异常的离线检测分析的方法体系及实时检测的机制。研究了基于数据流二重概念漂移检测的增量学习、分布式日志的最大频繁序列模式挖掘算法、基于最大频繁模式的动态规则库构建算法、基于Web会话流的分布式实时异常定位算法、基于最大信息系数的在线异常检测算法、基于聚类分析的离线异常检测算法、基于相邻请求的动态时间阈值会话识别算法、基于会话特征相似性模糊聚类的SFAD异常检测算法、基于贝叶斯粒子群的异常检测算法、平台异常时的推测式任务调度策略、基于实时负载的推测式任务调度算法。分析了大数据平台异常检测分析（RADA）系统在实现时所采用的大数据技术与组件技术选型，针对RADA系统进行了深入的结构化分析，介绍了基于融合架构的RADA系统概要设计，研究了RADA系统的详细设计与实现方法，完整地总结了大数据平台异常的实时检测技术与分析RADA系统的关键技术。