一种分布迭代式数据处理程序异常检测与诊断方法
发布时间: 2021-11-17
来源: 科技服务团
基本信息
本发明涉及一种分布迭代式数据处理程序异常检测与诊断方法,属于计算机数据管理技术领域。该方法包括训练模型和检测诊断两个阶段;首先基于源代码分析进行日志模板库的提取,其次基于模板库从海量日志数据中分别提取数据分块和任务单元对应的特征向量并进行异常检测模型训练,之后结合领域知识进行异常类型标注,然后利用训练好的模型对未来计算任务进行异常检测,并使用可视化界面给出异常分析,最后将特征单元与代码定位信息关联到一起,通过将异常特征单元映射到程序代码中实现程序的异常检测与诊断。本方法能够从多角度检测和诊断出分布迭代式数据处理程序的主要异常,方法直观易用、交互性好,可显著减少用户进行程序异常检测和诊断的时间。