数据获取、分析以及预警系统及其方法
成果类型:: 发明专利
发布时间: 2023-07-11 11:23:51
一种数据获取、分析以及预警系统,通过构建爬虫来实时并行地获取数据,通过分析和学习所获取到的数据来建立时间序列模型,根据所述时间序列模型进行时间计算与阈值计算,并设定预警阈值空间与预警级别,且所述预警阈值空间包括地区、数量的上限以及下限,获取当前时间段的实际数据数量,判断所述实际数据的数量是否超出所述预警阈值空间,在所述实际数据的数量超出所述预警阈值空间时,进行相应的预警级别的预警,同时对预警的数据进行追踪与分析处理,形成预警记录。本发明通过预警信息,快速准确的追踪预警时段该地区的数据,并进行异常检测,发现原因并形成报告。
一种数据获取、分析以及预警系统,包括:参数设定模块,用于根据数据规划表对爬虫的参数进行设定,其中,所述参数设定模块还用于设定权限参数,所述数据规划表包括地区与相应地区的任务;判断模块,用于判断所述爬虫是否有权限;输出模块,在所述爬虫有权限时获取所述爬虫输出的数据以及状态信息,其中,所述判断模块还用于判断所述爬虫是否运行正常;存储器,用于在所述爬虫运行正常时对输出的数据进行存储与备份;学习模块,用于学习所获取到的数据来建立时间序列模型;计算模块,用于根据所述时间序列模型进行时间计算与阈值计算,其中,参数设定模块还用于设定预警阈值空间与预警级别,且所述预警阈值空间包括地区、数量的上限以及下限,所述输出模块还用于获取当前时间段的实际数据数量,所述判断模块还用于判断所述实际数据的数量是否超出所述预警阈值空间;启动模块,用于在所述实际数据的数量超出所述预警阈值空间时相应的预警级别的预警;处理器,用于对数据进行追踪与分析处理,形成预警记录。
随着Web2.0时代的到来,互联网涌现出了大量社会化媒体应用(人人网,Facebook,twitter,微博等),因此,社会化媒体数据研究受到了越来越多研究人员的关注。出现了社区发现研究,信息传播的研究,社会网络应用研究等。这些研究对于信息传播,信息安全,社区挖掘,知识发现,舆情监督,专家查找,商业分析,市场拓展等方面越来越发挥重要的作用。
[0003]社会化媒体应用的特点是开放和合作。例如微博、社交性网站等,纷纷给出了自己的开放平台,让第三方应用进入到自己的开放平台中。同时,也诞生了一种新的数据获取方式——通过开放平台的API接口进行数据的获取。现有的微博获取方式步骤主要包括:(I)获取权限的验证;(2)基于API函数确定参数;(3)数据的获取并存储;(4)数据分析。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力,推动我国自主知识产权新工业的建立,成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统,由九个研究平台,国科大深圳先进技术学院,多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究,促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明中的数据获取、分析以及预警系统及其方法实现了实时并行获取不同地区的数据,通过学习数据建立时间序列模型,利用时间序列模型设定预警阈值空间以及预警等级,在预警发出后,能对数据进行快速的追踪与分析,解决了不同时段、不同地区数据监控的问题,同时,本发明基于最新的数据预测和时间空间因素构建自适应性预警机制,及时更新预警阈值和预警级别,保证预警结果的准确性和可靠性。
技术合作
虽然本发明参照当前的较佳实施方式进行了描述,但本领域的技术人员应能理解,上述较佳实施方式仅用来说明本发明,并非用来限定本发明的保护范围,任何在本发明的精神和原则范围之内,所做的任何修饰、等效替换、改进等,均应包含在本发明的权利保护范围之内。