科创中国

行业领域

电子信息技术

需求背景

随着互联网+时代的到来，网络数据呈现爆炸式地增长，而越来越多有价值的网络数据信息却无法被传统的搜索引擎实时获取到，例如:电商商品订单数量、商品评价信息、OTA酒店间夜信息以及微博评论信息等。而这些未被收录到传统搜索引擎的数据信息对于现代企业的投资决策以及科研机构的社会科学方向的研究却有着巨大的意义和价值。为此研究电商数据采集终端AI运维管控系统。

需解决的主要技术难题

该系统可分为底层服务层、系统层和应用实现层三部分。底层服务层使用虚拟化技术实现服务器虚拟化，系统层使用Storm和Hadoop分布式数据处理框架分别对数据的采集和分析处理功能提供分布式数据处理技术支持。应用层包含三部分，其中反爬对抗功能和数据解析功能是在Storm框架基础上开发实现的，而数据分析展示功能是在Hadoop框架基础上开发实现的。

期望实现的主要技术目标

采用Storm框架，它实现了一套支持实时数据流处理的分布式数据处理框架，同时支持多种编程语言对其功能进行开发，如：Java，Python，PHP以及JavaScript等。

采用NoSQL型数据库，主要用于存储海量结构化数据的数据库，该数据库是Hadoop的后台存储数据库同样具有分布式存储效果。

       采用Hadoop分布式框架，是以Java语言为底层基础，可以使用Java 直接编程去运行该计算框架。但是其提供了各种语言的开发接口，例如C++、Python和Perl等。Hadoop可以将陈旧的机器组成集群的形式作为存储系统与分布式框架。

需求解析

解析单位：“科创中国”黑龙江产业振兴区域科技服务团（黑龙江省科学技术协会） 解析时间：2022-11-18

郑志成

黑龙江省科技创新协会

会长

综合评价

采用Storm框架，它实现了一套支持实时数据流处理的分布式数据处理框架，同时支持多种编程语言对其功能进行开发，如：Java，Python，PHP以及JavaScript等。 采用NoSQL型数据库，主要用于存储海量结构化数据的数据库，该数据库是Hadoop的后台存储数据库同样具有分布式存储效果。 采用Hadoop分布式框架，是以Java语言为底层基础，可以使用Java 直接编程去运行该计算框架。但是其提供了各种语言的开发接口，例如C++、Python和Perl等。Hadoop可以将陈旧的机器组成集群的形式作为存储系统与分布式框架。

查看更多>

处理进度