科创中国

电子信息技术,计算机及网络技术

本发明公开了面向网络的多通道大数据采集系统及方法，其中，面向网络的多通道大数据采集系统由论坛数据采集单元、博客数据采集单元、新闻数据采集单元及关系型数据库中数据采集单元构成的分布式定向采集体系架构组成；论坛数据采集单元，用于分别通过动态网页采集方法和网页信息抽取方法对在线论坛及离线论坛内的网络数据进行采集；博客数据采集单元，用于负责广度遍历博客站点，目的是获取博客Feed地址；对每个Feed地址对应的博客进行实时采集，跟踪更新的博客文章，以增量更新方式采集博客信息；新闻数据采集单元，用于采用基于行块分布函数的方法抽取新闻网页中的正文文本；关系型数据库中数据采集单元，用于采用数据转移工具来批量采集关系型数据库中数据。

(1)面对海量的网络信息及其多样化的信息形式，本发明用分布式定向采集体系架构对论坛数据、博客数据、新闻数据及关系型数据库中数据进行分布同时采集，达到了准确地识别、提取不同来源和形式的信息，又高效、全面地采集信息，还能够及时地跟踪信息的更新，并且减少了人工维护大数据的工作量。 (2)本发明最大限度地保证了系统网络信息获取过程的高效性、全面性、及时性，为上层分析处理模块提供全面、稳定、安全的信息来源。

山东省科学院情报研究所成立于1983年，是依托数字图书馆开展科技信息服务和信息服务技术研究的学术型研究机构，下设情报室（数字图书馆）、文献检索中心、研发中心、《山东科学》编辑部等业务科室。研究所现有职工50人，高级研究人员20人，拥有图书馆学、情报学、计算机科学、信息科学等多学科高素质的专业人才队伍。建所以来，研究所坚持以服务山东经济社会发展、促进科技创新为宗旨，努力提高咨询服务能力，在丰富的科技信息资源基础上，面向社会提供数字化图书馆服务以及科技查新、文献检索、专利评估、培训等科技咨询服务，现有馆藏电子资源近两亿条，包括中外文期刊、中外文专利、中外文会议论文、电子书、国家标准、专利等各类数据。