成果介绍
1、关键技术及技术先进性:基于Scrapy的大数据采集技术方案,Scrapy是一套基于纯Python实现的分布式网络爬虫框架,是目前最主流的网络爬虫框架,应用于大数据技术方案中大规模数据采集的实现。2、技术特点:(1)抓取速度更快,通过分布式爬虫,来实现大规模抓取。通过多线程、高并发实现硬件资源的最大化利用,提升抓取速度,存储端采用MongoDB、实现数据的高效存储和访问。(2)抓取内容更精准;通过权重匹配结合相似度分析架构,加入基于行块密度算法,提高整体提取精准度。3、技术创新点:通过页面分类、权重分析、行业地域分类、语义的大数据分析,实现启发式采集,使系统更加智能化。政和通基于NET Framework框架进行设计和实现,使用目前比较通用稳定的C#编程语言,采用了Web Services(Web服务)技术、XML技术和Ajax技术,采用MVC三层架构进行搭建,保证产品的安全性、系统的稳定性、高效性、易用性、开放性和扩展性。4、技术及产品应用领域:政和通(政和创新创业的服务云平台)集网站、PC客户端、手机客户端于一体,由政策通、政务通、技术通、服务通、会议通、资金通、助理软件组成。政和通是面向企业、政府、服务机构、高校科研院所、专家等集网站、PC客户端、手机客户端和数据库于一体,以政策需求为切入点而打造的解决政策、服务、技术、资金等问题的科技服务平台。由技术通、政策通、政务通、服务通、会议通、资金通、助理软件组成。技术通通过优秀科研成果展示及需求发布平台、健全的成果鉴别与评价体系、专业的技术专家服务团队、创新的科技成果挂牌模式和平台在线展会营销体系来全面解决技术创新与转化的难题,使得快速完成科技成果转化与技术供需对接。政策通可根据行业、领域、规模、体系及个性需求实现自主订阅,信息自动筛选并匹配提醒,专业团队即时政策解读;政务通实现平台个性化管理、独立性操作,所辖用户统一管理,自主划定通讯群组进行通知公告一键发布,调研表格自主设计,轻松调查与统计分析企业信息;服务通的服务机构和企业均实名认证,对接信息可一对多定向发布智能匹配,完备的用户评价体系,解决企业服务对接难题;会议通开发便捷会务组织发布渠道,二维码扫描等多形式现场签到,内部社交开放互动,会议结果、反馈等统计信息,一键导出,快速分析,“互联网+”开放理念,产品、服务、信息等一平台展示。
成果亮点
团队介绍
成果资料