成果介绍
1.系统采用Linux的CentOS,各个模块功能独立,采用不同的运行环境,除了后台管理模块需要对接已有的内容管理平台外,因而使用PHP作为运行环境外,其它模块主要使用Python作为运行环境。Python具有完善的网络库封装,语法简洁易用,解决了Python许多库之间相互依赖、难以兼容的问题。
2.数据库采用MySQL ***作为各个模块的数据存储系统,系统代码使用开源的代码托管平台Git Lab托管,方便代码的管理和版本控制。
成果亮点
1.系统中的消息队列使用的是轻量级分布式内存队列系统beanstalkd,发送抓取页面命令的进行和抓取接受命令的进程之间独立开来,使用消息队列进行通信,使得模块之间解耦合。
2.系统基于Phantom JS的Casper JS作为解析页面的框架,通过Casper JS从指定的URL中请求网页,并支持从渲染后的结果中用JQuery或者DOM的方式获取指定元素。通过Casper JS对渲染后的页面使用方法get Elements Info即可得到排行榜的数据,形成内容生成服务。
团队介绍
哈尔滨宁禹科技有限公司成立于2020年8月,致力于成为专业从事软件开发、软件制作、软件实施、电子商务,多媒体广告制作,互联网市场营销推广的技术企业。
成果资料