您所在的位置: 成果库 面向电商大数据分析的分布式机器学习组件开发

面向电商大数据分析的分布式机器学习组件开发

发布时间: 2022-10-25

来源: 试点城市(园区)

基本信息

合作方式: 委托开发
成果类型: 新技术
行业领域:
电子信息技术,新一代信息技术产业,互联网与云计算、大数据服务
成果介绍
技术内容:1)总体分析;2)单品分析;3)店铺分析;4)竞争分析;5)站外分析;6)直播数据分析;7)客服数据分析。 技术方法和路线:1)设计和开发基于Hadoop和Spark的支持批量和流式电商数据采集、存储、模型训练、分析、展示;2)以分布式大规 模数据采集框架为采集层,以Spark分布式计算框架为系统计算底层,结合数据分析算法进行数据挖掘,以 Web技术展示系统。平台分层设计,层次清晰,低耦合。
成果亮点
对于MaxCompute、Hadoop和Spark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到云原生数据仓库AnalyticDB PostgreSQL版,帮助实现高性能分析处理和在线数据探索。
团队介绍
福州大学是国家“双一流”建设高校、国家“211工程”重点建设大学、福建省人民政府与国家教育部共建高校。学校创建于1958年,现已发展成为一所以工为主、理工结合,理、工、经、管、文、法、艺等多学科协调发展的重点大学。近年来,福州大学坚持“四个面向”,围绕学校“双一流”建设,开启新一轮有深度、有广度、有温度的校地合作,有规划地搭建校地校企“朋友圈”,有组织地开展政产学研合作,跑出科技创新与成果转移转化的加速度,加快科研成果从样品到产品再到商品的转化,把科技成果充分应用到现代化事业中去。
成果资料