成果介绍
本公司研发的优化数据中台(ODC)系统是新一代实时数据服务平台,通过把企业核心数据实时集中到中央化数据平台的方式并通过API 或者反向同步方式,
为下游的交互式应用、微服务或交互式分析提供新鲜实时的数据。数据实时采集+传输 。基于日志解析的能力,通过开放式框架 Plugin Framework,以实时等方式,第一时间对这些数据源头中修改/更新/变动的数据进行采集并标准化,形成标准时间后进入流处理框架;数据实时计算 。通过 Tapdata 自研方案,无需离开进程,在进程内即可完成数据计算、建模和转型,快速得出结果,进入 DaaS Storage 层;中央化存储 。在将数据放入 Storage 层时,实际上已经形成了一套逻辑模型,在这里用户无需关心数据存储在哪里,只需要关注真正需要的是哪些数据信息;数据实时服务。在服务层,有两种主流的数据服务模式 Pull 和 Push。API 支持低代码发布,可按照具体需求发布数据。当所需数据在业务系统中已有存储时,可通过 REVERSE ETL,反向把经过整理、治理的数据推送给用户。
成果亮点
以实时的方式从各个数据来源,包括数据库,API,队列,物联网等数据提供者采集或同步最新的数据变化。实时 CDC 数据同步,捕获源数据库的数据变化,并在毫秒内更新到目的数据库 。 支持大部分商业和开源的数据库类型,包括关系型和非关系型数据库 。支持多源异构数据双向同步,自动映射关系型到非关系型 。定义数据规则,监控和分析所提取的数据质量。数据实时计算能力,
基于 Pipeline 流式数据处理,以应对基于单条数据记录的即时处理需求,如数据库CDC,消息,IOT事件等。和传统 ETL 的不同点是,每一条新产生并进入到平台的数据,会在秒级范围被响应,计算,处理并写入到目标表里。同时,针对于实时分析场景,系统需要提供基于时间窗的统计分析能力,如计算最近一个小时的订单总数,页面点击总数,订单总额,实时计算游戏排行等场景。
团队介绍
宁波鑫欣网络科技有限公司是一家科技型中小企业。互联网+体育”浪潮正在当代中国发生着前所未有的创新革命。乘着时代东风,倡导体育市场创新理念,大力推行“互联网+体育+科技”的新思路,为中国打造一个全新的体育科技平台,成为一支推动社会经济和生活发展的重要力量!宁波鑫欣网络科技有限公司是一家“互联网+体育+科技”的开拓者,秉承“科学、自律、和谐、勤俭”的核心文化理念,开拓创新,稳步前进。
成果资料