七牛云机器数据分析平台(Padora)
发布时间: 2021-10-10
来源: 科技服务团
基本信息
一、平台简介
本平台可实现数据的全生命周期智能管理,适用于安全分析、业务运营分析、智能运维监控、物联网数据智能等场景,将实现海量数据的接入、加工、处理、消费等一整套流程的可视化、智能化、系统化处理,针对企业运维风险进行智能化科学管理,同时最大化的发现、分析企业内部核心业务数据价值、辅助挖掘现有业务和应用系统的潜在商机,培育完好的业务创新产业链,实现数据应用的完整闭环。主要应用在金融、制造、物联网、运营商、互联网等行业。
二、平台创新性、先进性:
1、原生支持 Schema On Read 能力。
2、支持模型加速,通过SPL分层持久化、列式存储、向量计算等技术对数据模型进行迭代优化。
3、原始数据存储,避免ETL加工带来的预处理建模困难。
4、计算(动态资源)和存储(静态资源)分离,降低成本,提高计算弹性。
5、使用标准OSS技术,完整热-温-冷数据生命周期管理大幅降低存储成本。
6、对标业界的标杆产品,兼容标准机器数据分析命令。
7、支持丰富机器学习命令,满足大量机器数据分析 AI 场景。
8、支持 SPL 实时计算,结果导出对接系统,完成业务闭环。
9、APP生态系统,SDK 支持对于平台的可视化系统、业务组织形式进行可插拔扩展。
10、能够通过脚本语言Python等扩展SPL计算能力。
11、支持平台图表能力输出,能够集成到业务系统,完成数据价值输出。
12、海量Agent集中管理,可一键对所有Agent进行任务分发、重启、资源限制等。
13、支持多源的融合计算,不只是可以针对自带存储进行分析和查询,还允许用户通过SPL针对各种各样的数据源进行计算。
三、技术路线及业务框架简述
本平台是一站式日志数据管理平台,具有统一日志存储、实时检索、查询和分析、监控告警能力,并提供计算引擎(流式计算、批量计算)对数据进行进一步分析,同时支持异常检测和预测等机器学习功能,帮助用户提升运维、运营效率,快速查找和定位问题,广泛应用于在线业务监控、运维排障、安全审计、用户分析等场景。
平台由数据采集、数据存储、数据处理与分析三个主要功能模块组成。数据采集对应日志采集和解析流程,主要用于数据的收集、解析、转换和发送;数据存储模块主要用于数据接收、索引和存储,为数据处理与分析模块提供服务;数据处理与分析模块提供数据搜索、可视化报表、监控告警、多维分析相关功能。
具体业务框架所如图1所示。
四、市场应用及效益
1、Pandora是我司自主研发,拥有自主知识产权的核心项目,经过几次迭代升级,目前技术成熟,性能优良,已在金融、智能制造等行业有了众多应用案例,且运行良好,效果显著,已达到了规模化的应用。
2、示范意义和推广价值
全球数字化浪潮推动商业模式变革,催生规模性产业洗牌。Pandora应用在金融、智能制造等行业的全面数字化过程中,通过现化互联网、数字化技术等手段,帮助企业提升效能,激发原动力,全面颠覆原有产品生产、交付旅程,为探索新的商业模式和价值动能,增加驱动力。