WFCloud国产大数据平台

  • FCloud国产大数据平台主要针对国家面向大型应用的共性云计算基础平台研制,用于发展具有自主可控的云计算技术,提高大数据挖掘与智能服务的能力。国产大数据平台的研制符合国家信息安全政策导向,从CPU芯片、服务器设计和制造到固件、操作系统、共性支撑软件、虚拟化技术、系统集群和大数据处理实现了完全国产自主可控。
    WFCloud国产大数据平台主要解决分布式存储和内存计算的底层实现,具备海量数据存储、检索和分析处理能力,对业务应用提供各类数据存储、计算、展示以及挖掘接口,能够实现大数据处理业务支撑。
    图1 国产大数据平台
    ▪ 数据存储
    基于分布式文件系统存储,支持海量结构化、非结构化数据存储,支持多数据副本,数据存储容量支持线性扩展
    ▪ 数据管理
    集成Nosql数据库、数据仓库及全文检索引擎,支持TB级数据检索秒级响应,支持关联查询、分析查询等复杂数据查询和分析
    ▪ 数据挖掘
    支持典型数据挖掘算法集成,支持机器学习和图算算法集成,能够支撑专用数据挖掘算法和机器学习模型开发
    ▪ 分布式计算
    支持分布式计算、内存计算、流处理等分布式计算引擎,能够实现主流计算业务的分布式实现,并在申威、龙芯、飞腾等国内主要国产处理器做了大量适配和优化,对计算支持和性能等方面着重进行了优化和提升。
    ▪ 资源管理
    平台采用主从双机的HA形式,有效保障业务连续性,提供平台计算、存储、网络资源管理工具,能实时监控平台资源使用