奇麟大数据平台

360自主研发,企业级一站式存储计算分析平台,帮助企业从海量数据中快速分析挖掘出真正价值。
立即咨询

奇麟大数据平台

360自主研发,企业级一站式存储计算分析平台,帮助企业从海量数据中快速分析挖掘出真正价值。
立即咨询

产品优势

  • 高性能与可扩展性

    高性能与可扩展性

    QDH可对PB级数据量实现复杂的查询和分析,且具有高可扩展性,用户可以通过增加集群节点数量,线性提高系统的处理能力。

  • 多样化数据处理功能

    多样化数据处理功能

    QDH套件支持低延迟、高可用,具有Exactly-Once语义的流式计算、高吞吐高并发的批处理计算、灵活的分布式机器学习计算、基于内存的图计算等多种计算模式。广泛适用于实时数仓和离线分析等领域。

  • 丰富的机器学习框架

    丰富的机器学习框架

    QDH平台套件中的Xlearnling机器学习框架,预置了主流的Tensorflow、Caffee、MxNet、Honvord等主流机器学习/深度学习框架,并内置分布式内存参数服务器,支持十亿维度的机器学习计算。

  • 低门槛作业开发与监控分析

    低门槛作业开发与监控分析

    QDH和xPolaris套件提供包括标准API、命令行、SQL、WEB控制台等作业接口,支持通过统一SQL提交流式/批处理计算任务。xPolaris提供统一的作业监控分析能力。

  • 通用的数据操作预置功能

    通用的数据操作预置功能

    xPolaris组件预置了大量通用的数据操作与数据服务功能。例如:数据自动归档、冷数据自动编码转换、数据备份、数据同步等通用功能;以及数据冷热分析、操作审计、血缘分析等工具。

  • 简单智能的运维管理

    简单智能的运维管理

    xManager集成基础平台的自动化部署和扩容、统一的配置管理、智能的监控告警、运行时异常检测/诊断分析、故障自愈等功能,以及运维工单/运维通告、自助监控设定、故障报告与SLA评估等运维工具集。

  • 容器技术与大数据平台

    容器技术与大数据平台

    QDH支持独立部署和容器化部署两种方式。可以作为一种PaaS服务,通过Kubernetes实现物理资源的统一管理与分配,实现离线大数据分析业务和在线数据访问业务的混合部署。

  • 安全加固与多租户

    安全加固与多租户

    xSecurity套件实现对QDH基础平台的安全加固,提供包括大数据4A、边界网关、代理访问在内的多种安全风险加固机制。配合容器技术实现平台对多租户访问的资源隔离。

奇麟助力企业快速挖掘数据价值

360奇麟大数据平台以“奇麟大数据基础平台套件KDH”为中心,借助通用廉价的x86服务器硬件,搭载开源+自主开发的软件技术栈。主要提供的大数据服务包括:数据接入、数据存储、计算与资源调度、数据计算分析、平台访问与数据接口、平台运维管理、安全体系。

存储与计算能力 存储与计算能力
存储与计算能力
运维解决方案xManager 运维解决方案xManager
运维解决方案xManager
大数据应用开发平台xPolaris 大数据应用开发平台xPolaris
大数据应用开发平台xPolaris
存储与计算能力
 资源调度与数据处理

深度自研统一资源管理与资源调度机制,GPU统一调度,支持深度学习与大数据的融合,具备调度优化、超配机制,使得调度延迟缩短70%;Container吞吐效率提升50%;资源使用率提升20%;批流计算、机器学习,支持各种深度学习算法统一调度;计算资源支持按需横向可扩展,提供高度的隔离特性。 


 数据处理子系统(离线批处理):

具备MapReduce、Spark、Presto等多样化的计算引擎,深度定制化开发,带来效率和稳定性的大幅提升,稳定性高于业界平均水平;可轻易支撑数十万/天的作业并发,引擎计算能力提升30%以上;同时提供离线后台批处理、前台交互式分析等计算能力,支持无缝调度运行在YARN、K8S等资源管理和调度系统之上。

运维解决方案xManager
 集群与服务管理:

xManager将Agent安装到各个节点(主机)上,Agent负责采集并上报各个节点的运行指标、进程指标、执行结果。xManager内置集成了大数据基础服务,也可以自定义,将自己需要集成和私有化部署的软件产品集成进来。


 数据收集、分析及可视化:

节点接入xManager进行管理后,Agent会定时将节点的性能指标数据及进程数据采集上报。安装大数据基础服务后,可以采集、存储服务运行时的指标,对服务进行状态监控、异常分析、风控告警等,并提供各种数据分析与可视化的能力,方便用户快速分析数据,及时发现平台问题。


 风控中心与安全审计:

xManager提供灵活的风控规则配置,对触发风控规则的指标,一方面进行告警,另一方面执行风控策略,实现问题或故障的自愈。并通过操作审计、违规阻断、安全巡检、权限控制等方式确保平台安全。

大数据应用开发平台xPolaris
 资源管控与任务开发:

xPolaris向用户提供简单易用的资源申请/统计/资源扩容等资源管理功能。任务开发平台则提供多种编程形式,支持在线进行可视化的流程编排和代码编写,高效完成大数据离线计算和实时计算的核心业务开发。


 数据采集/同步与元数据管理:

元数据管理统一元数据视图,通过API支撑业务构建数据资产、数据管理等能力。日志采集器xCollector用于业务数据的实时采集。实时数据汇集功能,通过界面化的数据流拖拽与编排,完成数据源→数据总线→数据目标的端到端数据流。数据同步工具TransX,用于异构数据源之间的数据交换(离线)。


 交互查询与自助分析:

交互查询,通过编写和模板生成SQL,快速从各种存储中查询数据,查询结果可下载或用图表进行展示。自助分析,面向业务人员/数据开发/数据分析/数据运营等,提供数据分析和可视化展示方式。

存储与计算能力 存储与计算能力
存储与计算能力
 资源调度与数据处理

深度自研统一资源管理与资源调度机制,GPU统一调度,支持深度学习与大数据的融合,具备调度优化、超配机制,使得调度延迟缩短70%;Container吞吐效率提升50%;资源使用率提升20%;批流计算、机器学习,支持各种深度学习算法统一调度;计算资源支持按需横向可扩展,提供高度的隔离特性。 


 数据处理子系统(离线批处理):

具备MapReduce、Spark、Presto等多样化的计算引擎,深度定制化开发,带来效率和稳定性的大幅提升,稳定性高于业界平均水平;可轻易支撑数十万/天的作业并发,引擎计算能力提升30%以上;同时提供离线后台批处理、前台交互式分析等计算能力,支持无缝调度运行在YARN、K8S等资源管理和调度系统之上。

运维解决方案xManager 运维解决方案xManager
运维解决方案xManager
 集群与服务管理:

xManager将Agent安装到各个节点(主机)上,Agent负责采集并上报各个节点的运行指标、进程指标、执行结果。xManager内置集成了大数据基础服务,也可以自定义,将自己需要集成和私有化部署的软件产品集成进来。


 数据收集、分析及可视化:

节点接入xManager进行管理后,Agent会定时将节点的性能指标数据及进程数据采集上报。安装大数据基础服务后,可以采集、存储服务运行时的指标,对服务进行状态监控、异常分析、风控告警等,并提供各种数据分析与可视化的能力,方便用户快速分析数据,及时发现平台问题。


 风控中心与安全审计:

xManager提供灵活的风控规则配置,对触发风控规则的指标,一方面进行告警,另一方面执行风控策略,实现问题或故障的自愈。并通过操作审计、违规阻断、安全巡检、权限控制等方式确保平台安全。

大数据应用开发平台xPolaris 大数据应用开发平台xPolaris
大数据应用开发平台xPolaris
 资源管控与任务开发:

xPolaris向用户提供简单易用的资源申请/统计/资源扩容等资源管理功能。任务开发平台则提供多种编程形式,支持在线进行可视化的流程编排和代码编写,高效完成大数据离线计算和实时计算的核心业务开发。


 数据采集/同步与元数据管理:

元数据管理统一元数据视图,通过API支撑业务构建数据资产、数据管理等能力。日志采集器xCollector用于业务数据的实时采集。实时数据汇集功能,通过界面化的数据流拖拽与编排,完成数据源→数据总线→数据目标的端到端数据流。数据同步工具TransX,用于异构数据源之间的数据交换(离线)。


 交互查询与自助分析:

交互查询,通过编写和模板生成SQL,快速从各种存储中查询数据,查询结果可下载或用图表进行展示。自助分析,面向业务人员/数据开发/数据分析/数据运营等,提供数据分析和可视化展示方式。

典型应用场景

集团企业信息流
科研机构
银行信贷业务场景
政企自用场景
集团企业信息流


应用场景:

大规模并发场景下日志文件采集处理,并根据需要生成周期报表或实时报表。





应用价值:

资源按峰值弹性自动扩缩,自动化技术运维,大数据资源按需使用。

科研机构


应用场景:

实现DNS数据/微博/微信/QQ等社交数据存储、社交网络在线分析、信息传播关键链分析等业务。




应用价值:

容纳100P总存储空间、3000台服务器,同城双活、异地容灾,支持最大3万并行任务。

银行信贷业务场景


应用场景:

银行信贷业务贷款人证明材料按要求长期保存,需针对电子文本进行低成本长期持久保存。




应用价值:

具备同城双活数据中心,支持自动数据冗余存储、秒级数据冗余同步。

政企自用场景


应用场景:

本地安全大脑当前使用自维护的大数据套件。未来奇麟大数据平台将提供大数据存储、大数据计算、大数据管理等能力。




应用价值:

复用360技术中台多年来服务的经验,提升技术竞争力,释放底层资源增加业务资源投入。

集团企业信息流
集团企业信息流


应用场景:

大规模并发场景下日志文件采集处理,并根据需要生成周期报表或实时报表。





应用价值:

资源按峰值弹性自动扩缩,自动化技术运维,大数据资源按需使用。

科研机构
科研机构


应用场景:

实现DNS数据/微博/微信/QQ等社交数据存储、社交网络在线分析、信息传播关键链分析等业务。




应用价值:

容纳100P总存储空间、3000台服务器,同城双活、异地容灾,支持最大3万并行任务。

银行信贷业务场景
银行信贷业务场景


应用场景:

银行信贷业务贷款人证明材料按要求长期保存,需针对电子文本进行低成本长期持久保存。




应用价值:

具备同城双活数据中心,支持自动数据冗余存储、秒级数据冗余同步。

政企自用场景
政企自用场景


应用场景:

本地安全大脑当前使用自维护的大数据套件。未来奇麟大数据平台将提供大数据存储、大数据计算、大数据管理等能力。




应用价值:

复用360技术中台多年来服务的经验,提升技术竞争力,释放底层资源增加业务资源投入。

客户案例

预约联系
请填写基础信息,专业咨询顾问将为您提供1对1专属服务
请输入您的姓名
请填写企业、政府或组织名称
请输入您的手机号码
请输入验证码

打开微信扫一扫 添加服务顾问

获取合作方案及产品解决方案

温馨提示

X

加入微信,我们会尽快联系您!

确定