KDP(Kubernetes Data Platform) 提供了一个基于 Kubernetes 的现代化混合云原生数据平台。它能够利用 Kubernetes 的云原生能力来有效地管理数据平台。
技术优势
- 更高效的大数据集群运管：KDP通过标准化流程简化了大数据集群的运维，并提供UI界面进一步提升了部署、升级等操作的效率
- 更高效的大数据组件集成：KDP提供标准化自动化的大数据组件部署和运维，极大地缩短了大数据项目开发和上线时间
- 更高的集群资源利用率：对比传统大数据平台约30%左右的资源利用率，KDP可大幅提升至60%以上
技术亮点
- 基于 OAM(Open Application Model) 标准统一应用发布和管理流程，打通各组件之间的配置管理，实现 IaC(Infra as Code)
- 在大数据组件的 Operator 和 Helm Chart 之上创建了统一抽象层，实现发布和运维的标准化和自动化
- 对大数据核心组件进行代码级别的改造以支持 K8s 资源调度，网络及存储体系，并将这些组件的最新版本进行统一集成
- 利用 K8s 的命名空间实现多租户管理，资源隔离，实现按需动态资源配置，并实现了资源使用统计计费组件（企业版）
- 扩展并强化了多租户环境下的安全认证及鉴权机制，采用统一的 Kerberos 安全认证和基于 Ranger 的授权机制（企业版）
- 对计算引擎在云原生形态下的性能进行优化，例如：批流作业统一的 Volcano 调度，解决了 Spark on HDFS 的 Data Locality 问题（企业版）
总体架构
评论