恭喜 Devlive DataCap 新晋一位 Committer

来源: 投稿
2023-11-29 13:20:00

非常感谢所有对 DataCap 项目的支持和贡献,我们迎来了新的一位来自互联网行业的大数据资深运维工程师,感谢他对 DataCap 的支持以及代码的贡献。

关于 DataCap


DataCap 是数据转换、集成和可视化的集成软件。支持多种数据源,文件类型,大数据相关数据库,关系型数据库,NoSQL 数据库等。通过软件可以实现管理多种数据源,对该源下的数据进行各种操作转换,制作数据图表,监控数据源等各种功能。

DataCap 喜迎一位 Committer 成员


名字 职业 GitHub ID
陈文明 大数据资深运维工程师 chenwenming-zj

个人描述


有多年大数据组件维护经验,对 Hadoop 集群有丰富的经验,同时对 Apache Kafka 以及各个大数据组件有一定的经验。

  1. 优化过亿 Blocks 的 NameNode,优化解决集群小文件问题,减少 NameNode RPC 压力
  2. 迁移并运维过 PB 级别的 Hadoop 集群
  3. 维护管理万级别 Topic 的 Kafka 集群,自动化脚本实现分区均衡迁移,Reassignment 限速等

对 DataCap 的认识


在做公司 Clickhouse 迁移时,从 GitHub 中搜索,发现 datacap 项目,结合公司内部业务,经过一段时间运行后发现缺失,服务功能缺失 JVM 动态加载功能,因为我对 Shell 比较熟悉且做过 JVM 优化工作,特意在源码中支持了服务启动读取 JVM 配置功能。

代码提交之路


  1. 在 datacap 上提交了相关代码 (commit 57473faf4f45616a96962b7f84b9b5b81ecfbc42(HEAD->dev_get_jvm, origin/dev_get_jvm)

得到的收获


  1. 作为大数据运维,很少参与工程项目,非常荣幸能在 datacap 上贡献自己微薄的代码
  2. 这次参与也体会到团队协助的力量,希望 datacap 做的越来越好

对新人的建议


  1. 上线前整理 checklist
  2. 一定要写好注释,方便以后维护,要写好注释,可以写某个方法是做什么的,主要步骤是什么
  3. 测试!一定要多测试,先上测试环境,再上线
  4. 新参与项目时,可以多参考官方文档

如何参与 DataCap


  • 参考官网 开发者文档
  • 通过 Issues 列表参与 GitHub &  Gitee
  • 加入我们的微信群&钉钉群(在代码仓库中可以看到二维码)
  • 微信公众号后台留言(搜索微信公公众号 devlive-sf 关注,标记 DataCap 项目给我们留言即可)
展开阅读全文
点击引领话题📣 发布并加入讨论🔥
0 评论
1 收藏
分享
返回顶部
顶部