本专区由 软件架构 团队提供资讯和技术支持,欢迎社区成员申请加入管理小组。
每一名优秀开发者都想成为架构师。架构,又名软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计。
本专区由 软件架构 团队提供资讯和技术支持,欢迎社区成员申请加入管理小组。
本文根据2024年3月30日在北京举办的“云原生✖️AI时代的微服务架构与技术实践”CloudWeGo 技术沙龙北京站活动方正证券 金融科技工程院高级研发工程师刘义的演讲《金融科技 Go 微服务建设实践》整理而来。 概述:本文将详细介绍方正证券金融科技工程院在云原生微服务建设实践经验,分享包含 3 个方面: 微服务治理工作 微服务可观测性工作 微服务接口管理 上述能力统一集成到了方正公司的夸克开发平台上。 方正证券微服务建设实... 展开更多
软件工程师罗小东,多年架构和平台产品设计经验,目前在研究平台产品与新技术结合中。 前言 目前大模型能达到的场景和优化的效果,基本上能达到专家的效果。在微调试下回复和表达可以已经可以达到中高级产出,这里主要针对的是行业深度场景结合的设计方案。 概述 这里的设计原则依然是定位在辅助人的角色上,核心节点需要人工的确认。目前遇到的或是可以看到的基本上很多是概念视频展示不做结合参考,以市面上结果稳定输出的大模... 展开更多
## 导语 自2024年9月6日起,TDMQ Pulsar 版专业集群支持消息、元数据两级跨地域复制功能,消息级复制解决用户全球地域的数据统一归档问题,元数据级复制提供解决用户核心业务跨地域容灾的场景。 ## 用户在跨地域场景遇到的疑问和挑战 在跨地域相关场景下,通常有两大类原始需求: ### 跨地域容灾 TDMQ Pulsar 版目前支持在同一地域下进行跨可用区部署,这种部署方式能够在一定程度上提高系统的可用性和容灾能力。 ![](https://... 展开更多
package com.dahuatech.scene.config; import org.apache.commons.lang3.concurrent.BasicThreadFactory; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.annotation.EnableAsync; import org.springframework.scheduling.concurrent.Thr...... 展开更多
package com.dahuatech.scene.config; import org.apache.commons.lang3.concurrent.BasicThreadFactory; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.annotation.EnableAsync; import org.springframework.scheduling.concurrent.Thr...... 展开更多
在大模型的开发与应用中,数据预处理、模型开发、训练和推理构成四个关键环节。本文将重点探讨推理环节。在之前的博客中,社区用户 [BentoML](https://juicefs.com/zh-cn/blog/user-stories/bentoml-use-juicefs-accelerate-large-model-loading) 和[贝壳](https://juicefs.com/zh-cn/blog/user-stories/beike-ai-platform-multi-cloud-storage)的案例提到了使用 JuiceFS 社区版来提高模型加载的效率。**本文将结合我们的实际经... 展开更多
![file](https://oscimg.oschina.net/oscnet/up-3d3d976796213faef6a2d4c5030aee5c9e4.png) Apache SeaTunnel 2.3.6 版本于近日正式发布,社区期待的 SeaTunnel Zeta Master/Worker 新架构、事件通知机制、支持动态编译的transform等新功能和新能力在这次版本中都有了全面的更新,并添加了首个向量数据库 Milvus。此外,本版本还进行了一些基础性的 Bug 修复和文档修复等,欢迎尝试使用! 📥 2.3.6 版本下载:https://seatunn... 展开更多
8 月 15 日至 16 日,2024 全球开源技术峰会 GOTC x GOGC 全球开源极客嘉年华将于上海张江科学会堂举行。 全球开源技术峰会(Global Open-source Technology Conference,简称 GOTC)始于 2021 年,是面向全球开发者的开源技术盛会。 GOTC 2024 与上海浦东软件园联合举办,并结合 “GOTC(全球开源技术峰会)” 与 “GOGC(全球开源极客嘉年华)”,旨在打造一场全新开源盛会。2024 全球开源极客嘉年华(GOGC 2024)由浦东软件园... 展开更多
8 月 15 日至 16 日,2024 全球开源技术峰会 GOTC x GOGC 全球开源极客嘉年华将于上海张江科学会堂举行。 大会由上海浦东软件园与开源中国联合主办,包含开幕式暨主论坛、高峰论坛、平行论坛、行业沙龙、青年黑客松等一系列活动,聚焦开源生态与商业化、AIGC 产业产业前沿、开源数据库与 AI 协同创新、LLMOps 最佳实践、硬核 AI 技术创新与实践、云原生与微服务架构、数据基础与 GenAI 开发范式以及开源人才与教育等主题。 大会... 展开更多
2024 年 8 月 15 日至 16 日,全球开源技术峰会 GOTC 2024 将于上海张江科学会堂盛大开启。其中百度作为本次大会的钻石赞助商,彰显了其在开源行业中的引领地位。作为全球互联网领军企业,百度始终积极拥抱开源,持续推动技术进步。
2024 年 8 月 15 日至 16 日,全球开源技术峰会 GOTC 2024 将于上海张江科学会堂盛大开启。 GOTC 2024 与上海浦东软件园联合举办,结合了 “GOTC(全球开源技术峰会)” 与 “GOGC(全球开源极客嘉年华)” 两大活动品牌。 大会由一个主论坛领航,两大高峰论坛以及六大专题论坛并行,全面深入探讨 AI、数据库、云原生等前沿技术领域,届时将集结全球范围内对开源技术充满热情的开发者、社区成员、创业者、企业领袖、媒体人,以及... 展开更多
一、前言 ==== Raft算法是一种分布式一致性算法,由Diego Ongaro和John Ousterhout在2013年提出。它主要用于分布式系统中,保证系统中的数据在多个节点间保持一致性。 Raft算法被广泛应用于众多分布式系统中,尤其是在需要强一致性保证的场景中,例如: * **分布式存储系统**:如ETCD、Consul等键值存储系统,它们利用Raft算法来保证数据的强一致性和高可用性。 * **分布式数据库**:一些分布式数据库管理系统(DBMS),如Cockr... 展开更多
Linux 基金会发布的《2023年技术人才现状报告》显示,由于全球经济持续存在不确定性, 超过50%的受访组织已经调整了它们的招聘计划。然而,尽管存在这些挑战,企业对熟练技术人才的需求依然旺盛,特别是在云计算/容器、网络安全和人工智能/机器学习等新领域。 值得注意的是,在这些领域,众多主流技术都已经开源。在开源技术日益成为行业标准的今天,加大对开源人才的培养力度,无疑是对未来的一种投资。通过参与和贡献开源项目... 展开更多
> KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上,我们分享了《美团大规模 KV 存储挑战与架构实践》,本文为演讲内容的整理。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展... 展开更多
人工智能领域正以前所未有的速度蓬勃发展,新技术、新应用层出不穷。 8 月 15 日至 16 日,GOTC 2024 将在上海张江科学会堂盛大开启。GOTC 2024 与上海浦东软件园联合举办,并GOTC 2024 与上海浦东软件园联合举办,结合了 “GOTC(全球开源技术峰会)” 与 “GOGC(全球开源极客嘉年华)” 两大活动品牌,旨在打造一场全新的开源盛会。 大会精心策划了一系列论坛,其中多个论坛主题与 AI 密切相关,比如 AIGC 产业前沿高峰论坛,... 展开更多
> 在高性能计算场景中,往往采用全闪存架构和内核态并行文件系统,以满足性能要求。随着数据规模的增加和分布式系统集群规模的增加,全闪存的高成本和内核客户端的运维复杂性成为主要挑战。 > > JuiceFS,是一款全用户态的云原生分布式文件系统,通过分布式缓存大幅提升 I/O 吞吐量,并使用成本较低的对象存储来完成数据存储,适用于大规模 AI 业务。 JuiceFS 数据读取流程从客户端的读请求开始,然后再经过 FUSE 发送给 JuiceF... 展开更多
2024 年 8 月 15 日至 16 日,全球开源技术峰会 GOTC 2024 将于上海张江科学会堂盛大开启。 GOTC 2024 与上海浦东软件园联合举办,结合了 “GOTC(全球开源技术峰会)” 与 “GOGC(全球开源极客嘉年华)” 两大活动品牌。 大会由一个主论坛领航,两大高峰论坛以及六大专题论坛并行,全面深入探讨 AI、数据库、云原生等前沿技术领域,届时将集结全球范围内对开源技术充满热情的开发者、社区成员、创业者、企业领袖、媒体人,以及... 展开更多
有没有类似kettle的开源推荐,支持接口、数据库数据同步,但是希望可以轻量化一点,集成到项目中。
2024 年 8 月 15 日至 16 日,全球开源技术峰会 GOTC 2024 将于上海张江科学会堂盛大开启。 GOTC 2024 与上海浦东软件园联合举办,结合了 “GOTC(全球开源技术峰会)” 与 “GOGC(全球开源极客嘉年华)”两大活动品牌。 大会由一个主论坛领航,两大高峰论坛以及六大专题论坛并行,全面深入探讨 AI、数据库、云原生等前沿技术领域,届时将集结全球范围内对开源技术充满热情的开发者、社区成员、创业者、企业领袖、媒体人,以及... 展开更多
8 月 15 日至 16 日,GOTC 2024 将在上海张江科学会堂盛大开启。云原生技术专家、Kong Senior Software Engineer 张晋涛将以“云原生与微服务架构”论坛出品人的身份出席大会,并以《云原生时代下企业流量治理的机遇和挑战》为题发表演讲。 这是张晋涛第二次参加 GOTC 大会。三年前参加首届 GOTC 大会时,开源中国 OSCHINA 对他进行了采访,那时他还是 k8s ingress-nginx 项目的 reviewer,现在他已经是这个项目的 maintainer。... 展开更多