每一名优秀开发者都想成为架构师。架构,又名软件架构,是有关软件整体结构与组件的抽象描述,用于指导大型软件系统各个方面的设计。

加载中
置顶
发表了博客
05/20 14:01

方正证券-金融科技云原生微服务建设实践

本文根据2024年3月30日在北京举办的“云原生✖️AI时代的微服务架构与技术实践”CloudWeGo 技术沙龙北京站活动方正证券 金融科技工程院高级研发工程师刘义的演讲《金融科技 Go 微服务建设实践》整理而来。 概述:本文将详细介绍方正证券金融科技工程院在云原生微服务建设实践经验,分享包含 3 个方面: 微服务治理工作 微服务可观测性工作 微服务接口管理 上述能力统一集成到了方正公司的夸克开发平台上。 方正证券微服务建设实... 展开更多

收藏 1
0
置顶
发表了博客
06/18 19:02

缓存有大key?你得知道的一些手段

   背景: 最近系统内缓存CPU使用率一直报警,超过设置的70%报警阀值,针对此场景,需要对应解决缓存是否有大key使用问题,扫描缓存集群的大key,针对每个key做优化处理。 以下是扫描出来的大key,此处只放置了有效关键信息。    图1 大key介绍: 想要解决大key,首先我们得知道什么定义为大key。 什么是大KEY: 大key 并不是指 key 的值很大,而是 key 对应的 value 很大(非常占内存)。此处为中间件给出的定义: ... 展开更多

收藏 1
0
置顶
发表了博客
前天 14:42

Go-Job让你的任务调度不再繁琐

**一、背景** 在选择任务调度平台时,团队遇到了一些实际的问题。现有的开源项目如XXL-Job、Elastic-Job,虽然功能强大,但主要是围绕Java设计,而我们团队主要使用Go语言进行开发。这使得我们在集成和使用这些工具时遇到了诸多不顺。经过深入的调研和讨论,决定开发一个适合Go语言的任务调度框架,以满足我们的特定业务需求。于是,Go-Job应运而生。 为了让大家有个全面的了解,接下来主要探讨它的架构设计和功能特性。 本文的... 展开更多

收藏 0
0
置顶
发表了博客
前天 10:16

手把手案例!怎样拿开源的 GPT-2 训练小模型,挑战 GPT-3.5

当前业内普遍认可的一个观点是,大模型(LLM)参数规模越大,其性能越强,表现得越像人类。 然而,一个只有 5 亿参数的小模型(SLM),在做文档摘要任务时,其表现却超过了 GPT-3.5。这听起来很不可思议。官方曾公布 GPT-3.5 的参数量为 1750 亿,是该小模型的 300 倍。 这是怎么做到的? 基于“大数据、大算力、强算法”的大模型的大规模预训练已经成为了一项极其烧钱的竞赛,有能力加入这场竞赛的玩家并不多。因此,越来越多的... 展开更多

收藏 2
0
置顶
发表了博客
06/18 10:35

LangChain 与 Semantic Kernel,大模型开发应用的框架,都用上了吗?

论起当前流行的 AI 应用开发开源框架, LangChain 和 Semantic Kernel 必然榜上有名。不仅提供了强大的工具和框架,同时都代表了 AI 技术发展的前沿。 LangChain 的创始人是 Harrison Chase,在 2022 年 10 月将其开源。最初,它只是 Chase 的一个业余爱好项目,但迅速发展成为颇受开发者欢迎的开源框架和工具包。尤其是在 ChatGPT 发布一个月后,LangChain 在 GitHub 上获得了大量关注,目前 star 数已经超过了 8.7 万。与此同... 展开更多

收藏 2
0
置顶
高级程序员
发表了博客
06/11 19:00

v5内存分配器性能优化

背景 在之前我们提到采用自定义的内存分配器来解决防止频繁 make 导致的 gc 问题。gc 问题本质上是 CPU 消耗,而内存分配器本身如果产生了大量的 CPU 消耗那就得不偿失。经过测试初代内存分配器实现过于简单,产生了很多 CPU 消耗,因此必须优化内存分配器的性能。 性能消耗原因 在内存的分配和回收上,使用了简单的循环检测,当内存碎片较多的时候,循环查找消耗非常可观 查找可分配的内存 找到回收的内存偏移 性能优化 很快在... 展开更多

收藏 0
0
置顶
发表了博客
06/03 18:14

海量消息下王者荣耀在 TDMQ Pulsar 的实践

关于王者荣耀 ------ 《王者荣耀》是由腾讯游戏开发的一款运营在Android、IOS平台上的MOBA类手游,属于多人联机在线竞技类游戏,于2015年11月26日在Android、IOS平台上正式公测。上线以来受到广大手游玩家的热爱,目前该游戏在手游排行中处于TOP 1的位置。作为中国最火爆的手机游戏,"王者荣耀",拥有亿级用户体量,千万级日活用户。 而如此庞大用户体量带来的,也是服务端的挑战。如在游戏中产生的海量消息和数据交互,好友上线... 展开更多

收藏 2
0
置顶
发表了博客
05/28 10:08

Bookie存储架构源码剖析|得物技术

一、Pulsar存储架构简析 Pulsar作为新一代MQ中间件,在底层架构设计上充分贯彻了存算分离的思想,broker与Bookeeper两个组件独立部署,前者负责流量的调度、聚合、计算,后者负责数据的存储,这也契合了云原生下k8s大行其道的时代背景。Bookeeper又名Bookie ,是一个单独的存储引擎。在组件关系上,broker深度依赖Bookie,内部集成了 Bookie的client端,broker和Bookie之间基于TCP通信,使用protobuf。 Pulsar整体架构 消息流从... 展开更多

收藏 1
1
置顶
发表了博客
05/23 10:09

DDD领域驱动设计理论|得物技术

一、前言 领域驱动设计简称“DDD”,一套“知易行难”的方法论。同时我所工作的这些年,尤其在某大厂做初创项目的那段时间,经常会产生各式各样的“思想碰撞”,特别在设计中台基建类领域时,为了保证充足的扩展性和稳定性,都要好好的“碰撞”一下。虽然在设计过程中,每个人的想法不尽相同,但是最终达成一致的那一刻,每个人的技术思想都会得到提升。 对于DDD,我的观点是,它是一套非常优秀的能提升个人认知高度的方法论。注... 展开更多

收藏 2
0
置顶
发表了博客
05/19 23:10

线程安全使用 HashMap 的四种技巧

这篇文章,我们聊聊线程安全使用 HashMap 的四种技巧。 ![](https://www.javayong.cn/pics/cache/securityhashmap.png) # 1方法内部:每个线程使用单独的 HashMap 如下图,tomcat 接收到到请求后,依次调用控制器 Controller、服务层 Service 、数据库访问层的相关方法。 每次访问服务层方法 serviceMethod 时,都会在方法体内部创建一个单独的 HashMap , 将相关请求参数拷贝到 HashMap 里,然后调用 DAO 方法进行数据库操作。 ... 展开更多

收藏 2
0
置顶
发表了博客
05/14 19:15

腾讯宣布混元文生图大模型开源: Sora 同架构,可免费商用

5月14日,腾讯宣布旗下的混元文生图大模型全面升级并对外开源,目前已在 Hugging Face 平台及 Github 上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费商用。 这是业内首个中文原生的 DiT 架构文生图开源模型,支持中英文双语输入及理解,参数量15亿。升级后的混元文生图大模型采用了与 sora 一致的 DiT 架构,不仅可支持文生图,也可作为视频等多模态视觉生成的基础。 评测数据显示,最新的腾讯... 展开更多

收藏 0
0
置顶
发表了博客
05/06 16:29

《2024年中国企业级SaaS行业研究报告》发布

近日,艾瑞咨询发布《2024年中国企业级SaaS行业研究报告》,主要内容包括中国企业级SaaS行业的市场趋势、企业实践、行业动态、资本动向、投融资情况、上市情况以及企业应用实践等多个方面的分析和预测。 以下是核心内容的概要: 市场趋势: 2023年中国企业级SaaS市场规模达到888亿元,同比增长13.0%。 预计未来三年市场增速将稳定在15%-20%,复合增速约15%。 企业实践: SaaS应用在企业中的渗透率不断提升。 大型企业倾向于定制... 展开更多

收藏 2
0
置顶
发表了博客
04/23 10:00

你的debug包在Android 14变卡了吗?|得物技术

一、背景 我的App怎么这么卡,谁在代码里下毒了! 有一天突然发现debug包运行变的特别卡顿,经过下面的简单测试发现debug包在Android 14上出了问题。 二、问题排查纪录 常规手段排查 使用了systrace以及内部的debug包 trace工具dutrace进行排查。 结论:CPU空闲,主线程无明显阻塞,看上去就是纯方法执行耗时。 发现怀疑点 第一步排查过程中没有特别大的收获,但是我用dutrace工具排查时发现了一个异常现象。这里简单介绍一下d... 展开更多

收藏 1
1
置顶
发表了博客
04/15 20:00

新特性、新平台、新功能!Anolis OS 8.9 版本正式发布

01 引言 龙蜥操作系统 Anolis OS 8 是龙蜥社区(OpenAnolis)发行的开源 Linux 发行版,支持多计算架构,提供稳定、高性能、安全、可靠的操作系统支持。Anolis OS 8.9 是 Anolis OS 8 发布的第五个小版本,本版本全面支持海光四代 CPU 平台,新增海光、Intel 等平台新功能、新特性,如海光 CSV3 安全虚拟机全功能(启动、迁移)支持;支持 Intel 最新 EMR 和 SPR 架构处理器,增强 QAT/DLB/IAA 等加速能力。龙蜥社区通过软硬协同... 展开更多

收藏 1
1
置顶
发表了博客
04/16 11:21

FiT 基于 Pulsar 在金融在线高并发场景的最佳实践

## 关于 FiT 腾讯金融科技(Tencent Financial Technology)是腾讯公司提供移动支付与金融服务的综合业务平台。业务领域包括移动支付、投资理财、民生服务和国际化等,作为支付业务的基石和底座,FiT 致力于建设和发展完善的支付平台能力,在微信支付、QQ 钱包等移动支付产品中持续进行功能和服务创新。 ![](https://oscimg.oschina.net/oscnet/up-efbcbb7146effe1fd8f5013a83cef418eb0.png) FiT 在日常的交易流程中,如信用卡、... 展开更多

收藏 1
1
置顶
发表了博客
04/12 12:00

爱奇艺APP Android低端机性能优化

01 背景介绍 在智能手机市场上,高端机型经常备受瞩目,但低端机型亦占据了不可忽视的份额。众多厂商为满足低端市场的需求,不断推出低配系列手机。另外过去几年的中高端机型,随着系统硬件的快速迭代,现已经被归类为低端机型。爱奇艺APP拥有庞大的用户基群,其中低端机型用户也占据了相当一部分。低端机优化能给这部分用户带来稳定、流畅、高效的使用体验。下面将从冷启动、流畅性、加载速度三个维度介绍爱奇艺APP对低端机的优... 展开更多

收藏 0
0
置顶
发表了博客
04/11 10:30

百度一站式数据自助分析平台(TDA)建设

作者 | Someday 导读 本文主要介绍了商业智能(BI)以及Turing Data Analysis(TDA)的概念和应用。BI通过收集、整理、分析和呈现数据,帮助企业做出更好的决策和战略规划。然而,传统的BI建设思路存在问题,如业务变更数据需求时需要重新开发,以及分析底层数据的效率低等。因此,TDA作为一站式自助分析平台应运而生,它基于明细数据,按照分析主题建设公共数据集,用户可以自由拖拽分析并一键保存结果,同时也可以分享给其他人查看... 展开更多

收藏 1
0
置顶
发表了博客
04/10 12:11

通俗易懂关于Paxos的直观解释

一、Paxos是什么 在分布式系统中保证多副本数据强一致性算法。 没有paxos的一堆机器, 叫做分布式 有paxos协同的一堆机器, 叫分布式系统 这个世界上只有一种一致性算法,那就是Paxos … - Google Chubby的作者Mike Burrows 其他一致性算法都可以看做Paxos在实现中的变体和扩展,比如raft。 二、先从复制算法说起 防止数据丢失,所以需要数据进行复制备份 2.1 主从异步复制   主节点接到写请求,主节点写本磁盘,主节点应答O... 展开更多

收藏 2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部