精彩博客

单一数据库拆分成几十个数据库的意义

文章来源:微信公众号“四海内皆兄弟” 作者:薛晓刚,Oracle ACE/PG ACE partner/ TiDB MVA、布道师/OCP讲师/ITPUB核心专家/墨天轮MVP/Oracle认证/MySQL认证/PG认证/Oceanbase认证/达梦数据库认证/TiDB认证 我经历过很多项目,从前就一个数据库支持上万并发,存储上百亿行数据的级别是非常容易得。现如今的玩法不是这样了,而是将一台数据库能解决的事情,拆分成几十个数据库。有一次我的群里有人说有个项目将一个Oracle拆了1...

昨天 11:42
7.7K
0
禅道创始人王春生:关于开源软件的七大错误认知

本文作者:王春生 作者自我介绍:我是春哥,禅道软件公司的创始人,二十年的IT老兵,14年的创业者。喜欢编码,喜欢做产品,所以我用了代码之歌做我的公众号的名字。我会持续地更新关于企业管理、产品管理、项目管理、团队建设、创业、学习型组织、企业文化、开源软件等方面话题的实践和思考,欢迎大家和我讨论交流。 开源软件已经像水和电一样融入到了我们日常的生活中,但我们对开源软件还有很多错误的认知。我尝试站在开源软件...

昨天 10:59
1W
4
如何在uniapp框架中集成H.265流媒体视频播放器EasyPlayer.js?

H5无插件流媒体播放器EasyPlayer属于一款高效、精炼、稳定且免费的流媒体播放器,可支持多种流媒体协议播放,可支持H.264与H.265编码格式,性能稳定、播放流畅,能支持WebSocket-FLV、HTTP-FLV,HLS(m3u8)、WebRTC等格式的视频流,并且已实现网页端实时录像、在iOS上实现低延时直播等功能。 安防视频监控EasyPlayer是一个支持多框架集成的播放器,我们在前期的文章中也介绍了如何在React框架下集成流媒体视频播放器EasyPlaye...

09/19 10:01
105
0
两个例子带你入门 Disruptor

Disruptor 是英国外汇交易公司 LMAX 开发的一个高性能队列。很多知名开源项目里,比如 canal 、log4j2、 storm 都是用了 Disruptor 以提升系统性能 。 这篇文章,我们通过两个例子一步一个脚印帮助同学们入门 Disruptor 。 # 1 环形缓冲区 下图展示了 Disruptor 的流程图 。 ![](https://javayong.cn/pics/cache/disruptor.png?b=1) 和线程池机制非常类似, Disruptor 也是非常典型的**生产者/消费者模式**。线程池存储提交任务...

09/19 12:57
1.1K
0
DDD&微服务实战第八讲 - Repository模式的妙用

大家好,我是飘渺。今天我们继续更新DDD(领域驱动设计) & 微服务系列。 在之前的文章中,我们探讨了如何在DDD中结构化应用程序。我们了解到,在DDD中通常将应用程序分为四个层次,分别为用户接口层(Interface Layer),应用层(Application Layer),领域层(Domain Layer),和基础设施层(Infrastructure Layer)。此外,在用户注册的主题中,我们简要地提及了资源库模式。然而,那时我们并没有深入探讨。今天,我将为大家...

09/19 15:55
1.6K
0
腾讯云微服务平台 TSF 异地多活单元化能力重磅升级

## 导语 2023腾讯全球数字生态大会已于9月7-8日完美落幕,40+专场活动展示了腾讯最新的前沿技术、核心产品、解决方案。 微服务与消息队列专场,腾讯云微服务平台 TSF 产品经理张桢带来了《腾讯云微服务平台 TSF 异地多活单元化能力重磅升级》的精彩演讲。本篇文章详细回顾了腾讯云微服务单元化最佳实践。 ## 单元化架构的概述 ### 什么是单元化 从目前的服务化架构看起,传统的架构下服务是分层的,每一层使用不同的分区算法,每...

09/19 10:37
460
0
文盘Rust -- tonic-Rust grpc初体验 | 京东云技术团队

gRPC 是开发中常用的开源高性能远程过程调用(RPC)框架,tonic 是基于 HTTP/2 的 gRPC 实现,专注于高性能、互操作性和灵活性。该库的创建是为了对 async/await 提供一流的支持,并充当用 Rust 编写的生产系统的核心构建块。今天我们聊聊通过使用tonic 调用grpc的的具体过程。 工程规划 rpc程序一般包含server端和client端,为了方便我们把两个程序打包到一个工程里面 新建tonic_sample工程 cargo new tonic_sample Cargo.t...

09/18 09:32
556
0
deepin-IDE 官宣背后:早已研发多年,惊喜还在后头

9月4日,deepin 社区正式官宣 deepin-IDE(深度集成开发环境)—— 由深度公司自主研发,具有多语言、跨平台兼容特性的轻量级集成开发环境。 初步看上去,功能还挺齐全的,除了包含 IDE 常用功能,如智能编辑器、高度可扩展的命令系统、工程管理、构建管理系统、插件系统等之外,还支持多种兼容协议、多种开发语言、代码版本管理集成、低开销的实时性能分析工具等。总体而言,IDE 常见功能都在表里: 一石激起千层浪,不声不响间...

09/14 18:49
2.5W
0
重新认识架构—不只是软件设计

前言 什么是架构? 通常情况下,人们对架构的认知仅限于在软件工程中的定义:架构主要指软件系统的结构设计,比如常见的SOLID准则、DDD架构。一个良好的软件架构可以帮助团队更有效地进行软件开发,降低维护成本,提高系统的可扩展性和可维护性。这里的架构定义有更多元化的理解:架构不仅是对软件开发设计和流程规范的定义,也包含了参与架构设计的人员、以及项目过程中和架构有关的活动,都可以称为架构。 从广义角度来理解架...

09/15 17:05
1.9W
5
极致优化 SSD 并行读调度

![](https://oscimg.oschina.net/oscnet/up-5f80c0eed360ae1f050ab7c031007ea86c7.png) 作者 | GL >导读 > >提升检索漏斗一致性,要求在粗排阶段引入更丰富的信号,这些信号的需求量已经远远超出了内存的承受能力。为此,我们考虑引入基于NVMe SSD的分层存储。本文详细探讨了一种长尾可控的方法论,以及在这个方法论的约束下,如何极致优化读调度。这些方法对于实施类似LargerThanMem的技术也将提供有价值的启发。 >_全文10593...

09/14 10:24
7.4K
2
DPText-DETR: 基于动态点query的场景文本检测,更高更快更鲁棒 | 京东探索研究院

针对场景文本检测任务,近期基于DEtection TRansformer (DETR) 框架预测控制点的研究工作较为活跃。在基于DETR的检测器中,query的构建方式至关重要,现有方法中较为粗糙的位置先验信息构建导致了较低的训练效率以及性能。除此之外,在如何监督模型方面,之前工作中使用的点标签形式影射了人的阅读顺序,本文观察到这实际上会降低检测器的鲁棒性。 为解决以上问题,本文提出了动态点场景文本检测模型DPText-DETR。**①对于query...

09/11 09:12
103
0
分拣平台API安全治理实战 | 京东物流技术团队

导读 本文主要基于京东物流的分拣业务平台在生产环境遇到的一些安全类问题,进行定位并采取合适的解决方案进行安全治理,引出对行业内不同业务领域、不同类型系统的安全治理方案的探究,最后笔者也基于自己在金融领域的经验进行了关于API网关治理方案的分享。 写在前面 随着互联网应用的多元化、复杂化、服务化成为显著趋势,越来越多场景中的应用架构采用应用编程接口(API)作为应用间数据传输和控制流程。同时API接口负责传输...

09/12 09:10
326
0
Service Mesh:探索分布式系统的幻觉与未来

在现代的微服务架构中,应用程序网络是实现微服务之间分布式通信的关键。无论是在单个 Kubernetes 集群中部署还是跨多个集群和不同基础设施环境中部署,都需要建立一个强大的应用程序网络,让微服务能够相互交流。这种通信不仅需要高效可靠,还需要具备适应各种逆境的韧性。 除了建立应用程序网络,我们还需要监控微服务之间的通信,即可观察性(observability)。在微服务通信中,可观察性非常重要,可以了解微服务之间的相互作...

09/10 14:16
472
0
文盘Rust——子命令提示,提高用户体验 | 京东云技术团队

上次我们聊到 CLI 的领域交互模式。在领域交互模式中,可能存在多层次的子命令。在使用过程中如果全评记忆的话,命令少还好,多了真心记不住。频繁 --help 也是个很麻烦的事情。如果每次按 'tab' 键就可以提示或补齐命令是不是很方便呢。这一节我们就来说说 'autocommplete' 如何实现。我们还是以interactcli-rs中的实现来解说实现过程 实现过程 其实,rustyline 已经为我们提供了基本的helper功能框架,其中包括了completer。我...

09/08 09:30
491
0
遛狗智能检测算法详解:如何利用AI技术监管户外遛狗不牵绳行为?

根据最新修订发布的《中华人民共和国动物防疫法》规定:遛狗不拴绳,养狗不办证、未定期接种疫苗等行为都是违法行为。作为一个合格的“铲屎官"出门遛狗一定要牵好狗绳,保护他人和爱犬的安全。但就算法律明文规定,还是有很多人无视法律法规,在外遛狗不牵绳,任其自由活动。 在日常管理中,遛狗不拴绳这一行为难以得到有效监控,普遍存在“发现难、取证难”的情况。一是遛狗场地范围大、时间长,无法依靠人力巡逻监控;一是即使...

09/07 10:00
254
0
快速理解DDD领域驱动设计架构思想-基础篇 | 京东物流技术团队

# 1 前言 本文与大家一起学习并介绍领域驱动设计(Domain Drive Design) 简称DDD,以及为什么我们需要领域驱动设计,它有哪些优缺点,尽量用一些通俗易懂文字来描述讲解领域驱动设计,本篇并不会从深层大论述讲解落地实现,这些大家可以在了解入门后再去深层次学习探讨或在后续进阶和高级篇了解,希望通过本文介绍,可以让大家快速了解DDD并有一个基础的认知,DDD本身就是理论的集合,很难在不积累理论情况下来有效的实施DDD,仅...

09/06 09:48
953
0
京东搜索EE链路演进 | 京东云技术团队

导读 搜索系统中容易存在头部效应,中长尾的优质商品较难获得充分的展示机会,如何破除系统的马太效应,提升展示结果的丰富性与多样性,助力中长尾商品成长是电商平台搜索系统的一个重要课题。其中,搜索EE系统在保持排序结果基本稳定的基础上,通过将优质中长尾商品穿插至排序结果中将优质商品动态展示给用户,提升用户体验与搜索结果丰富性,是破除马太效应的一大助力。 本文将从搜索EE近期的全量迭代出发,展现其链路演进的整...

09/04 10:35
991
1
视频云存储/安防监控/视频AI智能分析:消防器材缺失检测功能详解

在我们的日常生活中,消防器材是必不可少的,无论是在学校、园区还是工厂里,都需要摆放消防器材,做好防范措施,降低安全隐患。但有时也需防备消防器材被人为挪动甚至破坏,在危急时刻无法发挥作用。TSINGSEE青犀AI边缘计算网关硬件——智能分析网关消防器材缺失检测算法就能很好地预防这种情况的发生。 TSINGSEE青犀AI边缘计算网关硬件——智能分析网关消防器材缺失检测算法可以有效地对消防设备设施起到监管作用,只需划定区...

09/01 16:16
1K
0
稳定性建设框架 | 京东物流技术团队

# 一、为什么要做稳定性建设 ### 1、从熵增定律引出稳定性建设的必要性 物理学上,用“熵”来描述一个体系的混乱程度。卡尔·弗里德曼提出**熵增定律**,他认为在一个封闭的系统内,如果没有外力的作用,一切物质都会从有序状态向无序状态发展。 如果我们不希望系统变混乱,有什么办法呢?答案是对抗熵增定律,对抗熵增定律的方法是借助外力,让系统从混乱回归有序。举个例子: 下图中,我们使用“熵”值来衡量“骰子系统”的混...

09/01 09:51
6.5K
1
ELT已死,EtLT才是现代数据处理架构的终点!

![file](https://oscimg.oschina.net/oscnet/up-3e599e652df2db4d22d2f8697edd16b8073.jpg) 提到数据处理,经常有人把它简称为“ETL”。但仔细说来,数据处理经历了ETL、ELT、XX ETL(例如,Reverse ETL、Zero-ETL)到现在流行的EtLT架构几次更迭。目前大家使用大数据Hadoop时代,主要都是ELT方式,也就是加载到Hadoop里进行处理,但是实时数据仓库、数据湖的流行,这个ELT已经过时了,EtLT才是实时数据加载到数据湖和实时数据仓...

08/31 11:47
4.2K
1

没有更多内容

加载失败,请刷新页面

交易日均千万订单的存储架构设计与实践 | 京东物流技术团队

一、订单系统概述 1.1 业务范围 服务业务线:快递、快运、中小件、大件、冷链、国际、B2B合同物流、CLPS、京喜、三入三出(采购入、退货入、调拨入、销售出、退供出、调拨出)等 1.2 订单中心...

昨天 09:49
2K
2
实时数仓混沌演练实践

一、背景介绍 目前实时数仓提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟或者...

09/22 15:08
2.4K
0
深入浅出线程池 | 京东云技术团队

一、线程 1、什么是线程 线程(thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际 运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发...

09/22 09:29
5.8K
2
十行代码让日志存储降低80%

前言 履约管理是一个面向物流商家的OMS工作台,自从初代目把架子搭起来之后,就没有继续投入了,后来一直是合作伙伴同学在负责日常维护和需求支撑。经过几年的野蛮生长,系统已经杂草丛生,乱...

09/21 15:54
8.4K
2
极致优化 SSD 并行读调度

作者 | GL 导读 提升检索漏斗一致性,要求在粗排阶段引入更丰富的信号,这些信号的需求量已经远远超出了内存的承受能力。为此,我们考虑引入基于NVMe SSD的分层存储。本文详细探讨了一种长尾...

09/14 10:24
7.4K
2
一文探究系统分析与设计的逻辑性

一、系统分析与设计的逻辑性框架 在日常的工作中,「软件分析」与「软件设计」这样的词眼经常听到,然而要真正理解「软件分析」和「软件设计」的本质是比较难的,它依赖极强的工作经验,又加...

09/12 13:54
3.3K
2
AI文本创作在百度App发文的实践

作者 | 内容生态端团队 导读 大语言模型(LLM)指包含数百亿(或更多)参数的语言模型,这些模型通常在大规模数据集上进行训练,以提高其性能和泛化能力。在内容创作工具接入文心一言AI能力后...

09/12 09:53
2.5K
0
算法AB实验平台进化历程和挑战

1 AB平台简介 AB实验平台这几年在互联网公司得到了越来越广泛的应用,采用AB实验来评估产品和技术迭代效果也成为主流的业务新功能效果评估方式,数据驱动的文化在这几年得到了不少公司的广泛...

09/11 14:43
1.7K
0
jdk17下netty导致堆内存疯涨原因排查 | 京东云技术团队

背景: 介绍 天网风控灵玑系统是基于内存计算实现的高吞吐低延迟在线计算服务,提供滑动或滚动窗口内的count、distinctCout、max、min、avg、sum、std及区间分布类的在线统计计算服务。客户端...

09/05 09:52
2.4W
5
基于组合优化的3D家居布局生成看千禧七大数学难题之NP问题

本文探讨了运筹学和组合优化方法在3D家居布局生成中的应用,并调研了AI生成3D场景布局的最新方法。文中结合了家居家装业务的实际应用场景,从算法建模和计算复杂度的角度上阐述了室内设计的布...

09/04 16:20
2.7K
0
稳定性建设框架 | 京东物流技术团队

一、为什么要做稳定性建设 1、从熵增定律引出稳定性建设的必要性 物理学上,用“熵”来描述一个体系的混乱程度。卡尔·弗里德曼提出熵增定律,他认为在一个封闭的系统内,如果没有外力的作用...

09/01 09:51
6.5K
1
跑AI大模型的K8s与普通K8s有什么不同?

本文分享自华为云社区《跑AI大模型的K8s与普通K8s有什么不同?》,作者:tsjsdbd。 得益于AI开始火的时候,云原生体系已经普及,所以当前绝大多数的AI底层都是基于Kubernetes集群进行的资源管...

08/31 16:22
8.6K
0
得物推荐引擎 - DGraph

1 前言 随着得物业务规模的不断增加,推荐业务也越来越复杂,对推荐系统也提出了更高的要求。我们于2022年下半年启动了DGraph的研发,DGraph是一个C++项目,目标是打造一个高效易用的推荐引擎...

08/29 14:31
9.1K
0
三个经典示例解释什么是「零知识证明」

原文:Zero-knowledge proofs explained in 3 examples 作者:Tian Daphne 翻译整理:开放隐私计算 & PrimiHub 零知识证明(Zero-knowledge proof)是一种在不泄露陈述内容的情况下证明陈述有效...

08/29 10:43
8.9K
3
百度垂类离线计算系统发展历程

作者 | 弘远君 导读 本文以百度垂类离线计算系统的演进方向为主线,详细描述搜索垂类离线计算系统发展过程中遇到的问题,以及对应的解决方案。架构演进过程中一直奉行“没有最好的架构,只有...

08/29 10:22
2.6K
0
库存预占架构升级方案设计-交易库存中心 | 京东物流技术团队

背景介绍 伴随物流行业的迅猛发展,一体化供应链模式的落地,对系统吞吐、系统稳定发出巨大挑战,库存作为供应链的重中之重表现更为明显。近三年数据可以看出: 接入商家同比增长37.64%、货品...

08/23 09:45
8.1K
0
聊聊数据库中的烂索引

背景 索引是数据库中用于加速查询的常用组件,它通过对数据冗余和重组织来加速SQL查询。通常来说,恰当的索引可以提升系统的查询性能。 关于索引存在一些误解,如:索引总是能提升查询性能,...

08/21 15:00
1.2W
0
MySQL 和 MariaDB 版本管理的历史背景及差异

在本文中,我们将探讨 MySQL 和 MariaDB 服务生命周期和版本管理方式两个方面目前的状况及相关历史背景。 作者:Peter Zaitsev 本文来源:Percona 官网博客 爱可生开源社区出品。 需要说明的...

08/21 14:52
1.1W
0
ByteFUSE分布式文件系统的演进与落地

原文链接:ByteFUSE分布式文件系统的演进与落地 导语:ByteFUSE是字节ByteNAS团队和STE团队合作研发的一个项目,因其具有高可靠性、极致的性能、兼容Posix语义以及支持丰富的使用场景等优点而...

08/18 11:24
4.8K
0
一条提示词等同于多少个数据点?

数据点(data points)通常用于描述单个信息单位或观测值,在本文中,它被用来量化“提示词”方法相对于传统方法的效率和效果。文章比较了两种训练(微调)机器学习模型的方法:一种是使用提...

08/17 00:00
4.2K
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部