精彩博客

Databend 源码阅读:配置管理

> 作者:尚卓燃(PsiACE)澳门科技大学在读硕士,Databend 研发工程师实习生 > > Apache OpenDAL(Incubating) Committer > > https://github.com/PsiACE ![](https://oscimg.oschina.net/oscnet/up-06b1f570a09668e9cc1632a4ed97b52f43a.png) 对于 Databend 这样复杂的数据库服务端程序,往往需要支持大量的可配置选项,以帮助运维人员根据实际使用需要管理和调优系统。 Databend 目前支持三种配置方式:命令行、环境变量和配置...

09/28 09:46
472
0
What's new in Pika v3.5.1

Pika 社区很高兴宣布,我们今天发布已经过我们生产环境验证 v3.5.1 版本 https://github.com/OpenAtomFoundation/pika/releases/tag/v3.5.1 。 该版本不仅做了很多优化工作,还引入了多项新功能。这些新功能包括 动态关闭WAL、ReplicationID 检测是否增量复制、在 K8s 环境上 Pika 服务的自动注册从而实现集群的自组织、以及 exporter 检测集群指标等等,无疑将会让用户享受到更为稳定和高效的 NoSQL 使用体验。 ## 1 新特性 - ...

09/28 14:10
3.1K
0
GaussDB数据库SQL系列-自定义函数

目录 一、前言 二、自定义函数(Function)概述 三、使用场景 四、优缺点 1、数据库中Function的使用优点 2、数据库中Function的使用缺点 五、GaussDB中的Function示例与解析 1、示例一:定义函数为SQL查询 2、示例二:返回一个包含多个输出参数的记录 3、示例三:返回RECORD类型结果集 六、小结 一、前言 华为云GaussDB数据库是一款高性能、高安全性的云原生数据库,在GaussDB中,自定义函数是一个不容忽视的重要功能。本文将简...

09/28 10:35
503
0
四问复合索引,让你的数据查询速度飞起

本文分享自华为云社区 《华为云GES持久化图数据库复合索引介绍》,作者:村头树下。 本文章主要介绍索引的作用,以及如何实现这种功能,希望可以帮助理解索引的作用以及如何使用索引 1. 什么是复合索引 复合索引是用户手动建立的用于加速查询的一类额外数据。详细参数可以参考规格文档 https://support.huaweicloud.com/api-ges/ges_03_0454.html 2. 复合索引能做什么 复合索引有两类。一是label索引,用于加速label的扫描。二是...

09/27 14:28
2.1K
0
定义现代化实时数据仓库,SelectDB 全新产品形态全面发布

导读:9 月 25 日,2023 飞轮科技产品发布会在线上正式召开,本次产品发布会以 “新内核、新图景” 为主题,飞轮科技 CEO 马如悦全面解析了现代化数据仓库的演进趋势,宣布立足于多云之上的 SelectDB Cloud 云服务全面开放,增加了全新的私有仓库(BYOC)产品模式,同时发布了更加自主可控的 SelectDB Enterprise 企业版。飞轮科技联合创始人兼 COO 连林江介绍了基于 SelectDB 的多个场景解决方案以及生态合作模式,来自同盾科技...

09/26 19:10
623
0
GreatSQL一个关于主从复制的限制描述与规避

## 一、背景 分享一个在项目运维中遇到的一个主从复制限制的一个坑,项目的架构为主集群+灾备集群,每个集群为一主两从模式。主集群到灾备集群的同步为主从复制的方式,根据业务需求灾备集群需要忽略系统库跟某些配置表,所以才会触发此限制,而这个限制如果我们之前没有遇到过,那么排查起来也是相对不易的。 ## 二、限制描述 ### 1、主从同步出现报错 ```sql greatsql> show slave status\G *************************** 1. ...

09/27 09:41
325
0
MySQL 权限变更,何时生效?

本文讲述了对三种级别权限的变更后,使其生效的方法。 > 作者:欧阳涵,爱可生团队 DBA 成员,看到下雨知道要打伞的 2.5 次元爱好者~ > > 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源。 > > 本文约 1200 字,预计阅读需要 4 分钟。 # 前言 Uproxy 是爱可生研发的[云树® DMP](https://www.actionsky.com/cloudTreeDMP "云树® DMP") 产品的一个高效的读写中间件,维护了自身到后端 MySQL 数据...

09/26 16:50
1.3K
0
Databend 开源周报第112期

![](https://oscimg.oschina.net/oscnet/up-369962e8ae42641095888cf003c7f62d0e6.png) > [Databend](https://github.com/datafuselabs/databend) 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务: 。 ## What's On In Databend 探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。 ### 理解用户自定义函数(UDF) 用户自定义函数(User-Defined Function,UDF)允许...

09/26 14:22
494
0
GaussDB技术解读系列:数据库迁移创新实践

近日,以“数智赋能 共筑未来”为主题的第14届中国数据库技术大会(DTCC 2023)在北京举行,在GaussDB“五高两易”核心技术,给世界一个更优选择的专场,华为云数据库生态工具研发总监窦德明分享了GaussDB数据库的迁移创新实践。 本篇将分享GaussDB数据库迁移的创新实践。 易迁移能力是企业数据库替换选型的关键考量 数据库的选型除了要看数据库本身的能力外,能否很平滑地从其他数据库迁移到GaussDB,也是很多企业考量的关键因...

09/25 14:17
340
0
产品解读 | 分布式多模数据库:KaiwuDB

1.KaiwuDB 是什么? KaiwuDB 是由浪潮创新研发的一款分布式、多模融合,支持原生 AI 的数据库产品,拥有“就地计算”等核心技术,具备高速写入、极速查询、SQL 支持、随需压缩、智能预计算、订阅发布、集群部署等特性,具有稳定安全、高可用、易运维等特点。 2.KaiwuDB 设计理念 在当今数据爆炸的时代,企业和组织面临着如何处理并用好海量数据的巨大挑战。传统的数据处理方式难以满足激增的数据量及包括极致压缩、实时处理、高...

09/18 14:55
302
0
MySQL事务死锁问题排查 | 京东云技术团队

一、背景 在预发环境中,由消息驱动最终触发执行事务来写库存,但是导致MySQL发生死锁,写库存失败。 com.mysql.jdbc.exceptions.jdbc4.MySQLTransactionRollbackException: rpc error: code = Aborted desc = Deadlock found when trying to get lock; try restarting transaction (errno 1213) (sqlstate 40001) (CallerID: ): Sql: "/* uag::omni_stock_rw;xx.xx.xx.xx:xxxxx;xx.xx.xx.xx:xxxxx;xx.xx.xx.xx:xxxxx;enable */...

09/26 10:01
1.7K
0
Vitess全局唯一ID生成的实现方案 | 京东云技术团队

为了标识一段数据,通常我们会为其指定一个唯一id,比如利用MySQL数据库中的自增主键。 但是当数据量非常大时,仅靠数据库的自增主键是远远不够的,并且对于分布式数据库只依赖MySQL的自增id无法满足全局唯一的需求。因此,产生了多种解决方案,如UUID,SnowFlake等。下文将介绍Vitess是如何解决这个问题的。 Vitess全局唯一id生成 在Vitess实现方案中,每个设置了全局唯一列的表,都会对应一张sequence序列表。例如对于表user,...

09/26 09:51
839
0
MySQL 8 和 MySQL 5.7 在自增计数上的区别

MySQL 8 和 MySQL 5.7 在自增计数上的区别 > 作者:Arunjith Aravindan > > 本文来源:Percona 博客,爱可生开源社区翻译。 > > 本文约 900 字,预计阅读需要 2 分钟。 # Auto-Increment 自增(Auto-Increment)计数功能可以为主键列生成唯一值,这是数据库的一种设计。与 MySQL 5.7 相比,MySQL 8 为自增功能做了一项重要的升级。这个升级可以确保自增计数器的最大值在服务器重启后保持不变,从而为数据一致性和可靠性提供了更...

09/25 18:25
2.7K
0
交易日均千万订单的存储架构设计与实践 | 京东物流技术团队

一、订单系统概述 1.1 业务范围 服务业务线:快递、快运、中小件、大件、冷链、国际、B2B合同物流、CLPS、京喜、三入三出(采购入、退货入、调拨入、销售出、退供出、调拨出)等 1.2 订单中心价值 1、解耦(提升系统稳定性) 原系统:交易与生产耦合在一起,业务新增需求,涉及个上下游多个系统。ECLP、外单、运单、终端系统等。多条业务线的逻辑耦合在一起,单一业务条线的需求改动,涉及原系统中其他业务线的关联改造。 新系统...

09/25 09:49
8.8K
4
单一数据库拆分成几十个数据库的意义

文章来源:微信公众号“四海内皆兄弟” 作者:薛晓刚,Oracle ACE/PG ACE partner/ TiDB MVA、布道师/OCP讲师/ITPUB核心专家/墨天轮MVP/Oracle认证/MySQL认证/PG认证/Oceanbase认证/达梦数据库认证/TiDB认证 我经历过很多项目,从前就一个数据库支持上万并发,存储上百亿行数据的级别是非常容易得。现如今的玩法不是这样了,而是将一台数据库能解决的事情,拆分成几十个数据库。有一次我的群里有人说有个项目将一个Oracle拆了1...

09/25 11:42
1.2W
0
GaussDB技术解读系列:运维自动驾驶探索

近日,在第14届中国数据库技术大会(DTCC2023)的GaussDB“五高两易”核心技术,给世界一个更优选择专场,华为云数据库运维研发总监李东详细解读了GaussDB运维系统自动驾驶探索和实践。 随着企业数字化转型进入深水区,数据库系统越来越复杂,运维团队维护的数据库规模越来越大,传统工具化的运维已无法满足当前运维的要求,数据库运维逐渐向智能化发展。 如何更好地感知和预测数据库故障,进而进行智能诊断、自适应恢复,是我们...

09/22 11:00
407
0
openGemini开源一周年,打造极具影响力的时序数据库技术社区

时间转眼来到9月,openGemini社区迎来了一个重要的里程碑:openGemini开源一周年。 openGemini是华为云数据库创新Lab团队自主设计、研发的一款面向全球开源的云原生分布式时序数据库。 作为一款新兴的时序数据库,openGemini在短短一年内取得了令人瞩目的成就,为开发者和企业提供了强大的时序数据存储和分析解决方案。 在这篇文章中,我们将回顾openGemini的发展历程,探讨其对相关应用领域的影响,并展望未来的发展方向。 op...

09/22 17:01
684
0
实时数仓混沌演练实践

一、背景介绍 目前实时数仓提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟或者异常均可能产生直接或者间接的资产损失。 从投放管理平台的链路全景图来看,实时数仓是不可或缺的一环,可以快速处理海量数据,并迅速分析出有效信息,同时支持投放管理平台的手动控盘。实时节点事故,将可能导致整个投放链路无法正常运行...

09/22 15:08
3.2K
0
网易国产开源分布式存储系统——Curve

导读:Curve 是一款高性能、易运维、云原生的开源分布式存储系统(CNCF Sandbox)。可应用于主流的云原生基础设施平台:对接 OpenStack 平台为云主机提供高性能块存储服务;对接 Kubernetes 为其提供 RWO、RWX 等类型的持久化存储卷;对接 PolarFS 作为云原生数据库的高性能存储底座,完美支持云原生数据库的存算分离架构。 Curve 亦可作为云存储中间件使用 S3 兼容的对象存储作为数据存储引擎,为公有云用户提供高性价比的共享文...

09/22 10:41
1.3W
0
慢SQL原因分析之索引失效 | 京东物流技术团队

现象 最近收到一个慢sql工单,慢sql大概是这样:“select xxx from tabel where type = 1”。 咦,type字段明明有索引啊,为啥是慢sql呢? 原因 通过执行explain,发现实际上数据库执行了全表扫描,从而被系统判定为慢sql。这时有一定开发经验的同事会说:“字段区分度不够,这种字段作单独索引是没有意义的”。那么为什么会产生索引失效这种情况呢?索引失效都有哪些情况呢? 索引失效概括 下面总结了若干索引失效的情况: 不满...

09/21 10:05
1.8K
0

没有更多内容

加载失败,请刷新页面

四问复合索引,让你的数据查询速度飞起

本文分享自华为云社区 《华为云GES持久化图数据库复合索引介绍》,作者:村头树下。 本文章主要介绍索引的作用,以及如何实现这种功能,希望可以帮助理解索引的作用以及如何使用索引 1. 什么...

09/27 14:28
2.1K
0
小程序编译器性能优化之路

作者 | 马可 导读 小程序编译器是百度开发者工具中的编译构建模块,用来将小程序代码转换成运行时代码。旧版编译器由于业务发展,存在编译慢、内存占用高的问题,我们对编译器做了一次大规模...

09/26 13:47
4.9K
0
代码层面探索前端性能 | 京东云技术团队

前言 最近在做性能优化,具体优化手段,网上铺天盖地,这里就不重复了。 性能优化可分为以下几个维度:代码层面、构建层面、网络层面。 本文主要是从代码层面探索前端性能,主要分为以下 4 ...

09/26 09:45
2.1K
0
交易日均千万订单的存储架构设计与实践 | 京东物流技术团队

一、订单系统概述 1.1 业务范围 服务业务线:快递、快运、中小件、大件、冷链、国际、B2B合同物流、CLPS、京喜、三入三出(采购入、退货入、调拨入、销售出、退供出、调拨出)等 1.2 订单中心...

09/25 09:49
8.8K
4
实时数仓混沌演练实践

一、背景介绍 目前实时数仓提供的投放实时指标优先级别越来越重要,不再是单独的报表展示等功能,特别是提供给下游规则引擎的相关数据,直接对投放运营的广告投放产生直接影响,数据延迟或者...

09/22 15:08
3.2K
0
深入浅出线程池 | 京东云技术团队

一、线程 1、什么是线程 线程(thread)是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际 运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发...

09/22 09:29
7.7K
3
十行代码让日志存储降低80%

前言 履约管理是一个面向物流商家的OMS工作台,自从初代目把架子搭起来之后,就没有继续投入了,后来一直是合作伙伴同学在负责日常维护和需求支撑。经过几年的野蛮生长,系统已经杂草丛生,乱...

09/21 15:54
1.2W
2
极致优化 SSD 并行读调度

作者 | GL 导读 提升检索漏斗一致性,要求在粗排阶段引入更丰富的信号,这些信号的需求量已经远远超出了内存的承受能力。为此,我们考虑引入基于NVMe SSD的分层存储。本文详细探讨了一种长尾...

09/14 10:24
7.8K
2
一文探究系统分析与设计的逻辑性

一、系统分析与设计的逻辑性框架 在日常的工作中,「软件分析」与「软件设计」这样的词眼经常听到,然而要真正理解「软件分析」和「软件设计」的本质是比较难的,它依赖极强的工作经验,又加...

09/12 13:54
3.4K
2
AI文本创作在百度App发文的实践

作者 | 内容生态端团队 导读 大语言模型(LLM)指包含数百亿(或更多)参数的语言模型,这些模型通常在大规模数据集上进行训练,以提高其性能和泛化能力。在内容创作工具接入文心一言AI能力后...

09/12 09:53
2.5K
0
算法AB实验平台进化历程和挑战

1 AB平台简介 AB实验平台这几年在互联网公司得到了越来越广泛的应用,采用AB实验来评估产品和技术迭代效果也成为主流的业务新功能效果评估方式,数据驱动的文化在这几年得到了不少公司的广泛...

09/11 14:43
1.8K
0
jdk17下netty导致堆内存疯涨原因排查 | 京东云技术团队

背景: 介绍 天网风控灵玑系统是基于内存计算实现的高吞吐低延迟在线计算服务,提供滑动或滚动窗口内的count、distinctCout、max、min、avg、sum、std及区间分布类的在线统计计算服务。客户端...

09/05 09:52
2.5W
5
揭秘编码器与解码器语言模型

Transformer架构的问世标志着现代语言大模型时代的开启。自2018年以来,各类语言大模型层出不穷。 通过LLM进化树(github.com/Mooler0410/LLMsPracticalGuide)来看,这些语言模型主要分为三...

09/05 08:08
2.5K
0
基于组合优化的3D家居布局生成看千禧七大数学难题之NP问题

本文探讨了运筹学和组合优化方法在3D家居布局生成中的应用,并调研了AI生成3D场景布局的最新方法。文中结合了家居家装业务的实际应用场景,从算法建模和计算复杂度的角度上阐述了室内设计的布...

09/04 16:20
2.7K
0
稳定性建设框架 | 京东物流技术团队

一、为什么要做稳定性建设 1、从熵增定律引出稳定性建设的必要性 物理学上,用“熵”来描述一个体系的混乱程度。卡尔·弗里德曼提出熵增定律,他认为在一个封闭的系统内,如果没有外力的作用...

09/01 09:51
6.7K
1
跑AI大模型的K8s与普通K8s有什么不同?

本文分享自华为云社区《跑AI大模型的K8s与普通K8s有什么不同?》,作者:tsjsdbd。 得益于AI开始火的时候,云原生体系已经普及,所以当前绝大多数的AI底层都是基于Kubernetes集群进行的资源管...

08/31 16:22
9K
0
得物推荐引擎 - DGraph

1 前言 随着得物业务规模的不断增加,推荐业务也越来越复杂,对推荐系统也提出了更高的要求。我们于2022年下半年启动了DGraph的研发,DGraph是一个C++项目,目标是打造一个高效易用的推荐引擎...

08/29 14:31
9.5K
0
三个经典示例解释什么是「零知识证明」

原文:Zero-knowledge proofs explained in 3 examples 作者:Tian Daphne 翻译整理:开放隐私计算 & PrimiHub 零知识证明(Zero-knowledge proof)是一种在不泄露陈述内容的情况下证明陈述有效...

08/29 10:43
9.2K
3
百度垂类离线计算系统发展历程

作者 | 弘远君 导读 本文以百度垂类离线计算系统的演进方向为主线,详细描述搜索垂类离线计算系统发展过程中遇到的问题,以及对应的解决方案。架构演进过程中一直奉行“没有最好的架构,只有...

08/29 10:22
2.6K
0
库存预占架构升级方案设计-交易库存中心 | 京东物流技术团队

背景介绍 伴随物流行业的迅猛发展,一体化供应链模式的落地,对系统吞吐、系统稳定发出巨大挑战,库存作为供应链的重中之重表现更为明显。近三年数据可以看出: 接入商家同比增长37.64%、货品...

08/23 09:45
8.4K
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部