数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

加载中
置顶
发表了博客
04/07 10:25

数栈SQL优化案例:OR条件优化

本文整理自:袋鼠云技术荟 | SQL优化案例(2):OR条件优化 数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:https://github.com/DTStack/flinkx FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~ 在MySQL中,同样的查询... 展开更多

收藏 11
0
置顶
技术主管
发表了博客
03/16 16:16

MySQL 要分表分库怎么进行数据切分?

原文地址:MySQL 要分表分库怎么进行数据切分? 数据库分布式核心内容无非就是数据切分(Sharding)以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数据库中,使得单一数据库中的数据量变小,通过扩充主机的数量缓解单一数据库的性能问题,从而达到提升数据库操作性能的目的。 数据切分根据其切分类型,可以分为两种方式:垂直(纵向)切分和水平(横向)切分。 1.垂直(纵向)切分 垂直切分常见有垂直分库和垂... 展开更多

收藏 6
1
置顶
发表了博客
02/26 16:11

SQL 查找是否“存在“,别再 count 了,很耗费时间的!

- 目前多数人的写法 - 优化方案 - 总结 根据某一条件从数据库表中查询 『有』与『没有』,只有两种状态,那为什么在写SQL的时候,还要SELECT count(*) 呢? 无论是刚入道的程序员新星,还是精湛沙场多年的程序员老白,都是一如既往的count 目前多数人的写法 多次REVIEW代码时,发现如现现象: 业务代码中,需要根据一个或多个条件,查询是否存在记录,不关心有多少条记录。普遍的SQL及代码写法如下 #### SQL写法: ``` SELECT co... 展开更多

收藏 5
1
置顶
发表了博客
02/25 08:42

喜忧参半的SQL Server触发器

SQL Server触发器在非常有争议的主题。它们能以较低的成本提供便利,但经常被开发人员、DBA误用,导致性能瓶颈或维护性挑战。 本文简要回顾了触发器,并深入讨论了如何有效地使用触发器,以及何时触发器会使开发人员陷入难以逃脱的困境。 虽然本文中的所有演示都是在SQL Server中进行的,但这里提供的建议是大多数数据库通用的。触发器带来的挑战在MySQL、PostgreSQL、MongoDB和许多其他应用中也可以看到。 什么是触发器 可以在... 展开更多

收藏 0
0
置顶
后端工程师
发表了博客
02/24 14:47

正排倒排,不是Mysql的排序的全部

引言 春节前一个悠闲的上午,小航送了我,一袋每日坚果,他看我吃的正香,慢慢问道:”温哥,mysql的排序,有什么要注意的吗,不就是正排倒排吗?” 我一听他问我的问题,顿感每日坚果不香了,但是为了技术(mainzi),我装作大师的说道: “正排倒排,当然不是全部,你最少要知道,2个参数,1个优化,一种特殊情况” 注:东西不能乱吃啊 两个核心参数 sort_buffer_size 决定内排,外排。内排就是走内存,外排就是采用归并排序走... 展开更多

收藏 8
0
置顶
发表了博客
02/23 16:51

SQL Server中DELETE和TRUNCATE的区别

DELETE和TRUNCATE语句之间的区别是求职面试中最常见的问题之一。这两条语句都可以从表中删除数据。然而,也有不同之处。 本文将重点讨论这些差异,并通过实例加以说明。 TRUNCATE DELETE 从表中删除所有记录。我们不能使用WHERE删除特定的记录 删除所有记录,并可以使用WHERE删除特定记录。 不触发DELETE触发器。 触发DELETE触发器 重置标识列 不重置标识列 由于日志很少,所以速度更快。 由于执行了表扫描,以计算要删除的行数... 展开更多

收藏 0
0
置顶
发表了博客
02/08 14:02

MySQL 排序的艺术:你真的懂 Order By 吗?

❝ 作者:宫水三叶。现微软工程师(Java 后端方向),退役 OIer。 更多和 MySQL 面试 & 算法相关内容可点击「这里」关注 ~ 更好的阅读体验,请 点击 查看原文 转载需关注公众号联系开白名单 ~ ❞ 前言 业务中的各种查询通常对应了用户所看到的各项列表,列表一般是根据某个维度进行排序。 换句话说,业务中使用 SELECT 语句的时候除了不可避免的搭配 WHERE 以外,还会配合 ORDER BY 进行使用。 今天来好好聊聊 MySQL 的 ORDER ... 展开更多

收藏 23
7
置顶
发表了博客
02/08 11:46

like动态查询结果集的实现!

有这么一个需求,有个sys_org表 可见这个code可以like查询所有子集没有什么问题,就是根据一个code值查询这个code自己包括所有子集,这时候只需要一个like就能很简单的查询出来, 但是现在有个中间表paper_org如下结构, 首先根据试卷id查出所有的code来,然后再根据这些code查询出所有子集来,这时候再用like会直接报错! 那么该怎么查询呢,第一种先查询所有的code来然后再遍历查询所有子集可以实现,但是能直接一次查询出来么... 展开更多

收藏 2
0
置顶
发表了博客
02/06 13:02

卧槽,sql注入竟然把我们的系统搞挂了

前言 最近我在整理安全漏洞相关问题,准备在公司做一次分享。恰好,这段时间团队发现了一个sql注入漏洞:在一个公共的分页功能中,排序字段作为入参,前端页面可以自定义。在分页sql的mybatis mapper.xml中,order by字段后面使用$符号动态接收计算后的排序参数,这样可以实现动态排序的功能。 但是,如果入参传入: id; select 1 -- 最终执行的sql会变成: select * from user order by id; select 1 -- limit 1,20 --会...... 展开更多

收藏 70
6
置顶
发表了博客
02/06 15:54

DQL语言

基础查询 select 查询列表 from 表名; 类似于System.out.println(打印东西); 特点: 查询列表可以是:表中的字段、常量值、表达式、函数 查询的结果可以是一个虚拟表格; #使用myemployees数据库 USE myemployees; #查询表中的单个字段 SELECT last_name FROM employees; #查询表中多个字段 SELECT last_name,salary,email FROM employees; #查询表中的所有字段 SELECT * FROM employees; #查询常量 # 注意:...... 展开更多

收藏 2
0
置顶
发表了博客
02/05 16:00

「分布式技术专题」剖析一个 SQL 的解析及执行过程

无所不能的程序猿吐出一句魔法 SQL ,刹那间,IO 犹如千军万马奔流不息,内存似鲸吸牛饮,海纳百川,CPU 更是狂暴着以 360% 负荷高速运转,瞬间,一个美妙的身影出现了…… 一条SQL的背后,数据库到底做了什么,本文将深入浅出的聊一下 SQL 的解析和执行过程。 1. SQL简介 SQL 是上世纪 70 年代,基于关系型数据库发明的一种简洁的数据操作语言。 SQL 按功能可以分为以下三种类型: 业务模型与 SQL 的关系:SQL 是业务本质的浓缩... 展开更多

收藏 9
8
置顶
发表了博客
01/28 19:49

数据库查询性能优化指南

数据库查询性能优化一直是程序员绕不开的话题,当我们遇到业务刷新报表缓慢或者查询获取结果延迟太大,可以采用提问法来思考如何进行优化。 1. 什么样的环境 硬件环境 query执行的速度和我们的硬件息息相关,当前用的什么样的CPU,有多少核多少线程, 内存有多大都直接影响了运算速度, 磁盘是SSD还是HDD,网卡什么速率都直接影响了我们数据读取的时延 软件环境 软件环境虽然不像硬件一样,各种参数看的见摸得着,但仍然影响着我... 展开更多

收藏 4
1
置顶
发表了博客
2020/12/08 11:18

大幅降低存储成本,Elasticsearch可搜索快照是如何办到的?

导语 | Elasticsearch 7.10 版本最近发布,该版本有一个重磅特性:Searchable snapshots (可搜索快照功能),可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢,下面就让我们来一探究竟吧!本文作者:高斌龙,腾讯云大数据研发工程师。 一、功能介绍 在 Searchable snapshots 可搜索快照功能发布之前,通过调用 _snapshot API 对索引打的快照,不管是存储在 S3 还是 HDFS 或者是腾讯云的对... 展开更多

收藏 2
1
置顶
发表了博客
01/28 09:26

干货丨如何使用DolphinDB进行淘宝用户行为分析

DolphinDB是新一代的高性能分布式时序数据库(time-series database),同时具有丰富的数据分析和分布式计算功能。本教程使用DolphinDB对淘宝APP的用户行为数据进行分析,进一步分析业务问题。 数据来源:User Behavior Data from Taobao for Recommendation-数据集-阿里云天池 本教程中,我们把DolphinDB database以及使用的数据集封装到docker中。docker中包含了DolphinDB的分布式数据库dfs://user_behavior 。它包含一张表use... 展开更多

收藏 0
0
置顶
高级程序员
发表了博客
01/27 16:05

Group by隐式排序,一个优美的BUG

  你在使用MySQL的Group by分组时,是否发现分组后的数据都是有序的?其实,在MySQL8.0版本前,优化器在分组查询时都会进行隐式排序。那既然隐式排序为什么还要保留Order by?隐式排序的目的又是什么呢?让我们一起来看看。 一、背景小故事   年前我们换了领导。俗话说,新官上任干总爱干傻事儿,这不,领导要拥抱新事物,要求我们更新项目MySQL版本,从MySQL5.7更新到MySQL8.0。不知是MySQL5.7不香了,还是领导你眼光高了?... 展开更多

收藏 2
1
置顶
发表了博客
01/25 09:24

干货丨时序数据库DolphinDB横截面引擎教程

在处理实时流数据时,不仅需要按照时间做纵向聚合计算(时间序列聚合引擎),还需要对最新的数据做横向比较和计算,如金融里对所有股票的最新报价求百分位、工业物联网中计算一批设备的温度均值等。DolphinDB database 提供了横截面聚合引擎,可以对流数据中所有分组的最新数据做聚合运算。 横截面引擎的主体分为两部分:横截面数据表和计算引擎。横截面数据是横截面引擎的内部表,保存了所有分组最新的截面数据。计算引擎是一组... 展开更多

收藏 2
0
置顶
发表了博客
01/21 10:59

别在用offset和limit分页了

“ 终于要对MySQL优化下手了,本文将对分页进行优化说明,希望可以得到一个合适你的方案” 前言 分页这个话题已经是老生常谈了,但是有多少小伙伴一边是既希望优化的自己的系统,另一边在项目上还是保持自己独有的个性。 有个性 优化这件事是需要自己主动行动起来的,自己搞测试数据,只有在测试的路上才会发现更多你未知的事情。 本文咔咔也会针对分页优化这个话题进行解读。 一、表结构 这个数据库结构就是咔咔目前线上项目的... 展开更多

收藏 31
6
置顶
发表了资讯
2020/08/22 07:17

Apache HBase 2.3.1 发布,分布式存储系统

Apache HBase 2.3.1 已经发布。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 这是 HBase 2.3.x 系列中的第一个修补程序版本,旨在继续提高 HBase 的稳定性和可靠性。 此版本包含自 2.3.0 版以来的 50 个 bug 修复与其它改进。 详情可以查看这个更新通告。......

收藏 3
置顶
发表了资讯
2020/07/22 07:44

Apache Cassandra 4.0 beta 发布,史上最稳定版本

Apache Cassandra 4.0 beta 发布了。这是一套开源分布式 Key-Value 存储系统,它最初由 Facebook 开发,用于储存特别大的数据。 官方介绍,该版本为史上最稳定的版本,带来了 1000 多项 bug 修复、改进和新特性,以及对项目质量的严格把控,进行了一系列模糊测试、故障注入与性能测试等操作。在接下来的 Beta 或 GA 版本中,不会有新特性或 API 的重大更改。 扩展操作速度提高 5 倍 Cassandra 在扩展操作期间在节点之间流送数据... 展开更多

收藏 11
置顶
发表了资讯
2020/07/18 07:25

Apache HBase 2.3.0 发布,分布式数据库

Apache HBase 2.3.0 已发布,这是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 HBase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。 HBase 2.3.0 是 HBase 2.x 系列中的第四个次要版本,旨在提升 HBase 的稳定性和可靠性。 值得关注的新功能包括: 对 JDK 11 的初步支持(要求 Hadoop 3.2.0+) Hadoop 版本增加到 2.10.0 和 3.1.2 ZooKeeper 版本增加到 3.5.7 围绕 HBCK2 的许多改进 HBase 客户端与 ... 展开更多

收藏 4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部