> 本文首发于 Nebula Graph 公众号 [NebulaGraphCommunity](https://www-cdn.nebula-graph.com.cn/nebula-blog/WeChatOffical.png)，Follow 看大厂图数据库技术实践。  ## 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能。在介绍这个功能前，我们先简单回顾一下 Nebula Graph 的架构设计和存储...

>本文案例收录在 https://github.com/chengxy-nds/Springboot-Notebook 也当过面试官，面试过不少应聘者，因为是我自己招人自己用，所以我不会看应聘者造火箭的技术有多牛比，只看拧螺丝的手艺瓷不瓷实。毕竟以后是一个整体，拖了大家后腿团队都很难受。面试的题目一般也不会太难，就像问`Redis`，我只是想确认他真正用过就够了。`Redis` 5种基础数据结构和简单操作要知道，最基本的要求，如果这个时候他会说出每种数据结构大致...

摘要 数据是量化交易的源头，如何高效地管理大量数据是非常关键的环节，数据库是最佳的解决方案之一，现如今数据库的应用已经是各类日内交易、高频交易等策略的量化标准配置。本篇我们来研究一下发明者量化(FMZ.COM)内置的数据库，内容包括：如何创建数据表、存储数据、修改数据、删除数据、引用数据以及如何应用于实战。 如何选择数据库 熟悉发明者量化平台的应该知道，在这之前要想把数据保存到本地复用，只能用_G()函数，每次...

摘要：本文将介绍备机重建各种方法的实现机制，并结合应用场景分析，以及对新增参数的使用建议，以期获得最佳应用效果。 本文分享自华为云社区《先码再看，一文介绍备机重建各种方法的实现机制》，原文作者：Victor_NK 。 1 需求介绍 GaussDB(DWS)的实例在运行过程中难免发生故障，引起实例错误或无法启动，此时就需要进行备机重建工作。备机重建功能主要目的是修复实例单点故障，此外，还可用于集群安装的初始化、集群扩容的元...

码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis 之前，我们需要先搭建一套哨兵环境。机器有限，实现目标是一台机器上搭建 6 个节点，构成一主两从三哨兵集群模式。 下载解压 可直接到 Redis 官网下载最新稳定包，地址：https://redis.io/download。或者使用 命令：sudo wget http://download.redis.io/releases/redis-6.0.9.tar.gz 下载安装包.。 码哥统一把软件包放在 /opt/soft 目录下，并创建目录 mkdir re...

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！ github开源项目：https://github.com/DTStack/flinkx gitee开源项目：https://gitee.com/dtstack_dev_0/flinkx 首先，本文所述均基于flink 1.5.4。 ...

在移动应用的业务场景中，我们需要保存这样的信息：一个 key 关联了一个数据集合，同时还要对集合中的数据进行统计排序。 常见的场景如下： 给一个 userId ，判断用户登陆状态； 两亿用户最近 7 天的签到情况，统计 7 天内连续签到的用户总数； 统计每天的新增与第二天的留存用户数； 统计网站的对访客（Unique Visitor，UV）量 最新评论列表 根据播放量音乐榜单 通常情况下，我们面临的用户数量以及访问量都是巨大的，比如百万...

MySQL常见的优化手段分为下面几个方面： SQL优化、设计优化，硬件优化等，其中每个大的方向中又包含多个小的优化点 下面我们具体来看看 文章首发在公众号（月伴飞鱼），之后同步到掘金和个人网站：xiaoflyfish.cn/ 觉得有收获，希望帮忙点赞，转发下哈，谢谢，谢谢 SQL优化 此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率，具体内容如下： 分页优化 例如： select * from table where type = 2 and l...

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例，介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文，希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处...

什么是数据仓库 数据仓库,最早由比尔·恩门（Bill Inmon）于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据，透过数据仓库理论所特有的储存架构，进行系统的分析整理，以利于各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)的进行，并进而支持如决策支持系统(DSS)、主管信息系统(EIS)的创建, 帮助决策者能快速有效的从大量数据中分析出有价值的信息。 目前, 被广泛接受的数据仓库的定义...

# 层次数据结构的数据表设计 存储树形结构数据是一个常见的问题，同时也有多种解决方案。 这里介绍三种树形结构的表设计方案： - 邻接表模型 - 基于路径和层级的表设计 - 基于左右值编码的表设计（MPT） 这里以一个在线食品店作为例子，食品通过类别、颜色和品种组织食品。 示例如下： ![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GYAHZQNJ-1612956420839)(assets\image-20210129145428312.png...

导读 在分布式数据库系统中，为了解决不同集群、节点事件发生的先后顺序问题，时钟同步至关重要。本文将为大家介绍业界现有的几种主流的时钟同步解决方案，以及分布式数据库 ZNBase 基于原子钟技术实现的 Ture-time 机制。 业内的时钟方案 目前业内主流的分布式数据库系统中，采用的时钟同步方案各不相同。 国内比较热门的 TiDB 和 OceanBase 使用的是 Timestamp Oracle （TSO）方案，即中心化授时方案。TSO 采用单时间源、单点...

写在前面 前面一讲我们介绍了B-树的特性，以及与平衡二叉树的对比得出B-树这类数据结构的优势。 《面试官：谈谈你对索引的认知》系列之B-树 那B+树作为B树的一个升级版，那它又有哪些优势呢？本讲继续为大家揭开B+树的神秘面纱，让它不再成为你前进的羁绊！ B+树 简介 B+树是B-树的一个升级版，也是一种多路搜索树，相对于B树来说B+树更充分的利用了节点的空间，让查询速度更加稳定，其速度完全接近于二分法查找。 从上图B-树的...

写在前面 前面两讲我们介绍了B-/+树的特性对比，数据库系统普遍采用B-/+树作为索引结构。 《面试官：谈谈你对索引的认知》系列之B-树 《面试官：谈谈你对索引的认知》系列之B+树 这一节将结合计算机组成原理相关知识讨论B-/+树作为索引的理论基础。 一般来说，索引本身也很大，不可能全部存储在内存中，因此索引往往以索引文件的形式存储的磁盘上。 这样的话，索引查找过程中就要产生磁盘I/O消耗，相对于内存存取，I/O存取的消耗...

你好，我是 yes。 这个MySQL系列的第二篇，再来个，开局一张图，文末会给高清图获取方式。 上一篇文章讲了体系结构、存储引擎、日志和索引，这篇文章继续往下讲：分区表和事务。 分区表 分区表的应用其实不太常见，与之有类似功能的就是我们常说的分表，两者的区别可以认为一个是 MySQL 帮我们做了分表的操作，而平日常说的分表是在中间层做了手动分表，听起来好像分区表更好啊？MySQL 直接帮我们做了分表，我们啥都不用管了。其...

光阴半载匆忙去，开源引领新格局。刚刚过去的一个月里可以说OceanBase和PolarDB(for PostgreSQL分布式版)相继公布开源是爆点新闻，榜单TOP3均加入了开源阵营，目前十强名单中共有4款开源产品，“开源”一词再度成为业内的讨论热点。墨天轮社区的国产数据库流行度榜单已更新，接下来内容将为大家解读本月榜单的变化及开源趋势。 从曲线看，本月“T-O-P ”阵容分差距逐渐缩小，TiDB连续两月得分小幅度下滑，本月得分跌破600分回到...

> 这几天瞎逛，不知道在哪里瞟到了缓存的双写，就突然想起来这块虽然简单，但是细节上还是有足够多我们可以去关注的点。这篇文章就来详细聊聊**双写一致性**。 首先我们知道，现在将高速缓存应用于业务当中已经十分常见了，甚至可能跟数据库的频率不相上下。你的用户量如果上去了，直接将一个裸的 MySQL 去扛住所有压力明显是不合理的。 这里的高速缓存，目前业界主流的就是 Redis 了，关于 Redis 相关的文章，之前也有聊过，在...

点击上方蓝字关注我们 前言 程序员平时和mysql打交道一定不少，可以说每天都有接触到，但是mysql一张表到底能存多少数据呢？计算根据是什么呢？接下来咱们逐一探讨 知识准备 数据页 在操作系统中，我们知道为了跟磁盘交互，内存也是分页的，一页大小4KB。同样的在MySQL中为了提高吞吐率，数据也是分页的，不过MySQL的数据页大小是16KB。（确切的说是InnoDB数据页大小16KB）。详细学习可以参考官网 我们可以用如下命令查询到。 ...

本篇文章整理自知乎在线基础架构负责人白瑜庆在 PingCAP Infra Meetup 上的演讲实录。**本文讲述了知乎与 TiDB 的渊源，介绍了一款基于 TiDB 生态研发的开源产品 Zetta，能够在规避 HBase 性能问题同时，减小 TiDB 部署后分布式架构下的系统延迟。** ## 背景概况 ### **BigTable 数据模型** 在开始介绍 Zetta 之前，我们先来看看 BigTable。BigTable 是一个稀疏的多维度的有序的表（**Sparse multidimensional sorted map**），...

前言 现在很多公司都在陆续的搭建golang的语言栈，大家有没有想过为什么会出现这种情况？一是因为go比较适合做中间件，还有一个原因就是go的并发支持比较好，也就是咱们平时所谓的高并发，并发支持离不开协程，当然协程也不是乱用的，需要管理起来，管理协程的方式就是协程池，所以协程池也并没有那么神秘，今天咱们就来一步一步的揭开协程池的面纱，如果你没有接触过go的协程这块的话也没有关系，我会尽量写的详细。 goroutin...