精彩博客

Nebula 基于 ElasticSearch 的全文搜索引擎的文本搜索

> 本文首发于 Nebula Graph 公众号 [NebulaGraphCommunity](https://www-cdn.nebula-graph.com.cn/nebula-blog/WeChatOffical.png),Follow 看大厂图数据库技术实践。 ![Nebula 基于全文搜索引擎的文本搜索](https://www-cdn.nebula-graph.com.cn/nebula-blog/fulltext-search.png) ## 1 背景 Nebula 2.0 中已经支持了基于外部全文搜索引擎的文本查询功能。在介绍这个功能前,我们先简单回顾一下 Nebula Graph 的架构设计和存储...

昨天 18:58
530
0
Redis 5种数据结构及对应使用场景

>本文案例收录在 https://github.com/chengxy-nds/Springboot-Notebook 也当过面试官,面试过不少应聘者,因为是我自己招人自己用,所以我不会看应聘者造火箭的技术有多牛比,只看拧螺丝的手艺瓷不瓷实。毕竟以后是一个整体,拖了大家后腿团队都很难受。面试的题目一般也不会太难,就像问`Redis`,我只是想确认他真正用过就够了。`Redis` 5种基础数据结构和简单操作要知道,最基本的要求,如果这个时候他会说出每种数据结构大致...

昨天 18:08
703
0
利用SQLite构建发明者量化数据库

摘要 数据是量化交易的源头,如何高效地管理大量数据是非常关键的环节,数据库是最佳的解决方案之一,现如今数据库的应用已经是各类日内交易、高频交易等策略的量化标准配置。本篇我们来研究一下发明者量化(FMZ.COM)内置的数据库,内容包括:如何创建数据表、存储数据、修改数据、删除数据、引用数据以及如何应用于实战。 如何选择数据库 熟悉发明者量化平台的应该知道,在这之前要想把数据保存到本地复用,只能用_G()函数,每次...

昨天 11:41
1.6K
0
一文介绍备机重建各种方法的实现机制

摘要:本文将介绍备机重建各种方法的实现机制,并结合应用场景分析,以及对新增参数的使用建议,以期获得最佳应用效果。 本文分享自华为云社区《先码再看,一文介绍备机重建各种方法的实现机制》,原文作者:Victor_NK 。 1 需求介绍 GaussDB(DWS)的实例在运行过程中难免发生故障,引起实例错误或无法启动,此时就需要进行备机重建工作。备机重建功能主要目的是修复实例单点故障,此外,还可用于集群安装的初始化、集群扩容的元...

昨天 10:17
712
0
Redis 6.X Sentinel 哨兵集群搭建

码哥带大家完成在 CentOS 7 中安装 Redis 6.x 教程。在学习 Redis 之前,我们需要先搭建一套哨兵环境。机器有限,实现目标是一台机器上搭建 6 个节点,构成一主两从三哨兵集群模式。 下载解压 可直接到 Redis 官网下载最新稳定包,地址:https://redis.io/download。或者使用 命令:sudo wget http://download.redis.io/releases/redis-6.0.9.tar.gz 下载安装包.。 码哥统一把软件包放在 /opt/soft 目录下,并创建目录 mkdir re...

03/30 17:23
3.7K
0
数栈技术分享:用短平快的方式告诉你Flink-SQL的扩展实现

数栈是云原生—站式数据中台PaaS,我们在github和gitee上有一个有趣的开源项目:FlinkX,FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,也可以采集实时变化的数据,是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star!star!star! github开源项目:https://github.com/DTStack/flinkx gitee开源项目:https://gitee.com/dtstack_dev_0/flinkx 首先,本文所述均基于flink 1.5.4。 ...

06/15 17:22
2.6K
0
Redis 实战篇:巧用数据类型实现亿级数据统计

在移动应用的业务场景中,我们需要保存这样的信息:一个 key 关联了一个数据集合,同时还要对集合中的数据进行统计排序。 常见的场景如下: 给一个 userId ,判断用户登陆状态; 两亿用户最近 7 天的签到情况,统计 7 天内连续签到的用户总数; 统计每天的新增与第二天的留存用户数; 统计网站的对访客(Unique Visitor,UV)量 最新评论列表 根据播放量音乐榜单 通常情况下,我们面临的用户数量以及访问量都是巨大的,比如百万...

06/08 08:50
5.2K
2
面试题:在日常工作中怎么做MySQL优化的?

MySQL常见的优化手段分为下面几个方面: SQL优化、设计优化,硬件优化等,其中每个大的方向中又包含多个小的优化点 下面我们具体来看看 文章首发在公众号(月伴飞鱼),之后同步到掘金和个人网站:xiaoflyfish.cn/ 觉得有收获,希望帮忙点赞,转发下哈,谢谢,谢谢 SQL优化 此优化方案指的是通过优化 SQL 语句以及索引来提高 MySQL 数据库的运行效率,具体内容如下: 分页优化 例如: select * from table where type = 2 and l...

06/15 09:10
8.4K
4
Flink on Hive构建流批一体数仓

Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通过流处理的方式来读写Hive中的表,从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。本文将以Flink1.12为例,介绍Flink集成Hive的另外一个非常重要的方面——Hive维表JOIN(Temporal Table Join)与Flink读写Hive表的方式。以下是全文,希望本文对你有所帮助。 Flink写入Hive表 Flink支持以批处...

06/12 09:18
2.9K
0
该如何理解数据仓库的建设?

什么是数据仓库 数据仓库,最早由比尔·恩门(Bill Inmon)于1990年提出,主要功能是将组织或企业里面的联机事务处理(OLTP)所累积的大量数据,透过数据仓库理论所特有的储存架构,进行系统的分析整理,以利于各种分析方法如联机分析处理(OLAP)、数据挖掘(Data Mining)的进行,并进而支持如决策支持系统(DSS)、主管信息系统(EIS)的创建, 帮助决策者能快速有效的从大量数据中分析出有价值的信息。 目前, 被广泛接受的数据仓库的定义...

06/12 09:41
2.7K
1
层次数据结构的数据表设计

# 层次数据结构的数据表设计 存储树形结构数据是一个常见的问题,同时也有多种解决方案。 这里介绍三种树形结构的表设计方案: - 邻接表模型 - 基于路径和层级的表设计 - 基于左右值编码的表设计(MPT) 这里以一个在线食品店作为例子,食品通过类别、颜色和品种组织食品。 示例如下: ![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GYAHZQNJ-1612956420839)(assets\image-20210129145428312.png...

02/10 19:37
2.7K
0
ZNBase 时钟同步技术解析:原子钟实现 Ture-time 机制

导读 在分布式数据库系统中,为了解决不同集群、节点事件发生的先后顺序问题,时钟同步至关重要。本文将为大家介绍业界现有的几种主流的时钟同步解决方案,以及分布式数据库 ZNBase 基于原子钟技术实现的 Ture-time 机制。 业内的时钟方案 目前业内主流的分布式数据库系统中,采用的时钟同步方案各不相同。 国内比较热门的 TiDB 和 OceanBase 使用的是 Timestamp Oracle (TSO)方案,即中心化授时方案。TSO 采用单时间源、单点...

06/11 14:52
1W
5
《面试官:谈谈你对索引的认知》系列之B+树

写在前面 前面一讲我们介绍了B-树的特性,以及与平衡二叉树的对比得出B-树这类数据结构的优势。 《面试官:谈谈你对索引的认知》系列之B-树 那B+树作为B树的一个升级版,那它又有哪些优势呢?本讲继续为大家揭开B+树的神秘面纱,让它不再成为你前进的羁绊! B+树 简介 B+树是B-树的一个升级版,也是一种多路搜索树,相对于B树来说B+树更充分的利用了节点的空间,让查询速度更加稳定,其速度完全接近于二分法查找。 从上图B-树的...

06/01 08:30
4.3K
0
《面试官:谈谈你对索引的认知》系列之磁盘I/O

写在前面 前面两讲我们介绍了B-/+树的特性对比,数据库系统普遍采用B-/+树作为索引结构。 《面试官:谈谈你对索引的认知》系列之B-树 《面试官:谈谈你对索引的认知》系列之B+树 这一节将结合计算机组成原理相关知识讨论B-/+树作为索引的理论基础。 一般来说,索引本身也很大,不可能全部存储在内存中,因此索引往往以索引文件的形式存储的磁盘上。 这样的话,索引查找过程中就要产生磁盘I/O消耗,相对于内存存取,I/O存取的消耗...

06/02 08:30
2.1K
0
四本书、一个专栏,揉成这篇MySQL(二)

你好,我是 yes。 这个MySQL系列的第二篇,再来个,开局一张图,文末会给高清图获取方式。 上一篇文章讲了体系结构、存储引擎、日志和索引,这篇文章继续往下讲:分区表和事务。 分区表 分区表的应用其实不太常见,与之有类似功能的就是我们常说的分表,两者的区别可以认为一个是 MySQL 帮我们做了分表的操作,而平日常说的分表是在中间层做了手动分表,听起来好像分区表更好啊?MySQL 直接帮我们做了分表,我们啥都不用管了。其...

06/08 14:23
1.5K
0
2021年6月国产数据库排行榜:光阴半载匆忙去,开源引领新格局

光阴半载匆忙去,开源引领新格局。刚刚过去的一个月里可以说OceanBase和PolarDB(for PostgreSQL分布式版)相继公布开源是爆点新闻,榜单TOP3均加入了开源阵营,目前十强名单中共有4款开源产品,“开源”一词再度成为业内的讨论热点。墨天轮社区的国产数据库流行度榜单已更新,接下来内容将为大家解读本月榜单的变化及开源趋势。 从曲线看,本月“T-O-P ”阵容分差距逐渐缩小,TiDB连续两月得分小幅度下滑,本月得分跌破600分回到...

06/11 09:49
6.9K
0
缓存与数据库的双写一致性

> 这几天瞎逛,不知道在哪里瞟到了缓存的双写,就突然想起来这块虽然简单,但是细节上还是有足够多我们可以去关注的点。这篇文章就来详细聊聊**双写一致性**。 首先我们知道,现在将高速缓存应用于业务当中已经十分常见了,甚至可能跟数据库的频率不相上下。你的用户量如果上去了,直接将一个裸的 MySQL 去扛住所有压力明显是不合理的。 这里的高速缓存,目前业界主流的就是 Redis 了,关于 Redis 相关的文章,之前也有聊过,在...

06/11 09:30
4.4K
2
mysql一张表到底能存多少数据?

点击上方蓝字关注我们 前言 程序员平时和mysql打交道一定不少,可以说每天都有接触到,但是mysql一张表到底能存多少数据呢?计算根据是什么呢?接下来咱们逐一探讨 知识准备 数据页 在操作系统中,我们知道为了跟磁盘交互,内存也是分页的,一页大小4KB。同样的在MySQL中为了提高吞吐率,数据也是分页的,不过MySQL的数据页大小是16KB。(确切的说是InnoDB数据页大小16KB)。详细学习可以参考官网 我们可以用如下命令查询到。 ...

02/09 20:17
10K
3
Zetta:HBase 用户的新选择 —— 当知乎遇上 TiDB 生态

本篇文章整理自知乎在线基础架构负责人白瑜庆在 PingCAP Infra Meetup 上的演讲实录。**本文讲述了知乎与 TiDB 的渊源,介绍了一款基于 TiDB 生态研发的开源产品 Zetta,能够在规避 HBase 性能问题同时,减小 TiDB 部署后分布式架构下的系统延迟。** ## 背景概况 ### **BigTable 数据模型** 在开始介绍 Zetta 之前,我们先来看看 BigTable。BigTable 是一个稀疏的多维度的有序的表(**Sparse multidimensional sorted map**),...

05/26 11:10
3.7K
0
手把手教你Golang的协程池设计

前言 现在很多公司都在陆续的搭建golang的语言栈,大家有没有想过为什么会出现这种情况?一是因为go比较适合做中间件,还有一个原因就是go的并发支持比较好,也就是咱们平时所谓的高并发,并发支持离不开协程,当然协程也不是乱用的,需要管理起来,管理协程的方式就是协程池,所以协程池也并没有那么神秘,今天咱们就来一步一步的揭开协程池的面纱,如果你没有接触过go的协程这块的话也没有关系,我会尽量写的详细。 goroutin...

06/08 09:42
2.6K
0

没有更多内容

加载失败,请刷新页面

初窥鸿蒙

一、什么是鸿蒙 鸿蒙即 HarmonyOS ,是华为公司推出的支持手机、平板、智能穿戴、智慧屏、车机等多种终端设备的分布式操作系统,并且它提供了多语言开发的 API,支持 Java、XML、C/C++、JS、...

06/10 18:21
1.6W
6
深入浅出聊聊 Rust WebAssembly(一)

什么是 webassembly 在 2019 年 12 月之前,如果你要编写一个web页面,那一定离不开 html、css、js 这三个好兄弟。在 2019 年 12 月之后 W3C 宣布 webassembly 加入了他们。为什么要在三兄弟...

06/10 10:55
1.4W
3
一文教会你认识Vuex状态机

摘要:简单来说,Vuex就是实现组件全局状态(数据)管理的一种机制,可以方便的实现组件之间数据的共享。 本文分享自华为云社区《Vuex状态机快速了解与应用》,原文作者:北极光之夜。 一. 速识...

06/09 10:02
1.5W
4
V8 执行 JavaScript 的过程

👆 这是第 102 篇不掺水的原创,想要了解更多,请戳上方蓝色字体:政采云前端团队 关注我们吧~ 本文首发于政采云前端团队博客:V8 执行 JavaScript 的过程 https://www.zoo.team/article...

06/08 21:30
7.8K
4
读写分离水太深,你把握不住,让CQRS来

多年以前,那时我正年轻,做技术如鱼得水,甚至一度希望自己能当一辈子的一线程序员。 但是我又有两个小愿望想要达成:一个是想多挣点钱;另一个就是对项目的技术栈和架构选型能多有点主动权...

06/08 14:07
2.6W
13
Go timer 是如何被调度的?

hi,大家好,我是 haohongfan。 本篇文章剖析下 Go 定时器的相关内容。定时器不管是业务开发,还是基础架构开发,都是绕不过去的存在,由此可见定时器的重要程度。 我们不管用 NewTimer, ti...

06/08 08:37
7.2K
0
深入浅出协程、线程和并发问题

"协程是轻量级的线程",相信大家不止一次听到这种说法。但是您真的理解其中的含义吗?恐怕答案是否定的。接下来的内容会告诉大家协程是如何在 Android 运行时中被运行的,它们和线程之间的关...

06/03 11:44
1.9W
0
深入解析 Raft 模块在 ZNBase 中的优化改造(下)

作者:管延信 上期回顾:深入解析 Raft 模块在 ZNBase 中的优化改造(上) 导读 云溪数据库 ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架...

05/31 11:03
5.5K
8
浅析扣减库存的方案设计

你好,我是悟空,今天来探讨下扣减库存的方案。 生活中,我们总是用各种电商app抢购商品,但是库存数是很少的,特别是秒杀场景,商品可能就一件,那如何保证不会出现超卖的情况呢? 一、扣减...

05/28 15:01
2.2W
3
HTAP 数据库如何实现?浅析 ZNBase 中的列存引擎

作者:马静伟 编辑:大东BE 导读 TP 与 AP 融合的 HTAP 数据库正成为业内的发展趋势。但由于大规模数据场景下 TP 与 AP 系统本身的复杂性,要在一套数据库系统中融合两种使用场景的功能并不容...

05/28 14:03
8.6K
18
高德Serverless平台建设及实践

导读 高德启动Serverless建设已经有段时间了,目前高德Serverless业务的峰值早已超过十万QPS量级,平台从0到1,QPS从零到超过十万,成为阿里集团内Serverless应用落地规模最大的BU。这个过程...

05/28 12:10
1.4W
1
从源码出发看zgc的技术内幕

笔者经过上次对zgc在不同环境下进行的测试后,发现zgc所带来的提升非常之大。一时间对zgc在生产中使用充满信心,但是在全面使用之前,难免对其几大新特性有一些好奇,比如:染色指针,读屏障...

05/27 16:38
2W
13
拯救祭天的程序员——事件溯源模式

一、事前 你相信吗?曾经有一段日子,我几乎没接到过合格的产品需求。 开局几句话,技术全靠猜。 总是以为简单的需求 曾经,我从产品那里接到过这么一个需求: 对系统的用户进行分级,不同级别...

05/27 12:54
2.3W
8
React 事件系统是如何工作的?

一、DOM 事件流 在浏览器中,我们通过事件监听来实现 JS 和 HTML 之间的交互。一个页面往往会被绑定许许多多的事件,而页面接收事件的顺序,就是事件流。它类似于蹦床,从高处下落,触达蹦床...

05/24 19:25
1.2W
5
懂得取舍才是缓存设计的真谛

Previously 前两篇文章(缓存稳定性 和 缓存正确性)跟大家讨论了缓存的『稳定性』和『正确性』,缓存常见问题还剩下『可观测性』和『规范落地&工具建设』 稳定性 正确性 可观测性 规范落地和...

05/24 09:00
1.5W
1
提效 7 倍,Apache Spark 自适应查询优化在网易的深度实践及改进

本文基于 Apahce Spark 3.1.1 版本,讲述 AQE 自适应查询优化的原理,以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

05/21 10:47
1.2W
0
一起看 I/O | Android 更新一览

作者 / Karen Ng, Director, Product Management & Jacob Lehrbaum, Director of Developer Relations, Android & Play 作为 Android 开发者,我们致力于打造让世界各地的用户们满意的体验。...

05/20 19:06
3.5K
0
低代码平台如何一步步摧毁开发团队的效率与创新!

关于低代码平台,之前我也推送过两篇相关的文章,我的观点很简单:东西是好的,有它所擅长和适用的领域,但软件产品不存在银弹,低代码平台一样如此! 现在在搜索引擎上搜“低代码”这样的关...

05/14 10:26
4.1W
15
CSP浅析与绕过

XSS是最常见、危害最大的网页安全漏洞,想要抵御它们,要采取非常多编程措施,非常麻烦。那么,有没有可以从根本上解决问题,浏览器自动禁止外部注入恶意脚本的方法呢?CSP应运而生。 本文涉...

05/13 17:03
5K
2
Flutter Web插件实现:打通JavaScript和Dart

之前分享了如何在Flutter插件中支持Android和Windows,这篇文章将增加Web插件的实现方法,以及创建一个简单的web一维码,二维码识别应用。 参考资源 https://dart.dev/web/js-interop https:...

05/13 15:23
2.1W
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部