数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

加载中
置顶
发表了博客
2021/11/30 11:21

复杂场景,从OpenTSDB迁移到TDengine的最佳实践

在上一篇文章中,我们介绍了运维监控场景下,如何从OpenTSDB迁移到TDengine。 如果应用特别复杂,或者应用领域并不是运维监控场景,本文将更加全面深入地介绍将OpenTSDB应用迁移到TDengine的高级话题。 其他场景的迁移评估与策略 1、TDengine 与 OpenTSDB 的差异 本节将详细介绍OpenTSDB与TDengine在系统功能层面上存在的差异。 读完本节之后,你可以全面地评估是否能将某些基于OpenTSDB的复杂应用迁移到TDengine上,以及迁移之... 展开更多

收藏 0
0
置顶
发表了博客
2021/11/29 17:06

运维监控场景下,如何从OpenTSDB迁移到TDengine

OpenTSDB是一个经典的时序数据库系统,它没有开发自己的存储引擎,而是基于HBase,对于已经有HBase基础服务的企业而言,降低了门槛。而且得益于其先发优势,OpenTSDB在运维监控领域有不少应用。不过也因为要依赖HBase,系统的性能、压缩效率逐渐成为瓶颈。随着业务系统规模的扩大,部署成本、运行效率等方面的问题日益严重。此外,OpenTSDB的功能升级也比较缓慢。 与之相比,TDengine有着明显的优势: 数据写入和查询的性能远超... 展开更多

收藏 0
0
置顶
发表了博客
2021/08/05 11:45

时序数据库永远的难关 — 时间线膨胀(高基数 Cardinality)问题的解决方案

作者 | 徐建伟 (竹影) 前序 随着移动端发展走向饱和,现在整个 IT 行业都期待着“万物互联”的物联网时代。在物联网场景中,往往有许多各类不同的终端设备,布署在不同的位置,去采集各种数据,比如某一区域有 10万个 loT 设备,每个 loT 设备每 5 秒发送一次数据。那么每年会产生 6307亿 个数据点。而这些数据都是顺序产生的,并且 loT 设备产生数据的格式全部是一致的,并且没有删除和修改的需求。针对这样按时海量写入无更... 展开更多

收藏 3
2
置顶
发表了博客
2021/08/03 15:34

Spring Boot中使用时序数据库InfluxDB

除了最常用的关系数据库和缓存之外,之前我们已经介绍了在Spring Boot中如何配置和使用[MongoDB](http://blog.didispace.com/spring-boot-learning-24-6-1/)、[LDAP](http://blog.didispace.com/spring-boot-learning-24-6-2/)这些存储的案例。接下来,我们继续介绍另一种特殊的数据库:时序数据库InfluxDB在Spring Boot中的使用。 ## InfluxDB简介 什么是时序数据库?全称为时间序列数据库。时间序列数据库主要用于指处理带时间... 展开更多

收藏 3
1
置顶
发表了博客
2021/06/28 11:34

深度解读MRS IoTDB时序数据库的整体架构设计与实现

【本期推荐】华为云社区6月刊来了,新鲜出炉的Top10技术干货、重磅技术专题分享;还有毕业季闯关大挑战,华为云专家带你做好职业规划。 摘要:本文将会系统地为大家介绍MRS IoTDB的来龙去脉和功能特性,重点为大家介绍MRS IoTDB时序数据库的整体架构设计与实现。 本文分享自华为云社区《MRS IoTDB时序数据库的总体架构设计与实现》,原文作者:cloudsong。 MRS IoTDB是华为FusionInsight MRS大数据套件最新推出的时序数据库产品... 展开更多

收藏 4
1
置顶
发表了博客
2021/05/12 22:19

时序数据库Influx-IOx源码学习十二(物理计划的执行)

>InfluxDB是一个由InfluxData开发的开源时序数据库,专注于海量时序数据的高性能读、写、高效存储与实时分析等,在DB-Engines Ranking时序型数据库排行榜上常年排名第一。 > >InfluxDB可以说是当之无愧的佼佼者,但 InfluxDB CTO Paul 在 2020/12/10 号在博客中发表一篇名为:Announcing InfluxDB IOx – The Future Core of InfluxDB Built with Rust and Arrow的文章,介绍了一个新项目 InfluxDB IOx,InfluxDB 的下一代时序引... 展开更多

收藏 0
0
置顶
发表了博客
2021/04/30 14:25

TDengine助力顺丰科技大数据监控改造

作者:尹飞 小T导读 :顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。之前虽然采用了OpenTSDB+HBase作为大数据监控平台全量监控数据的存储方案,但有不少痛点,必须对全量监控数据存储方案进行改造。通过对IoTDB、Druid、ClickHouse、TDengine等时序数据存储方案的调研,最终我们选择了TDengine。大数据监控平台采用 TDengine 后,在稳定性、写入性能、查询性能等方面都有较大的提升,并且存储成本降低为原... 展开更多

收藏 14
7
置顶
发表了博客
2021/04/20 17:08

时序数据库Influx-IOx源码学习六-1(数据写入之分区)

>InfluxDB是一个由InfluxData开发的开源时序数据库,专注于海量时序数据的高性能读、写、高效存储与实时分析等,在DB-Engines Ranking时序型数据库排行榜上常年排名第一。 > >InfluxDB可以说是当之无愧的佼佼者,但 InfluxDB CTO Paul 在 2020/12/10 号在博客中发表一篇名为:Announcing InfluxDB IOx – The Future Core of InfluxDB Built with Rust and Arrow的文章,介绍了一个新项目 InfluxDB IOx,InfluxDB 的下一代时序引... 展开更多

收藏 0
1
置顶
发表了博客
2021/04/19 18:10

时序数据库Influx-IOx源码学习五(创建数据库)

>InfluxDB是一个由InfluxData开发的开源时序数据库,专注于海量时序数据的高性能读、写、高效存储与实时分析等,在DB-Engines Ranking时序型数据库排行榜上常年排名第一。 > >InfluxDB可以说是当之无愧的佼佼者,但 InfluxDB CTO Paul 在 2020/12/10 号在博客中发表一篇名为:Announcing InfluxDB IOx – The Future Core of InfluxDB Built with Rust and Arrow的文章,介绍了一个新项目 InfluxDB IOx,InfluxDB 的下一代时序引... 展开更多

收藏 1
0
置顶
发表了博客
2021/03/23 10:52

百亿级存储+毫秒级写入:TDengine 在得物 APP 的落地实践

作者|Lynx 导语 :得物许多系统和场景都需要做流量的监控和防护,一天就能够产生数亿数据,写入速度达到万TPS,该数据量级无法用传统的关系型数据库处理。在对比了InfluxDB, OpenTSDB, Cassandra等时序数据库的性能后,最终选择 TDengine。 背景 作为一家互联网电商公司,得物有许多系统和场景都需要做流量的监控和防护,所以在深度定制化开源流控防护组件Sentinel时我们加入了许多功能,帮助提升各业务系统的流控防护。 备注:... 展开更多

收藏 8
3
置顶
发表了博客
2021/03/08 09:20

干货丨DolphinDB即时编译(JIT)详解

DolphinDB是高性能分布式时序数据库,内置了丰富的计算功能和强大多范式编程语言。为了能够提高DolphinDB脚本的执行效率,从1.01版本开始,DolphinDB支持即时编译(JIT)。 1 JIT简介 即时编译(英文: Just-in-time compilation, 缩写: JIT),又译及时编译或实时编译,是动态编译的一种形式,可提高程序运行效率。 通常程序有两种运行方式:编译执行和解释执行。编译执行在程序执行前全部翻译为机器码,特点是运行效率较高,以C... 展开更多

收藏 0
0
置顶
发表了博客
2021/01/18 20:40

时序数据库 Apache-IoTDB 源码解析之元数据索引块(六)

上一章聊到 TsFile 索引块的详细介绍,以及一个查询所经过的步骤。详情请见: [时序数据库 Apache-IoTDB 源码解析之文件索引块(五)](https://my.oschina.net/u/3374539/blog/4499396) 打一波广告,欢迎大家访问 [IoTDB 仓库](https://github.com/apache/iotdb),求一波 Star 。欢迎关注头条号:列炮缓开局,欢迎关注[OSCHINA博客](https://my.oschina.net/u/3374539) 阿里云、东方国信等各家公司正在招聘IoTDB数据库开发工程师... 展开更多

收藏 1
1
置顶
发表了博客
2021/02/02 09:18

干货丨DolphinDB高频数据处理技巧:非等间隔的时间序列处理

高频时间序列的处理中,经常会用到滑动,偏移,聚合,转置,关联等操作。譬如说我想对一个某指标列用过去一个小时的数据的均值来做平滑处理,又或者想找到每一个时刻,该指标一个小时前的相应的指标值。如果序列中每个指标的间隔是相等的而且中间没有缺失数据,譬如说0.5s,3s,那么我们可以把时间窗口转化成固定记录条数的窗口,基本上常用的数据分析软件语言都可以完成滑动窗口函数功能。如果条件不能满足,就变成了比较复杂的... 展开更多

收藏 0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部
返回顶部
顶部