精彩博客

机器学习在高德地图轨迹分类的探索和应用

1.背景 当我们打开导航,开车驶向目的地的过程中,有时候会碰到这样的问题:前方明明没有路,可能在施工封闭,可是导航仍然让我们往前开车,以至于我们无法顺利到达目的地。全国道路千千万,...

10/16 15:01
3.9K
2
#Elasticsearch深入:Reindex API

从本地重建索引 Reindex不会尝试设置目标索引。它不会复制源索引的设置信息。您应该在运行_reindex操作之前设置目标索引,包括设置映射,分片数,副本等。 _reindex的最基本形式只是将文档从...

09/24 19:32
3.5K
1
第十三讲:Python轻量级Web框架Django的安装及配置

1、安装django Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一个。 Django 采用了 MVT 的软件设计模式,即模型(Model),视图(View)和模板(Template)。 ASP用的...

09/24 18:16
4.4K
3
解惑 | 为什么我根据时间戳获得的offset为空呢?

每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。 放弃不难,但坚持很酷~ kafka_2.11-1.1.0 一、前言 最近有一个需求,要查询某一时间戳对应的offset值,于是就想到了使用 ./bin/...

09/21 07:50
789
0
数据开发协作与埋点管理系统

埋点管理系统与埋点地图 在介绍埋点管理系统之前,我们来回顾下,之前的埋点工作是怎么做的。 从开发协作演化反思埋点管理 协作流程0.1版本: 上图是刚成立之初,在人员紧缺,数据开发的工程...

09/20 00:11
5.1K
1
Python制图 | 01.使用Matplotlib绘制统计图

Section One - Plotting with Matplotlib 源代码 学习目标: 解释matplotlib面向对象的绘图方法 使用matplotlib创建不同类型的绘图 使用matplotlib自定义绘图(包括标签和颜色) 使用matplot...

09/04 19:55
884
0
Hadoop 的安装和配置

相关软件下载:微云网盘链接:https://share.weiyun.com/5uIOSHe 密码:osmzbn JDK 8 : https://jdk.java.net/java-se-ri/8-MR3 Hadoop 3.2.1 : https://hadoop.apache.org/releases.html 如...

08/12 00:20
2.2K
0
Ignite数据加载入门:功能介绍

本文是Ignite数据加载入门系列文章的第一篇,会介绍开发人员、分析人员和运维人员可以使用的Ignite数据加载功能,在后面的两篇文章中,会介绍Ignite进行数据加载的两种主要技术:CacheStore和...

07/14 14:35
5.8K
0
深入了解kafka系列-消费者

前言 与生产者对应的是消费者,应用程序可以通过KafkaConsumer来订阅主题,并从订阅的主题中拉取消息。不过在使用KafkaConsumer消费消息之前需要先了解消费者和消费组的概念,否则无法理解如...

07/03 11:36
2.8W
19
Ignite在集群内存空间不足时的处理方式

如果内存空间即将用完,Ignite可以水平扩展以存储应用和服务生成的更多数据,这是Ignite的基础功能之一,因此增加资源是最简单的处理方法。但是实际上多数情况都无法立即扩展集群,通常都是为...

06/27 15:54
9.9K
0
ECharts5.0版本即将上线,来说说我与ECharts的那些事吧!

Apache ECharts (incubating) ,一个使用 JavaScript 实现的开源可视化数据图表库。作为一款基于JavaScript的数据可视化图表库,ECharts为用户提供直观,生动,可交互,可个性化定制的数据可...

06/16 16:00
9.8W
12
Hive动态分区

Hive动态分区 hive提供了一个动态分区功能,其可以基于查询参数的位置去推断分区的名称,从而建立分区。 1、配置参数 1.1 主要配置参数 以下为Hive动态分区涉及的配置参数: set hive.exec....

06/16 14:55
4.4K
1
数据湖&数据仓库,别再傻傻分不清了

摘要:什么是数据湖?它有什么作用?今天将由华为云技术专家从理论出发,将问题抽丝剥茧,从技术维度娓娓道来。 什么是数据湖 如果需要给数据湖下一个定义,可以定义为这样:数据湖是一个存储...

06/15 11:33
2.2W
2
保护Kafka环境的最佳实践

对于许多企业来说,Kafka是整个企业数据系统的中枢,因此保护事件流平台对于数据安全至关重要,并且通常是管理层要求的。本文会讲述五个安全类别以及Kafka和Confluent平台的基本功能,这些功...

06/12 11:06
1.9W
3
让美团、京东、搜狐都说好的数据仓库,牛在哪?

守着金山讨饭吃,乍听有些不可思议,但不少企业正遭遇这样的窘况。 数据被誉为“新石油”,如何管理并洞悉数据的价值,是企业未来发展的核心竞争力。进入大数据时代,数据规模与日俱增,如果...

06/11 21:14
2.1W
6
如何做一次完美的 ABTest?

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/mO5MdwG7apD6RzDhFwZhog 作者:DuZhimin 越来越多的公司都在尝试 ABTest,要么是自己搭建系统,要么依赖于第三方的...

06/11 11:17
6.1K
0
关于SOC、态势感知,5种常见的关联分析模型

引言 在很多安全分析类产品建设的过程中都会涉及到关联分析,比如日志分析,soc,态势感知,风控等产品。关联分析可以认为是这类产品中最核心的能力之一。这个东西从名字上看就知道,千人千面...

06/08 15:41
2.2K
0
ElasticSearch 索引设置总结

在使用ES时,我们常见的就是需要生成一个template来定义索引的设置,分词器,Mapping.本文将基于项目经验来总结一些常用的配置。 Index设置 index.refresh_interval 配置一个刷新时间,将ind...

05/24 18:55
2.8W
13
百度安全MesaTEE项目最新研究:软件架构缺陷成为Intel SGX新型攻击面

近日,受疫情原因,转移到线上举办的ASPLOS 2020公布了计算机领域最新研究成果,其中就包括了百度安全提交的论文《COIN Attacks: On Insecurity of Enclave Untrusted Interfaces in SGX》,...

04/29 15:26
1.6K
0
刚哥谈架构(六)-大数据的文件存储

上一次我们谈到了各种类型的数据库,今天我们来谈谈在大数据,尤其是Hadoop栈下的数据和文件的存储。 我们知道为了解决大数据的存储和处理问题,google最先设计了推出了Map/Reduce的算法,而...

04/26 13:57
2.4W
1

没有更多内容

加载失败,请刷新页面

深入了解kafka系列-消费者

前言 与生产者对应的是消费者,应用程序可以通过KafkaConsumer来订阅主题,并从订阅的主题中拉取消息。不过在使用KafkaConsumer消费消息之前需要先了解消费者和消费组的概念,否则无法理解如...

07/03 11:36
2.8W
19
Ignite在集群内存空间不足时的处理方式

如果内存空间即将用完,Ignite可以水平扩展以存储应用和服务生成的更多数据,这是Ignite的基础功能之一,因此增加资源是最简单的处理方法。但是实际上多数情况都无法立即扩展集群,通常都是为...

06/27 15:54
9.9K
0
保护Kafka环境的最佳实践

对于许多企业来说,Kafka是整个企业数据系统的中枢,因此保护事件流平台对于数据安全至关重要,并且通常是管理层要求的。本文会讲述五个安全类别以及Kafka和Confluent平台的基本功能,这些功...

06/12 11:06
1.9W
3
ElasticSearch 索引设置总结

在使用ES时,我们常见的就是需要生成一个template来定义索引的设置,分词器,Mapping.本文将基于项目经验来总结一些常用的配置。 Index设置 index.refresh_interval 配置一个刷新时间,将ind...

05/24 18:55
2.8W
13
刚哥谈架构(六)-大数据的文件存储

上一次我们谈到了各种类型的数据库,今天我们来谈谈在大数据,尤其是Hadoop栈下的数据和文件的存储。 我们知道为了解决大数据的存储和处理问题,google最先设计了推出了Map/Reduce的算法,而...

04/26 13:57
2.4W
1
机器学习在马蜂窝酒店聚合中的应用初探

马蜂窝技术原创内容,更多干货请关注公众号:mfwtech 出门旅行,订酒店是必不可少的一个环节。住得干净、舒心对于每个出门在外的人来说都非常重要。 在线预订酒店让这件事更加方便。当用户在...

01/17 15:31
1.4W
1
揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

我是我:“缘起于美丽,相识于邂逅,厮守到白头!” 众听众:“呃,难道今天是要分享如何作诗?!” 我是我:“大家不要误会,今天主要的分享不是如何作诗,而是《揭秘:‘撩’大数据的正确姿...

2019/12/31 10:42
7.9K
3
KTV歌曲推荐-深入浅出协同过滤

前言 推荐算法有很多,最基础的就是协同过滤,前段时间对KTV数据比较感兴趣,大家去唱歌也只是唱熟悉的歌,那是不是有办法给大家一些建议拓展一下唱歌的宽度呢。KTV推荐可能要考虑很多因素,...

2019/11/14 12:05
4.9K
6
Scala implicit 隐式转换安全驾驶指南

这篇短文将结合实例对隐式转换的各种场景进行解释和总结,希望看完的人能够安全驶过隐式转换这个大坑。 隐式转换函数 隐式转换函数有两种作用场景。 1 转换为期望类型:就是指一旦编译器看到...

2019/09/29 23:03
1.6K
2
云端数据仓库的模式选型与建设

数据,对一个企业的重要性不言而喻,如何利用好企业内部数据,发挥数据的更大价值,对于企业管理者而言尤为重要。作为最传统的数据应用之一,数据仓库在企业内部扮演着重要的角色,构建并正确...

2019/08/29 10:24
4.2K
8
Flink 源码解析 —— 深度解析 Flink 是如何管理好内存的?

前言 如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flin...

2019/08/11 22:14
9.6K
5
关系型数据库全表扫描分片详解

导读:数据总线(DBus)专注于数据的实时采集与实时分发,可以对IT系统在业务流程中产生的数据进行汇聚,经过转换处理后成为统一JSON的数据格式(UMS),提供给不同数据使用方订阅和消费,充...

2019/08/02 10:28
3.1K
1
谈谈机器学习模型的可解释性

随着AI和机器学习的发展,越来越多的决策会交给自动化的机器学习算法来做。但是当我们把一些非常重要的决定交给机器的时候,我们真的放心么?当波音飞机忽略驾驶员的指令,决定义无反顾的冲向...

2019/07/02 03:01
4.2K
9
再谈使用开源软件搭建数据分析平台

三年前,我写了这篇博客使用开源软件快速搭建数据分析平台, 当时收到了许多的反馈,有50个点赞和300+的收藏。到现在我还能收到一些关于dataplay2的问题。在过去的三年,开源社区和新技术的发...

2019/04/20 00:54
2W
9
现代IM系统中的消息系统架构 - 架构篇

前言 IM全称是『Instant Messaging』,中文名是即时通讯。在这个高度信息化的移动互联网时代,生活中IM类产品已经成为必备品,比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微...

2019/04/16 14:34
4.2K
8
Kafka连接器深度解读之JDBC源连接器

在现实业务中,Kafka经常会遇到的一个集成场景就是,从数据库获取数据,因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中,在这...

2019/03/12 14:02
7.9K
5
自动机器学习简述(AutoML)

为什么需要自动机器学习 对于机器学习的新用户而言,使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行,工程师需要选择相应的神经网络架构,训练过...

2019/02/19 02:46
5.7W
5
缓存伪共享问题以及解决方案缓存行填充

缓存伪共享 共享对象存在同一个缓存中,由于MESI协议,一个对象中一些不需要改变的属性因为其他改变的属性,导致整个对象的缓存进入到M被修改状态。 MESI缓存一致性协议:https://blog.csdn...

2019/01/29 16:52
4.1K
2
百亿次的锤炼 - 地狱模式的分布式系统测试

本文以近期开源的Dragonboat多组Raft库为例,介绍Dragonboat这样一个典型分布式系统是如何做测试的。Dragonboat以Go实现,能在普通硬件上提供每秒1000万次以上的强一致读写,它是目前github....

2019/01/18 18:50
3.6K
6
为什么说Laxcus颠覆了我的大数据使用体验

切入正题前,先做个自我介绍。 本人是从业三年的大数据小码农一枚,在帝都一家有点名气的广告公司工作,同时兼着大数据管理员的职责。 平时主要的工作是配合业务部门,做各种广告大数据计算分...

2018/12/16 17:02
4.3K
5

没有更多内容

加载失败,请刷新页面

我们为什么要禁用 THP

前言 我们之前在生产环境上遇到过很多起由操作系统的某些特征引起的性能抖动案例,其中 THP 作案次数较多,因此本文将和大家分享 THP 引起性能抖动的原因、典型的现象,分析方法等,在文章的...

10/22 18:07
13
0
pom

# Shiro <dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-spring</artifactId> <version>1.4.2</version> </dependency> # Shiro-redis <dependency> <groupId>org.cra...

10/20 20:02
21
0
ACM MM顶会论文 | 对话任务中的“语言-视觉”信息融合研究

目标导向的视觉对话是“视觉-语言”交叉领域中一个较新的任务,它要求机器能通过多轮对话完成视觉相关的特定目标。该任务兼具研究意义与应用价值。日前,北京邮电大学王小捷教授团队与美团A...

10/19 15:01
26
0
邮件发送

添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-mail</artifactId> </dependency> 配置文件 # Login user of the SMTP server. sprin...

10/18 23:55
24
0
机器学习在高德地图轨迹分类的探索和应用

1.背景 当我们打开导航,开车驶向目的地的过程中,有时候会碰到这样的问题:前方明明没有路,可能在施工封闭,可是导航仍然让我们往前开车,以至于我们无法顺利到达目的地。全国道路千千万,...

10/16 15:01
3.9K
2
当内容创作者的“后盾”,酷开网络铸就“大屏时代”新生态

文 | 曾响铃 来源 | 科技向令说(xiangling0815) 历时8天,这个“中秋+国庆”的超长假期在“依依不舍”中也终于完结,据相关数据显示,今年“双节”期间出游人数达到了6.37亿人次,虽然没有...

10/16 11:33
24
0
读论文 - F1 Lightning: HTAP as a Service

作者:马晓宇 论文发布之后已经有一段时间了,之前提到的这篇文章由于种种原因也是欠了有些日子,抱歉了大家。 上次说过,这次 VLDB 有好些篇都是 HTAP(Hybrid Transactional / Analytical...

10/15 18:03
47
0
决定系数R2能否为负数?

R2 —— 评估回归的方法 回归是将函数拟合到数据的方法。例如,我们能够通过卫星统计沃尔玛门口停车场的汽车数量,也可以通过其收益报告了解沃尔玛在对应时段的销售额。于是,你想建立一个汽...

10/15 13:04
143
0
中移物联网在车联网场景的 TiDB 探索和实现

作者简介:薛超,中移物联网有限公司数据库运维高级工程师 中移物联网有限公司是中国移动通信集团公司投资成立的全资子公司,公司按照中国移动整体战略布局,围绕“物联网业务服务的支撑者、...

10/14 18:19
24
0
思维造物IPO:从知识付费到终身教育,罗振宇的新故事可行吗?

出品 l 观点财经 作者 l 大钊 说起罗振宇,大家可能会想到几个关键词,贩卖焦虑、知识付费和“得到”。 为什么是这几个词? 因为作为国内最成功的的几位“知识网红”之一,罗振宇在创业早期凭...

10/13 13:17
20
0
思维造物IPO:从知识付费到终身教育,罗振宇的新故事可行吗?

出品 l 观点财经 作者 l 大钊 说起罗振宇,大家可能会想到几个关键词,贩卖焦虑、知识付费和“得到”。 为什么是这几个词? 因为作为国内最成功的的几位“知识网红”之一,罗振宇在创业早期凭...

10/13 13:17
5
0
AI赋能数字金融 百融云创打造全方位智能风控解决方案

今年以来,疫情的蔓延使得国内外经济环境发生巨大改变,以数字化为代表的新经济正在重构全球经济格局。与此同时,疫情也加速了线上金融业务的发展,驱动金融业迎来数字化转型的拐点。 数字金...

10/13 11:48
23
0
从2020昇腾计算产业峰会,看产业生态如何加速AI普惠

文 | 曾响铃 来源 | 科技向令说(xiangling0815) 最近,以“昇腾万里,让智能无所不及”为主题的首届昇腾计算产业峰会在上海举办,业内专家、行业先锋、生态伙伴约500多人见证两年后昇腾AI计...

10/12 16:12
9
0
公众号添加淘宝链接

未认证的微信公众号可以添加外部网址: 任何外部网址都可以! 一、提交网址,获取微外链路径。 1.首先进入微外链官方网站:https://uom.cn/a/ 点击右上角的登录注册按钮,先注册一个账号(一...

10/06 10:17
8
0
未认证公众号跳转链接

未认证的微信公众号可以添加外部网址: 任何外部网址都可以! 一、提交网址,获取微外链路径。 1.首先进入微外链官方网站:https://uom.cn/a/ 点击右上角的登录注册按钮,先注册一个账号(一...

10/05 14:44
30
0
公众号加外链怎么不管用

未认证的微信公众号可以添加外部网址: 任何外部网址都可以! 一、提交网址,获取微外链路径。 1.首先进入微外链官方网站:https://uom.cn/a/ 点击右上角的登录注册按钮,先注册一个账号(一...

10/05 09:30
8
0
喜讯!美团-清华大数据课程对外开放啦!

开课啦 经过一年的沉淀和打磨,美团技术团队与清华大学电子系合作开设的研究生学分课程——《大数据技术的商业应用与实践》第二次登陆清华大学,于9月24日正式开课。 课程现场十分火爆,116...

10/01 20:26
172
0
腾讯云Elasticsearch集群规划及性能优化实践

一、引言 随着腾讯云 Elasticsearch 云产品功能越来越丰富,ES 用户越来越多,云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位,导致后期业务增长集...

09/30 16:54
60
0
联邦计算:不暴露真实数据如何完成合作建模?

导语 | 在金融场景下,银行等机构有强烈愿望和其他数据拥有方合作建模,但出于商业和合规方面的考虑,又不愿共享核心数据,导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节...

09/30 16:40
74
0
Hadoop框架:HDFS读写机制与API详解

本文源码:GitHub·点这里 || GitEE·点这里 一、读写机制 1、数据写入 客户端访问NameNode请求上传文件; NameNode检查目标文件和目录是否已经存在; NameNode响应客户端是否可以上传; 客户...

09/30 10:33
72
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部