精彩博客

网易有道开源EMLL:高性能端侧机器学习计算库,大幅提高计算性能

## 简介 在人工智能技术不断深入发展的今天,我们对于计算的性能要求越来越高。传统的计算处理多数是基于云侧的,把所有图像、音频等数据通过网络传输到云中心进行处理后将结果反馈。但是随着数据的指数式增长,依靠云侧的计算已经显现了诸多不足,例如数据处理的实时性、网络条件制约、数据安全等,因此端侧的推理则愈发重要。 在这样的背景下,网易有道AI团队自主设计研发了**高性能端侧机器学习计算库——EMLL(Edge ML Libr...

前天 16:28
1.3K
0
Angel图神经网络算法在推荐场景下的实践

分享嘉宾:孙瑞鸿 腾讯大数据 编辑整理:赵文娇 出品平台:DataFunTalk、AI启蒙者 导读:随着数据多样性的发展,图计算已经成为业界的一个重要的研究方向,其中图神经网络广泛应用于图的表征学习,与传统的图学习相比,既能学习图网络的拓扑结构,也能聚合邻居特征,从而能够有效的学习到图网络中的信息,为后续的推荐工作起到关键作用。 01 图神经网络简介 万物互联 以社交网络的构建方式为例,之前主要以“关注关系”为基础进...

05/11 16:30
964
0
腾讯Kona JDK数据科学实践

导语:开源操作系统年度技术会议(Open Source Operating System Annual Technical Conference,简称 OS2ATC)已经连续成功举办了八届。该会议旨在促进我国操作系统及其相关领域的教学、研究与产业发展,加强学术交流,展示产业界成果,是中国地区颇具规模的技术盛会。 第八届OS2ATC大会于2020年12月27日,在北京中科院计算技术研究所举行。在”编程技术”分会上,腾讯高级工程师傅杰博士发表了《Kona JDK数据科学实践》的演讲。...

04/25 11:49
1.2K
0
PaddleSeg图像分割库再添新武器,新增压缩部署方案FLOPs降低51%

相信很多人都看过电影《变形金刚》,电影中经常可以看到大黄蜂变身的跑车飞驰在公路之上,可是大家有没有仔细想过,大黄蜂是怎么知道马路中间是黄实线还是黄虚线,到底能不能压线,能不能掉头呢?要知道差一点没分清楚,那就是200块钱罚3分的下场。说到这里那些了解图计算机视觉的小伙伴们应该就会想到这个领域的核心研究方向之一的图像分割技术(Image Segmentation)。 下载安装命令 ## CPU版本安装命令 pip install -f ...

2020/03/25 19:46
1.4K
0
推特工程师推荐的通过深度学习框架的二阶优化器

你是否曾想在TensorFlow或PyTorch编写的代码中使用二阶优化器?使用SciPy最小化来优化一个张量字典呢?如果是这样,可能需要很多麻烦的代码。对于另一种方法,请看dict-minimize包,它兼顾一切,让用户轻松优化在TensorFlow、PyTorch或JAX中实现的目标。 背景 现代深度学习框架及其内置的优化工具,都是围绕着用户想要使用随机梯度下降(SGD)或其变体(如ADAM)进行优化的假设而设计的。许多深度学习从业者甚至可能不知道在优化...

06/14 13:28
702
0
最佳实践|放弃 Ceph,Salesforce 使用 Apache BookKeeper 在云中实现最强存储

关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 GitHub 地址:http://github.com/apache/pulsar/ 本文要点 •使存储系统感知云的传统方式是直接迁移,这种方式表现良好,但从我们的经验来看...

06/04 19:21
1.8K
0
Doris 最佳实践-Compaction调优(2)

本文是 Compaction 调优系列文章的第二篇。在[[前一篇文章](https://my.oschina.net/u/3774656/blog/5075260 "前一篇文章")]中我们介绍了Compaction的一些基本概念。这里我们回顾下两个重要概念: 1. 每个 BE 节点上的 Compaction 操作都是独立进行的。Compaction 的对象是单个 BE 节点上的全部数据分片。 2. Compaction 分为 Base Compaction(BC) 和 Cumulative Compaction(CC),由Cumulative Point(CP) 划分,根据一定策略,选...

06/10 14:23
1.5K
0
数据管理:业务数据清洗,落地实现方案

# 一、业务背景 在系统业务开发的过程中,都会面临这样一个问题:面对业务的快速扩展,很多版本在当时没有时间去全局考虑,导致很多业务数据存储和管理并不规范,例如常见的问题: - 地址采取输入的方式,而非三级联动; - 没有统一管理数据字典获取接口; - 数据存储的位置和结构设计不合理; - 不同服务的数据库之间存在同步通道; 而分析业务通常都是要面对全局数据,如果出现大量的上述情况,就会导致数据在使用的时候难度非...

06/09 08:13
3.9K
0
Apache Doris FE配置参数

今天刚整理完,提了RP到社区,现在这发布一下,大家可以参考 Doris FE配置参数 该文档主要介绍 FE 的相关配置项。 FE 的配置文件 fe.conf 通常存放在 FE 部署路径的 conf/ 目录下。 而在 0.14 版本中会引入另一个配置文件 fe_custom.conf。该配置文件用于记录用户在运行是动态配置并持久化的配置项。 FE 进程启动后,会先读取 fe.conf 中的配置项,之后再读取 fe_custom.conf 中的配置项。fe_custom.conf 中的配置项会覆盖 fe.c...

06/05 15:08
3.2K
0
CVPR 2021 | 基于Transformer的端到端视频实例分割方法

> 实例分割是计算机视觉中的基础问题之一。虽然静态图像中的实例分割已经有很多的研究,对视频的实例分割(Video Instance Segmentation,简称VIS)的研究却相对较少。而真实世界中的摄像头所接收的,无论自动驾驶背景下车辆实时感知的周围场景,还是网络媒体中的长短视频,大多数为视频流的信息而非纯图像信息。因而研究对视频建模的模型有着十分重要的意义,本文系美团无人配送团队在CVPR 2021发表的一篇论文解读。 ## 前言 ...

06/04 16:29
2.1K
0
百度飞桨轻量化推理引擎再升級,新增适配国产AI芯片比特大陆算丰

2020年伊始,AI技术持续深入发展,人工智能场景规模化落地与应用不断创造新的中国速度。随着AI技术与传统行业的不断融合,智能经济时代的全新产业版图初步显现。 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu 进入智能时代,AI芯片和深度学习框架二者融...

2020/04/01 21:49
2.6K
0
ETL工程师必看!超实用的任务优化与断点执行方案

前言 随着大数据时代的快速发展,企业每天需要存储、计算、分析数以万亿的数据,同时还要确保分析的数据具备及时性、准确性和完整性。面对如此庞大的数据体系,ETL工程师(数据分析师)如何能高效、准确地进行计算并供业务方使用,就成了一个难题。 作为一家数据智能公司,个推在大数据计算领域沉淀了丰富的经验。本篇文章将对大数据离线计算过程中出现的任务缓慢和任务中断这两大痛点问题提出解决思路,期望读者能够有所收获。...

06/04 11:12
4.3K
0
避坑指南!数据分析最容易被忽略的10个错误

本文总结了数据分析的几个阶段中最常犯的10个错误,以及规避的方法,收藏起来,分析不翻车! 一、数据采集阶段 1、数据失真 数据是可能骗人的,比如店铺、电影的评分,可能被人为操控;比如某公司发布的行业分析报告,也具有很大的主观性。 基于错误的数据,做出的分析结论是无益甚至是有害的。所以在采集数据时,我们先要考证数据的来源及可信度,还要关注不符合常理的数据变化,对数据采集方法进行调整。 2、幸存者偏差 就算数...

06/03 14:07
1K
0
【干货分享】带你了解什么是批流统一的高效数据同步插件—FlinkX

一、什么是FlinkX FlinkX是一款基于Flink的分布式离线/实时数据同步插件,可实现多种异构数据源高效的数据同步,其由袋鼠云于2016年初步研发完成,目前有稳定的研发团队持续维护,已在Github上开源(开源地址详见文章末尾),并维护该开源社区。目前已完成批流统一,离线计算与流计算的数据同步任务都可基于FlinkX实现。 FlinkX将不同的数据源库抽象成不同的Reader插件,目标库抽象成不同的Writer插件,具有以下特点: 基于Fli...

03/30 19:07
1.3K
0
分钟级在线深度学习在手淘信息流排序模型中的探索与实践

天下武功,无坚不摧,唯快不破。近些年,深度学习如玄铁重剑在推荐系统中无坚不摧,给搜索/推荐/广告等业务场景带来巨大的收益,而在线学习则如唯快不破的独孤九剑,也在推荐算法中以快制胜,创建巨大的业务价值。 前些年流行的FTRL等在线学习算法在深度学习中已不太适用,为此信息流推荐算法团队从2019年开始探索在线学习的下一式——在线深度学习(Online Deep Learning, ODL),在首页商品信息流全量小时级在线深度学习,使得...

Hive 千亿级数据倾斜解决方案

数据倾斜问题剖析 数据倾斜是分布式系统不可避免的问题,任何分布式系统都有几率发生数据倾斜,但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”,为什么说千亿级,因为如果一个任务的数据量只有几百万,它即使发生了数据倾斜,所有数据都跑到一台机器去执行,对于几百万的数据量,一台机器执行起来还是毫无压力的,这时数据倾斜对我们感知不大,只有数据达到一个量级时,一台机器应付不了这...

06/03 09:40
3K
0
带你认识大模型训练关键算法:分布式训练Allreduce算法

摘要:现在的模型以及其参数愈加复杂,仅仅一两张的卡已经无法满足现如今训练规模的要求,分布式训练应运而生。 本文分享自华为云社区《分布式训练Allreduce算法》,原文作者:我抽签必中。 现在的模型以及其参数愈加复杂,仅仅一两张的卡已经无法满足现如今训练规模的要求,分布式训练应运而生。 分布式训练是怎样的?为什么要使用Allreduce算法?分布式训练又是如何进行通信的?本文就带你了解大模型训练所必须的分布式训练A...

06/02 15:11
1.7K
0
浅析决策树的生长和剪枝

摘要:决策树剪枝策略:先剪枝、后剪枝,用于解决过拟合问题。 本文分享自华为云社区《浅析决策树的生长和剪枝》,原文作者:chengxiaoli。 决策树(Decision Tree)是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干,故称决策树。在机器学习中,决策树是一个预测...

05/20 12:00
478
0
数栈技术分享:Hive优化之配置参数的优化

Hive是大数据领域常用的组件之一,主要用于大数据离线数仓的运算,关于Hive的性能调优在日常工作和面试中是经常涉及的一个点,因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。 1. 创建一个普通表 table test_user1(id int, name string,code string,code_id string ...

04/01 10:36
538
0
数栈技术分享:开源·数栈-扩展FlinkSQL实现流与维表的join

一、扩展FlinkSQL实现流与维表的join 二、为什么要扩展FlinkSQL? 1、实时计算需要完全SQL化 SQL是数据处理中使用最广泛的语言。它允许用户简明扼要地声明他们的业务逻辑。大数据批计算使用SQL很常见,但是支持SQL的实时计算并不多。其实,用SQL开发实时任务可以极大降低数据开发的门槛,在袋鼠云数栈-实时计算模块,我们决定实现完全SQL化。 数据计算采用SQL的优势 ☑ 声明式。用户只需要表达我想要什么,至于怎么计算那是系统...

06/01 15:39
726
0

没有更多内容

加载失败,请刷新页面

初窥鸿蒙

一、什么是鸿蒙 鸿蒙即 HarmonyOS ,是华为公司推出的支持手机、平板、智能穿戴、智慧屏、车机等多种终端设备的分布式操作系统,并且它提供了多语言开发的 API,支持 Java、XML、C/C++、JS、...

06/10 18:21
1.6W
6
深入浅出聊聊 Rust WebAssembly(一)

什么是 webassembly 在 2019 年 12 月之前,如果你要编写一个web页面,那一定离不开 html、css、js 这三个好兄弟。在 2019 年 12 月之后 W3C 宣布 webassembly 加入了他们。为什么要在三兄弟...

06/10 10:55
1.4W
3
一文教会你认识Vuex状态机

摘要:简单来说,Vuex就是实现组件全局状态(数据)管理的一种机制,可以方便的实现组件之间数据的共享。 本文分享自华为云社区《Vuex状态机快速了解与应用》,原文作者:北极光之夜。 一. 速识...

06/09 10:02
1.5W
4
V8 执行 JavaScript 的过程

👆 这是第 102 篇不掺水的原创,想要了解更多,请戳上方蓝色字体:政采云前端团队 关注我们吧~ 本文首发于政采云前端团队博客:V8 执行 JavaScript 的过程 https://www.zoo.team/article...

06/08 21:30
7.8K
4
读写分离水太深,你把握不住,让CQRS来

多年以前,那时我正年轻,做技术如鱼得水,甚至一度希望自己能当一辈子的一线程序员。 但是我又有两个小愿望想要达成:一个是想多挣点钱;另一个就是对项目的技术栈和架构选型能多有点主动权...

06/08 14:07
2.6W
13
Go timer 是如何被调度的?

hi,大家好,我是 haohongfan。 本篇文章剖析下 Go 定时器的相关内容。定时器不管是业务开发,还是基础架构开发,都是绕不过去的存在,由此可见定时器的重要程度。 我们不管用 NewTimer, ti...

06/08 08:37
7.2K
0
深入浅出协程、线程和并发问题

"协程是轻量级的线程",相信大家不止一次听到这种说法。但是您真的理解其中的含义吗?恐怕答案是否定的。接下来的内容会告诉大家协程是如何在 Android 运行时中被运行的,它们和线程之间的关...

06/03 11:44
1.9W
0
深入解析 Raft 模块在 ZNBase 中的优化改造(下)

作者:管延信 上期回顾:深入解析 Raft 模块在 ZNBase 中的优化改造(上) 导读 云溪数据库 ZNBase 是由浪潮开源的一款 NewSQL 分布式数据库,具备 HTAP 特性,拥有强一致、高可用的分布式架...

05/31 11:03
5.5K
8
浅析扣减库存的方案设计

你好,我是悟空,今天来探讨下扣减库存的方案。 生活中,我们总是用各种电商app抢购商品,但是库存数是很少的,特别是秒杀场景,商品可能就一件,那如何保证不会出现超卖的情况呢? 一、扣减...

05/28 15:01
2.2W
3
HTAP 数据库如何实现?浅析 ZNBase 中的列存引擎

作者:马静伟 编辑:大东BE 导读 TP 与 AP 融合的 HTAP 数据库正成为业内的发展趋势。但由于大规模数据场景下 TP 与 AP 系统本身的复杂性,要在一套数据库系统中融合两种使用场景的功能并不容...

05/28 14:03
8.6K
18
高德Serverless平台建设及实践

导读 高德启动Serverless建设已经有段时间了,目前高德Serverless业务的峰值早已超过十万QPS量级,平台从0到1,QPS从零到超过十万,成为阿里集团内Serverless应用落地规模最大的BU。这个过程...

05/28 12:10
1.4W
1
从源码出发看zgc的技术内幕

笔者经过上次对zgc在不同环境下进行的测试后,发现zgc所带来的提升非常之大。一时间对zgc在生产中使用充满信心,但是在全面使用之前,难免对其几大新特性有一些好奇,比如:染色指针,读屏障...

05/27 16:38
2W
13
拯救祭天的程序员——事件溯源模式

一、事前 你相信吗?曾经有一段日子,我几乎没接到过合格的产品需求。 开局几句话,技术全靠猜。 总是以为简单的需求 曾经,我从产品那里接到过这么一个需求: 对系统的用户进行分级,不同级别...

05/27 12:54
2.3W
8
React 事件系统是如何工作的?

一、DOM 事件流 在浏览器中,我们通过事件监听来实现 JS 和 HTML 之间的交互。一个页面往往会被绑定许许多多的事件,而页面接收事件的顺序,就是事件流。它类似于蹦床,从高处下落,触达蹦床...

05/24 19:25
1.2W
5
懂得取舍才是缓存设计的真谛

Previously 前两篇文章(缓存稳定性 和 缓存正确性)跟大家讨论了缓存的『稳定性』和『正确性』,缓存常见问题还剩下『可观测性』和『规范落地&工具建设』 稳定性 正确性 可观测性 规范落地和...

05/24 09:00
1.5W
1
提效 7 倍,Apache Spark 自适应查询优化在网易的深度实践及改进

本文基于 Apahce Spark 3.1.1 版本,讲述 AQE 自适应查询优化的原理,以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

05/21 10:47
1.2W
0
一起看 I/O | Android 更新一览

作者 / Karen Ng, Director, Product Management & Jacob Lehrbaum, Director of Developer Relations, Android & Play 作为 Android 开发者,我们致力于打造让世界各地的用户们满意的体验。...

05/20 19:06
3.5K
0
低代码平台如何一步步摧毁开发团队的效率与创新!

关于低代码平台,之前我也推送过两篇相关的文章,我的观点很简单:东西是好的,有它所擅长和适用的领域,但软件产品不存在银弹,低代码平台一样如此! 现在在搜索引擎上搜“低代码”这样的关...

05/14 10:26
4.1W
15
CSP浅析与绕过

XSS是最常见、危害最大的网页安全漏洞,想要抵御它们,要采取非常多编程措施,非常麻烦。那么,有没有可以从根本上解决问题,浏览器自动禁止外部注入恶意脚本的方法呢?CSP应运而生。 本文涉...

05/13 17:03
5K
2
Flutter Web插件实现:打通JavaScript和Dart

之前分享了如何在Flutter插件中支持Android和Windows,这篇文章将增加Web插件的实现方法,以及创建一个简单的web一维码,二维码识别应用。 参考资源 https://dart.dev/web/js-interop https:...

05/13 15:23
2.1W
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部