精彩博客

AI场景存储优化:云知声超算平台基于 JuiceFS 的存储实践

云知声是一家专注于语音及语言处理的技术公司。**Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音、自然语言处理、视觉等)的模型迭代提供训练加速等基础计算能力。**Atlas 平台深度学习算力超过 57 PFLOPS(5.7 亿亿次/秒,是的你没有看错,是亿亿次] ),深度学习算力是衡量一个 AI 平台计算性能的核心指标。除了满足公司内部的业务需求,平台也为外部企业和院校机构提供定制化计算服务。 ![...

今天 18:00
40
0
揭秘百度智能测试在测试自动执行领域实践

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fb8f06c7b18b41fabf52de3a9ba9030f~tplv-k3u1fbpfcp-zoom-1.image) 上一篇,介绍了测试活动测试输入、测试执行、测试分析、测试定位和测试评估五个步骤中测试输入智能化研究和实践,包含异常单测生成、接口用例生成、动作集生成等研究与实践。本章节重点介绍测试执行环节的智能化实践。测试执行是指将测试生成的用例集、数据集利用手动和自动化的方式对这些集合运行...

今天 11:15
441
0
数据资产为王,如何解析企业数字化转型与数据资产管理的关系?

原文链接:[数据资产为王,解析企业数字化转型与数据资产管理的关系](https://mp.weixin.qq.com/s?__biz=MzU5ODYyNTkxMA==&mid=2247492808&idx=1&sn=0c8542f1b6f649327bf902e11cda6149&chksm=fe43ffd1c93476c70a57df76289fc1b8f0bec643eb626f1463ec3d5048146cb83239381ba8b6&token=1665246203&lang=zh_CN#rd) 视频回顾:[点击这里](https://www.bilibili.com/video/BV1Hr4y1g7Ao?spm_id_from=333.999.0.0) 课件获取:[点击这里]...

昨天 17:53
501
0
实践分享| Apache Linkis自定义变量介绍

1. 总述 需求背景 用户希望在写代码时,能够定义一些公共变量然后执行的时候进行替换,比如用户每天都会批量跑同一段sql,需要指定上一天的分区时间,如果基于sql去写会比较复杂如果系统提供一个run_date的变量将会非常方便使用。 目标 支持任务代码的变量替换 支持自定义变量,支持用户在脚本和提交给Linkis的任务参数定义自定义变量,支持简单的+,-等计算 预设置系统变量:run_date,run_month,run_today等系统变量 2. 总体设...

06/24 14:15
256
0
带你认识图数据库性能和场景测试利器LDBC SNB

摘要:本文主要介绍基于交互式查询所用的数据生成器(下文简称Datagen),及LDBC SNB数据如何在华为图引擎服务GES中应用。 本文分享自华为云社区《【图数据库性能和场景测试利器LDBC SNB】系列一:数据生成器简介 & 应用于GES服务》,作者:闹闹与球球 本文的主要内容包括:基于交互式查询所用的数据生成器(下文简称Datagen)介绍,及LDBC SNB数据如何在华为图引擎服务GES中应用。LDBC SNB所预设的节点和关系、数据生成器和系统...

前天 11:36
202
0
【高手问答 284 期汇总】 —— 为什么说存算分离是大数据平台的未来

随着累积的数据量的增大,大数据业务量的增多,数据存储和处理的成本越来越高,企业数据基础设施的投资越来越大。同时,大数据处理组件多,不同组件使用不同的数据处理格式,比如大家熟悉的数据湖、数据仓库使用的就是不同的格式,多样化的数据格式导致数据存储变得复杂,系统中应对不同的场景,往往同样的数据需要存储多份,不同组件之间还需要大量的数据拷贝和格式转换,消耗大量的资源。 在当前越来越强调云原生的环境下,存...

06/24 16:36
1.8K
0
深度学习概述:从基础概念、计算步骤到调优方法

自2012年深度学习崛起以来,这项技术已被应用到计算机视觉、NLP、推荐等各领域,推动了技术发展,创造了巨大的商业价值。同时,深度学习的算法和网络结构在这期间也在不断发展,但不管怎样,它们都遵循深度学习的基础理论。 温故而知新,如今回顾深度学习的基本原理,依然对我们理解它从何发展而来,为什么能发挥作用至关重要,也对我们在下个十年推进深度学习有指导性意义。 因此,本文将重点回顾深度学习相关的基础理论知识。...

06/17 08:03
618
1
走好数据中台最后一公里,为什么说数据服务API是数据中台的标配?

原文链接:[走好数据中台最后一公里,数据服务API是数据中台的标配](https://mp.weixin.qq.com/s?__biz=MzU5ODYyNTkxMA==&mid=2247492751&idx=2&sn=ac8c822e31e7630edfb2a38eb6a44ef1&chksm=fe43ff96c9347680db5874c74f8300b291149cb5541a1189cc04c766c916806b44dc4f020924&token=1968263216&lang=zh_CN#rd) 视频回顾:[点击这里](https://www.bilibili.com/video/BV1QY411K7e3?spm_id_from=333.999.0.0) 课件获取:[点击这里]...

06/23 00:02
1.4K
0
【AutoML】超参数优化及提前停止算法

文 @ 小 P 家的小胡易生 0 前言 深度神经网络 (DNN) 凭借强大的特征提取和数据拟合能力在机器学习诸多领域表现不凡。但目前对于人们来说,DNN 仍是一个黑盒,其内部的运作原理缺乏完备的理论支撑,即便相同的模型结构、相同的数据,在不同的超参数下训练得到的结果也可能有着巨大的差异。 在面对日新月异的细分任务和不同数据集时,前人经验对超参数设置的指导作用十分有限,并且超参数是不可导的,也就意味着无法转换为最优化问...

06/21 17:06
689
0
【CVPR2022】用于域适应语义分割的域无关先验

摘要:本文给大家分享一篇我们在CVPR 2022 上发表的paper:Domain-Agnostic Prior for Transfer Semantic Segmentation。文章提出了一种图像域无关的先验,可以有效地提升域适应语义分割的精度。 本文分享自华为云社区《EI盘古研究分享【CVPR2022】用于域适应语义分割的域无关先验》,作者:198808xc。 1. UDA 分割中的相似类别混淆问题 尽管self-training在UDA任务上取得不错的结果,但是在区分语义上相似的类时仍然存在困难,...

06/20 11:46
539
0
高效实践|频繁项集挖掘算法在告警关联中的应用

本篇我们将主要围绕频繁项集挖掘算法的实际应用,即当该算法应用到告警关联场景中时,我们遇到了哪些问题,如何解决这些问题,以及我们如何在原始 FP-Growth 算法的基础上进行改进,从而研发了专用于告警关联场景下的 CW-FP-Growth 算法。为了展示该算法的实际效果,我们在文末给出了这一算法在脱敏数据中的案例。 # 一、频繁项集挖掘与告警关联如何结合? 在前文中,我们介绍了频繁项集挖掘问题以及两种典型的算法,然而如何将...

06/17 15:04
922
0
训练千亿参数大模型,离不开四种GPU并行策略

作者|Lilian Weng、Greg Brockman 翻译|董文文 AI领域的许多最新进展都围绕大规模神经网络展开,但训练大规模神经网络是一项艰巨的工程和研究挑战,需要协调GPU集群来执行单个同步计算。 随着集群数和模型规模的增长,机器学习从业者开发了多项技术,在多个GPU上进行并行模型训练。 乍一看,这些并行技术令人生畏,但只需对计算结构进行一些假设,这些技术就会变得清晰——在这一点上,就像数据包在网络交换机之间传递一样,那...

06/15 08:03
831
0
模型部署篇

服务器部署 Flask Flask是一个使用Python编写的轻量级Web应用框架。 安装Flask pip install Flask 现在我们开始一个Hello World。 from flask import Flask, request app = Flask(__name__) @app.route("/hello") def helloword(): return "<h1>Hello World</h1>" if __name__ == '__main__': app.run(host='192.168.0.138', port=8090, debug=True) 运行后显示 * Serving Flask app "flask_web"...

06/02 09:56
1.9K
0
一个算子在深度学习框架中的旅程

撰文|赵露阳 算子即Operator,这里简称op。op是深度学习的基础操作,任意深度学习框架中都包含了数百个op,这些op用于各种类型的数值、tensor运算。 在深度学习中,通过nn.Module这样搭积木的方式搭建网络,而op就是更基础的,用于制作积木的配方和原材料。 譬如如下的一个dem o 网络: import oneflow as torch class TinyModel(torch.nn.Module): def __init__(self): super(TinyModel, self).__init__() self.line...

06/14 08:03
1K
0
如何使用Superset可无缝对接MRS进行自助分析

摘要:本文主要介绍如何在MRS之上使用Superset进行数据分析。 本文分享自华为云社区《使用商业智能软件Superset分析MRS数据之最佳实践》,作者: 啊喔YeYe 。 1. 概要 Superset Apache Superset是一个现代的数据探索和可视化平台。具有功能强大、支持数据种类多、使用简单、易扩展、可视化能力丰富等诸多优势,在github上也有4.6w+的star. MRS MRS是华为云提供的一站式大数据平台,基本覆盖了Hadoop生态中常用的基本组件,免去我...

06/08 15:38
461
0
实时开发平台建设实践,深入释放实时数据价值丨04期直播回顾

原文链接:[实时开发平台建设实践,深入释放实时数据价值](https://mp.weixin.qq.com/s?__biz=MzU5ODYyNTkxMA==&mid=2247492687&idx=2&sn=39bbb1a51fdb40bd6418728222c4dc14&chksm=fe43ff56c9347640698087fd24c0829697e1f0e429690135228fa0995838d553bac224c55964&token=31515769&lang=zh_CN#rd) 视频回顾:[点击这里](https://www.bilibili.com/video/BV1ga411L7Se?spm_id_from=333.999.0.0&vd_source=0cc9f5173a7038fa5f8449a...

06/15 11:25
790
0
基于模板配置的数据可视化平台

![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/adf24515f6f54608823ed6a958b6acae~tplv-k3u1fbpfcp-zoom-1.image) > **导读**:在大数据智能时代,数据分析的价值越来越重要,而数据分析可视化平台的能力要求也越来越高。本文从百度数据中心的数据可视化平台出发,介绍了配置化的数据可视化平台的应用价值,并对数据可视化平台的整体处理架构进行了拆解。基于可配置的数据可视化平台,可以高效支持复杂的数据分析...

06/09 14:58
306
0
【大规模训练】ZeRO 的思路与实现

文 @ 不愿透露姓名的小 P 同学 前言 本次大规模训练技术系列分享之 ZeRO,主要对微软 ZeRO Optimizer 的思路和实现进行介绍,全文包含以下四个部分: 大规模训练的技术挑战 & 现有的并行训练方式 ZeRO Optimizer 的三个不同级别 ZeRO-3 具体实现思路和方式 ZeRO 的局限与大模型训练的未来 训练大模型的挑战 随着人工智能技术在全球的推广应用,自动驾驶、人脸识别、自然语言处理等越来越多领域通过深度学习大大提升了算法的整体...

06/14 17:51
777
0
被这个参数三杀了

最近接连排查了几个问题,居然都是同一个参数引起的,本文就通过实际案例讲述下该参数如何引发问题的,以及问题最终又是如何解决的~ 【First Blood】 在我们的环境中,RM是基于HA的方式部署的,并且RM是基于容器的方式运行的,即两个RM运行在各自的容器中;同时,我们还开启了kerberos认证,因此两个RM的hostname配置的是域名。主要的配置信息如下所示: <property>     <name>yarn.resource.ha.enabled</name>     ...

06/07 23:57
330
0
流批一体!实时数据处理场景化典型应用实例(干货)~

什么是数据实时处理?有哪些典型应用场景?实时数据处理的意义是? 下文围绕实时数据应用的产品特性和场景,一一解答。 01 实时数据处理 以实时数据平台 flashflow 举例,它的具体处理过程: 数据从生成->实时采集->实时缓存存储->实时计算->实时落地->实时展示->实时分析。 简言之,数据实时处理是指系统对现场数据在其发生的实际时间内进行收集和加工处理的过程。 flashflow 的实时计算是针对海量数据进行的,经过实时加工处理...

06/13 18:42
1.4K
0

没有更多内容

加载失败,请刷新页面

我把整个研发中台拆分过程的一些心得总结

背景在21年,中台拆分在21年,以下为中台拆分的过程心得,带有一定的主观,偏向于中小团队中台建设参考(这里的中小团队指3-100人的团队),对于大型团队不太适用,毕竟大型团队人中/技术充足...

昨天 20:07
5.4K
3
字节跳动开源 Go HTTP 框架 Hertz 设计实践

前言 Hertz 是字节跳动服务框架团队研发的超大规模的企业级微服务 HTTP 框架,具有高易用性、易扩展、低时延等特点。在经过了字节跳动内部一年多的使用和迭代,如今已在 CloudWeGo 正式开源。...

06/22 13:50
8.8K
1
得物App数据模拟平台的探索和实践

原创|得物技术-凌遥 导读 Mock是一个接口编辑模拟工具,可以快速手动或者基于YAPI创建Mock接口模拟数据调试,同时支持场景,场景组的快速切换,方便在开发期和测试阶段试验不同数据返回的U...

06/22 10:56
6.1K
0
记mysql-connector-java:8.0.28的bug排查,你可能也踩坑了

前言 如标题,最终查明问题是因为 mysql-connector-java:8.0.28 的一个 bug 导致的。但是在真相未浮出之前,整个问题可谓扑朔迷离,博主好久没有排查过如此得劲的 bug ,随着一层层的 debug ...

06/21 11:58
1.8W
9
百度交易中台之钱包系统架构浅析

导读:百度APP内含有现金、活动、虚拟等多类资产信息,分布于百度APP内各个业务线中,用户回访信息难度较高,且用户对百度资产认知度不高。我的钱包建立后,汇聚百度APP内所有用户资产信息,...

06/21 11:30
1W
4
剖析 SPI 在 Spring 中的应用

vivo 互联网服务器团队 - Ma Jian 一、概述 SPI(Service Provider Interface),是Java内置的一种服务提供发现机制,可以用来提高框架的扩展性,主要用于框架的开发中,比如Dubbo,不同框架...

06/21 09:20
6.6K
4
前端自动化构建之Gulp

前端自动化构建之Gulp 本篇文章的核心是介绍一款强大的任务流工具Gulp,之所以题目叫做“前端自动化构建之Gulp”,是因为Gulp本身是使用JS编写的运行在Node环境的一个npm包,并且大部分开发者...

06/18 12:41
6.4K
2
掘地三尺搞定 Redis 与 MySQL 数据一致性问题

Redis 拥有高性能的数据读写功能,被我们广泛用在缓存场景,一是能提高业务系统的性能,二是为数据库抵挡了高并发的流量请求,点我 -> 解密 Redis 为什么这么快的秘密。 把 Redis 作为缓存组...

06/17 16:12
1.2W
7
系统困境与软件复杂度,为什么我们的系统会如此复杂

作者:聂晓龙(率鸽) 读 A Philosophy of Software Design 有感,软件设计与架构复杂度,你是战术龙卷风吗? 前言 有一天,一个医生和一个土木工程师在一起争论“谁是世界上最古老的职业”。...

06/17 15:50
1.4W
15
基于 Prometheus + Grafana 实现 Nexus 监控观测

前言 Nexus 是开源的 Maven 私服仓库,同时 Nexus 还支持 Npm 、 .Net、Golang 、Python 等开发语言的包管理。Nexus 也是我们重度使用的一个应用,Nexus 保存着 Tap 各开发组的代码构建产物。...

06/16 18:21
9.1K
1
一种简单的架构设计逻辑|得物技术

1 背景 技术方案设计和评审是版本迭代的一个重要环节,一般情况下版本迭代交付,技术方案设计在2-3天,颗粒度大的需求或者独立项目,这一个环节的时间会适度拉长,但是整体时间还是比较紧凑。...

06/15 15:35
1.4W
10
kLoop:直通 Linux 内核的高性能 asyncio

本文适合有一定编程基础的同学阅读,但不要求有任何专业方向的经验。写作目的,一是撺掇各路英豪一起做开源,二是记录一下新项目的选型设计和概念验证过程。全文小一万字(知乎那个字数统计…...

06/12 04:24
1.2W
9
Cube 技术解读 | Cube 渲染设计的前世今生

作者:何瑾(潇珺) 本文为《Cube 技术解读》系列第四篇文章,往期文章欢迎大家回顾。 《Cube 技术解读 | Cube 小程序技术详解》 《Cube 技术解读 | 支付宝新一代动态化技术架构与选型综述》 ...

06/10 15:19
7.1K
1
618 大促来袭,浅谈如何做好大促备战

作者:泮圣伟(十眠) 如何有效利用云产品做好我们的业务大促备战,这是一个大家都比较关心的问题。今天趁着 618 大促来袭前,谈一谈我们所积累的最佳实践。 点击下方链接,立即查看视频讲解...

06/09 14:44
6.1K
2
Android对so体积优化的探索与实践

减小应用安装包的体积,对提升用户体验和下载转化率都大有益处。本文将结合美团平台的实践经验,分享 so 体积优化的思路、收益,以及工程实践中的注意事项。本文将先从 so 文件格式讲起,结合...

06/09 12:06
6.4K
0
淘宝Native研发模式的演进与思考 | DX研发模式

DX全称DinamicX,目前是在淘宝乃至整个阿里集团内广泛使用的Native动态化方案,核心优势是性能和稳定性。过去几年一直有其他淘宝/集团的外部文章中有涉及到DX,但DX一直没有对外做过完整介绍...

06/07 16:51
9K
1
React Native 资源更新增量包的优化实践

本文首发于微信公众号“Shopee技术团队” 。 作者:Pei,来自 Shopee 商家服务前端团队。 1. 背景 Shopee 的许多手机应用是原生与 React Native(下文简称 “RN”)的混合(hybrid)应用。在...

06/06 17:37
4.8K
0
实时数据湖在字节跳动的实践

对实时数据湖的解读 数据湖的概念是比较宽泛的,不同的人可能有着不同的解读。这个名词诞生以来,在不同的阶段被赋予了不同的含义。 数据湖的概念最早是在 Hadoop World 大会上提出的。当时的...

06/06 11:48
9.9K
0
Golang 常见设计模式之单例模式

之前我们已经看过了 Golang 常见设计模式中的装饰和选项模式,今天要看的是 Golang 设计模式里最简单的单例模式。单例模式的作用是确保无论对象被实例化多少次,全局都只有一个实例存在。根据...

06/01 10:25
7.8K
3
3000帧动画图解MySQL为什么需要binlog、redo log和undo log

> 全文建立在MySQL的存储引擎为InnoDB的基础上 先看一条SQL如何入库的: 这是一条很简单的更新SQL,从MySQL服务端接收到SQL到落盘,先后经过了MySQL Server层和InnoDB存储引擎。 Server层就像...

05/31 21:58
2W
25

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
返回顶部
顶部