Artificial Intelligence 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。大数据(big data),是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。AI 研究通常需要大量数据支撑。

加载中
置顶
发表了博客
前天 14:48

揭秘 AIOps海量数据下,时序预测背后的原理

> 云智慧 AIOps 社区是由云智慧发起,针对运维业务场景,提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播 AIOps 技术,旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题,推动 AIOps 技术在企业中落地,建设健康共赢的AIOps 开发者生态。 ## 一、运维领域的预测场景 随着企业数字化转型加速发展,运维领域作为数字化进程的关键一环,受到各行各业的重视,然... 展开更多

收藏 0
0
置顶
发表了博客
05/17 08:30

CUDA优化之PReLU性能调优

撰文|郑泽康 InsightFace模型里大量使用了PReLU激活函数,而PReLU的工作模式有两种: 1. PReLU(1),此时权重alpha的形状为(1, ),等价于一个Elementwise操作。 2. PReLU(channels),此时权重alpha的形状为(channels, ),和输入特征(N, C, H, W)中C的大小是对应的。此时PReLU等价于一个Binary Broadcast操作。 InsightFace模型里的PReLU工作模式是第二种,之前已经介绍过CUDA Elementwise操作优化,而在Broadcast情形下也存在一... 展开更多

收藏 0
0
置顶
发表了博客
05/13 08:03

手把手推导Back Propagation

撰文|月踏 BP(Back Propagation)是深度学习神经网络的理论核心,本文通过两个例子展示手动推导BP的过程。 1 链式法则 链式法则是BP的核心,分两种情况: 1. 一元方程 在一元方程的情况下,链式法则比较简单,假设存在下面两个函数: 那么x的变化最终会影响到z的值,用数学符号表示如下: z对x的微分可以表示如下: 2. 多元方程 在多元方程的情况下,链式法则稍微复杂一些,假设存在下面三个函数: 因为s的微小变化会通过g(s... 展开更多

收藏 1
0
置顶
发表了博客
05/18 11:34

你应该了解的 NLP发展新趋势(实现方法总结)

> 云智慧 AIOps 社区是由云智慧发起,针对运维业务场景,提供算法、算力、数据集整体的服务体系及智能运维业务场景的解决方案交流社区。该社区致力于传播 AIOps 技术,旨在与各行业客户、用户、研究者和开发者们共同解决智能运维行业技术难题,推动 AIOps 技术在企业中落地,建设健康共赢的AIOps 开发者生态。 本期我们有幸邀请到南加州大学硕士生、云智慧智能研究院算法实习生蔺同学,为我们介绍 NLP 是如何走向了 prompt 与 ... 展开更多

收藏 0
0
置顶
发表了博客
05/18 17:17

争夺存量用户关键战,助力企业构建完美标签体系丨01期直播回顾

数字化导读: 上周三是袋鼠云数栈全新数据中台精讲系列——「数智赋能实战六讲」的第一场直播。袋鼠云数栈资深产品专家木研为大家带来了「争夺存量用户关键战,助力企业构建标签体系」的分享,我们将直播精华部分做了整理,带大家再次回顾内容,快速上手构建标签体系。 你能看到👇👇👇 ▫ 数字营销是数字化转型排头兵 ▫ 标签体系建设方法论 ▫ 标签体系在某基金的建设案例 直播课件&视频回放: 添加文末直播助手小栈,免... 展开更多

收藏 0
0
置顶
发表了博客
05/13 10:46

如何使用Python实现图像融合及加法运算?

摘要:本篇文章主要讲解Python调用OpenCV实现图像融合及加法运算,包括三部分知识:图像融合、图像加法运算、图像类型转换。 本文分享自华为云社区《[Python图像处理] 五.图像融合、加法运算及图像类型转换》,作者:eastmount。 一.图像加法运算 1.Numpy库加法 其运算方法是:目标图像 = 图像1 + 图像2,运算结果进行取模运算。 当像素值<=255时,结果为“图像1+图像2”,例如:120+48=168 当像素值>255时,结果为对255取模的结... 展开更多

收藏 0
0
置顶
发表了博客
05/17 23:18

业务数据治理体系化思考与实践

> 美团住宿数据治理团队从事数据治理工作多年,从最初的被动、单点治理,发展到后来的主动、专项治理,再发展到现在的体系化、自动化治理。一路走来,他们不断进行积累和沉淀,也在持续思考与实践。目前该团队取得了一些阶段性的成果,并得到美团多个业务线的认可和肯定。过程的经验与教训,希望能和大家分享,也希望能给从事数据治理工作的同学带来一些新思路。 ![](https://oscimg.oschina.net/oscnet/up-97a690d2a7f42b37358... 展开更多

收藏 36
1
置顶
发表了博客
05/18 10:33

探索开源工作流引擎Azkaban在MRS中的实践

摘要:本文主要介绍如何在华为云上从0-1搭建azkaban并指导用户如何提交作业至MRS。 本文分享自华为云社区《开源工作流引擎Azkaban在MRS中的实践》,作者:啊喔YeYe。 环境输入 实践版本:Apache azkaban 4.0.0 (以单机版举例,集群版本配置过程类似),MRS 3.1.0 普通集群。 Azkaban 插件地址 Azkaban 官网 Azkaban 源码地址 安装azkaban-solo-server Azkaban不提供二进制包,需要用户下载源码编译打包,获取到“azkaban-solo-... 展开更多

收藏 0
0
置顶
发表了博客
05/17 20:51

【深度学习编译】多面体模型编译:以优化简单的两层循环代码为例

文 @ 小 P 的小胡易生 0 背景 在编译器领域,多层 for 循环的代码优化往往是编译优化工作的重点内容。在深度学习编译器这一细分领域,大多神经网络中,多层 for 循环的算子占比多达一半以上。 因此,对这类代码的优化极其重要。优化手段之一是调整 for 循环语句中的每一个实例的执行顺序,即调度方式,使得新调度下的 for 循环代码有更好的局部性和并行性。 多面体模型算法的思想是: • 将多层 for 循环视为多维空间。 • 通过... 展开更多

收藏 0
0
置顶
发表了博客
05/17 08:43

在个人电脑用单块GPU带动180亿参数GPT!热门开源项目再添新特性

提到训练AI大模型,总能让人想起动辄几百上千块GPU、天价训练费用、只有几家大厂才玩得起,普通AI玩家看着铺天盖地的大模型新闻只能默默流泪~ 现在,仅有一块 GPU 的个人PC也可以训练高达180亿参数GPT;普通的笔记本 电脑 ,也能训练十几亿参数的模型,相比现有主流方案,可提升参数容量十余倍! 如此显著的提升来自Colossal-AI,一个通用AI大模型高效训练系统。最重要的是,它完全开源,仅需极少量修改,即可让现有深度学习项目... 展开更多

收藏 1
0
置顶
运营/编辑
发表了博客
05/16 09:32

vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。 在HDFS方面,支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNode Read、FairCallQueue、Intra-datanode balancer 等新特性。这些新特性在稳定性、性能、成本等多个方面带来诸多收益,我们打算将HDFS集群升级到HDFS 3.x 版本。 本篇文章会介绍我们是如何将CDH 5.14.4 HDFS 2.6.0 滚动... 展开更多

收藏 0
0
置顶
发表了博客
05/13 08:03

Autograd解析|OneFlow学习笔记

撰文|月踏 更新|赵露阳 前文《AI杂谈:手推BP》讲了Backward Propagation的数学原理。本文以OneFlow的代码为例,梳理Autograd模块的实现细节。 1 一个求梯度的小例子 先看下面这个简单的例子: import oneflow as ofx = of.randn(2, 2, requires_grad=True)y = x + 100z = y.sum()z.backward() forward pass可以对应到下面的计算图: 图1 即对应下面公式: 根据前文《 AI杂谈:手推BP 》很容易手动计算出x的梯度值,即: x1..... 展开更多

收藏 0
0
置顶
发表了博客
05/11 12:33

Hugging Face创始人亲述:一个GitHub史上增长最快的AI项目

来源|Gradient Dissent 翻译|贾川、胡燕君 Hugging Face,这家以emoji“抱抱脸”命名的开源创业公司,以一种连创始团队不曾预料的速度成为了AI开源社区的顶级“网红”。目前,Hugging Face模型库在Github上获得了超过62,000个Star,14,000次forks,代码贡献者超1200人,每月被安装超100万次。 就在5月10日,Hugging Face宣布C轮融资筹集了1亿美元,由Lux Capital领投,红杉资本、Coatue、Betaworks、NBA球星Kevin Durant等参与... 展开更多

收藏 0
0
置顶
发表了问答
05/12 17:51

高手问答第 282 期 —— 学霸带你入门强化学习

现在强化学习越来越热,作为机器学习及人工智能领域的一种重要方法,在游戏、自动驾驶、机器人路线规划等领域得到了广泛的应用。同时,强化学习对应的岗位高薪、前景广阔,吸引了许多人学习。 但是,是强化学习的学习门槛很高,光入门就特别难。如果能有学霸的帮忙,那可就能事半功倍了! OSCHINA 本期高手问答 (5 月 13日 -5 月 19日) 我们请来了 @王琦 @杨毅远 @江季 老师和大家一起探讨关于强化学习相关的问题。 可讨论的问题... 展开更多

收藏 2
置顶
发表了博客
05/12 10:07

使用Colossal-AI分布式训练BERT模型

### 前言 最近几周在研究分布式训练中的模型并行技术。为了直观感受和加深记忆,阅读相关论文的同时,动手用开源的大模型训练框架Colossal-AI逐步改写出了一个数据并行+模型并行的BERT来帮助理解。在这里想介绍一下借助Colossal-AI提供的零冗余优化器、张量并行、流水线并行等技术一点点缩小BERT模型内存占用的过程。 #### 文章内容: 1. 大规模模型对分布式训练带来了什么挑战?什么是Colossal-AI? 2. 用Colossal-AI提供的分布式... 展开更多

收藏 0
0
置顶
发表了博客
05/03 08:43

OneFlow如何做静态图的算子对齐任务

撰文|李响 1 前言 深度学习框架中模型的运行方式主要有动态图和静态图两种,动态图更易用,静态图性能更具优势,OneFlow 习惯将它们称为 Eager 模式和 Graph 模式。 OneFlow 提供了 nn.Graph 模块,让用户可以用类似 Eager 模式的编程习惯,构建静态图训练测试。因此,需要同时保证 Eager 和 Graph 模式下算子行为和结果的正确性。 在之前的文章《深度学习框架如何优雅地做算子对齐任务》中 ,分析了 Eager Ops 的自动测试流程... 展开更多

收藏 0
0
置顶
发表了博客
05/10 08:03

兼容PyTorch,25倍性能加速,OneFlow“超速”了

来源|机器之心 要想炼丹爽得飞起,就要选择一个顺手的炉子。作为 AI 工程师日常必不可缺的「炼丹炉」,「PyTorch 还是 TensorFlow?」已成为知乎、Reddit 等炼丹师出没之地每年都会讨论的热门话题。 业界流传一种说法:PyTorch 适合学术界,TensorFlow 适合工业界。毕竟,PyTorch 是用户最喜欢的框架,API 非常友好,Eager 模式让模型搭建和调试过程变得更加容易,不过,它的静态图编译和部署体验还不令人满意。TensorFlow 恰恰... 展开更多

收藏 0
0
置顶
发表了博客
05/10 22:14

博文推荐|Pulsar 独立集群如何实现单一、共享 BookKeeper

本文翻译自 StreamNative 博客《Pulsar Isolation Part III: Separate Pulsar Clusters Sharing a Single BookKeeper Cluster》,作者高冉。 译者简介 姚余钱@深圳觉行科技有限公司,致力于医疗大数据领域。热衷开源,活跃于 Apache Pulsar 社区。 这是关于在 Apache Pulsar 中实现资源隔离四篇博客系列中的第三篇博客。第一篇博客概述了在 Pulsar 中实现隔离的三种方法: 1.使用 BookKeeper 独立集群的 Pulsar 独立集群:这种无... 展开更多

收藏 0
0
置顶
发表了博客
05/05 10:43

低代码实时数仓构建系统的设计与实践

1 导读 本文介绍58信安基于Flink实现低代码实时数仓构建系统,我们将数仓构建这一过程进行抽象,通过工程化的思想去解决,将固有领域问题交给系统,让开发人员关注数据本身,解放人力缩短数仓构建周期。 2 背景 随着数据驱动业务的需求日益增多,数仓的建设越发频繁,开发人员在数仓构建这一个过程(埋点、埋点数据接收、数据补全、数据清洗、数据写入存储介质),从事着大量且重复的工作,同时对于实时数仓构建,需要一定的专业技... 展开更多

收藏 0
0
置顶
发表了博客
05/10 18:54

万字长文详解HBase读写性能优化

一、HBase 读优化 1. HBase客户端优化 和大多数系统一样,客户端作为业务读写的入口,姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法,这里一般需要关注四个问题: 1) scan缓存是否设置合理? 优化原理:在解释这个问题之前,首先需要解释什么是scan缓存,通常来讲一次scan会返回大量数据,因此客户端发起一次scan请求,实际并不会一次就将所有数据加载到本地,而是分成多次RPC请求进行加载,这样设... 展开更多

收藏 1
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
返回顶部
顶部
返回顶部
顶部