面向高维稀疏数据场景的深度学习框架 X-DeepLearning

Apache 2.0
C/C++ Python
跨平台
阿里巴巴
2018-12-29
王练

X-DeepLearning (简称 XDL ) 是面向高维稀疏数据场景(如广告/推荐/搜索等)深度优化的一整套解决方案。

现有开源框架在分布式性能、计算效率、水平扩展能力以及实时系统适配性的等方面往往难以满足工业级生产应用的需求,XDL 正是面向这样的场景设计与优化的工业级深度学习框架,经过阿里巴巴广告业务的锤炼,XDL 在训练规模和性能、水平扩展能力上都表现出色,同时内置了大量的面向广告/推荐/搜索领域的工业级算法解决方案。

系统核心能力

  • 为高维稀疏数据场景而生。支持千亿参数的超大规模深度模型训练,支持批学习、在线学习等模式。

  • 工业级分布式训练能力。支持 CPU/GPU 的混合调度,具备完整的分布式容灾语义,系统的水平扩展能力优秀,可以轻松做到上千并发的训练。

  • 高效的结构化压缩训练。针对互联网样本的数据特点,提出了结构化计算模式。典型场景下,相比传统的平铺样本训练方式,样本存储空间、样本IO效率、训练绝对计算量等方面都大幅下降,推荐等场景下整体训练效率最大可提升10倍以上。

  • 成熟多后端支持。单机内部的稠密网络计算复用了成熟开源框架的能力,只需要少量的分布式驱动代码修改,就可以把 TensorFlow/MxNet 等的单机代码运行在 XDL 上,获得 XDL 分布式训练与高性能稀疏计算的能力。

介绍来自:云栖

的码云指数为
超过 的项目
加载中

评论(0)

暂无评论

暂无资讯

暂无问答

Multinomial logistic regression

theano Multinomial logistic regression

2016/07/25 11:33
28
0
多层感知机

theano multilayer perceptron

2016/07/25 11:30
4
0
Theano学习笔记(一)——代数

标量相加 import theano.tensor as T from theano import function x = T.dscalar('x') y = T.dscalar('y') z = x + y f = function([x, y], z) 输入定义两个符号变量来代替数值,输出是一个...

2016/06/15 11:03
58
0
KDnuggets热门深度学习工具排行:Pylearn2 居首,Caffe第三

如今深度学习是AI和机器学习领域最热门的学习趋势。我们来审查为深度学习而开发的软件,包括Caffe,CUDA convnet,Deeplearning4j,Pylearn2,Theano和Torch。 深度学习是现在人工智能(Art...

2016/06/15 10:59
48
0
一些常见的机器学习算法的实现代码

一些常见的机器学习算法的实现代码,包括:DeepLearning、PCA、kNN、logistics regression、ManifoldLearning、SVM、GMM、Decision Tree、KMeans和NaiveBayes等。Github地址:https://githu...

2016/06/08 16:04
1K
0
作为Java程序员,这些开源框架都是你必要的

学习各种开源项目,已经成为很多程序员不可回避的工作内容了,如果能充分利用好开放源代码的资源,不仅可以掌握多种编程方法,提高实践能力,还能获得好的思想,激发编程灵感,在众多的开源项...

2016/06/02 09:53
81
0
Java实现中文word2vec

word2vec最早是google的一个开源项目,它通过对文本进行上下文分析,从而将词向量化,达到语义识别的目的。本文借助java开源深度学习引擎deeplearning4j和开源中文分词引擎ansj_seg实现java环...

2016/04/21 14:23
3.2K
5
视频+代码+资料:Nils Reimers面向NLP的深度学习(Theano/Lasagne)系列教程

视频+代码+资料:Nils Reimers面向NLP的深度学习(Theano/Lasagne)系列教程 https://github.com/UKPLab/deeplearning4nlp-tutorial/tree/master/2015-10_Lecture...

2016/06/15 11:01
11
0

没有更多内容

加载失败,请刷新页面

返回顶部
顶部