微软分布式机器学习工具包 DMTK

MIT
C/C++
跨平台
微软
2015-11-11
孔小菜

DMTK 是微软分布式机器学习工具包。

微软分布式机器学习DMTK

DMTK 包括以下几个项目:

DMTK (Dstributed Machine Learning Toolkit) 当前包括以下组件:

  • DMTK分布式机器学习框架:它由参数服务器和客户端软件开发包(SDK)两部分构成。参数服务器在原有基础上从性能和功能上都得到了进一步提升 ——支持存储混合数据结构模型、接受并聚合工作节点服务器的数据模型更新、控制模型同步逻辑等。客户端软件开发包(SDK)支持维护节点模型缓存(与全局 模型服务器同步)、节点模型训练和模型通讯的流水线控制、以及片状调度大模型训练等。

  • LightLDA:LightLDA是一种全新的用于训练主题模型,计算复杂度与主题数目无关的高效算法。在其分布式实现中,我们做了大量的系统 优化使得 LightLDA能够在一个普通计算机集群上处理超大规模的数据和模型。例如,在一个由8台计算机组成的集群上,可以在具有2千亿训练样本(token) 的数据集上训练具有1百万词汇表和1百万个话题(topic)的LDA模型(约1万亿个参数),这种规模的实验以往要在数千台计算机的集群上才能运行。

  • 分布式词向量:词向量技术近来被普遍地应用于计算词汇的语义表示,它可以用作很多自然语言处理任务的词特征。微软为两种计算词向量的算法提供了高效的分步式实现:一种是标准的word2vec算法,另一种是可以对多义词计算多个词向量的新算法。

(部分介绍来自 IT168)

加载中

评论(2)

quanwei9958
quanwei9958
这几天各大顶级公司一天发布一个机器学习工具包什么节奏。 #DMTK#
Injection
Injection
正好需要这个,微软万岁 #DMTK#

暂无资讯

暂无问答

大数据工程师技能图谱

- 大数据通用处理平台 1. Spark 2. Flink 3. hadoop - 分布式存储 1. HDFS - 资源调度 1. Yarn 2. Mesos - 机器学习工具 1. Mahout 2. Spark Mlib 3. TensorFlow (Google 系) 4. Amazon Mac...

2016/04/05 14:40
66
1
如何成为一个大数据开发工程师?

下面是 发布的大数据工程师技能图谱(仅供参考) 大数据通用处理平台 1. Spark 2. Flink 3. Hadoop 分布式存储 HDFS 资源调度 Yarn Mesos 机器学习工具 Mahout 1. Spark Mlib 2. TensorFlow (...

09/11 21:57
35
0
开源的顶级人工智能工具

人工智能(artificial intelligence,AI)是科技研究中最热门的方向之一。像 IBM、谷歌、微软、Facebook 和亚马逊等公司都在研发上投入大量的资金、或者收购那些在机器学习、神经网络、自然语...

2016/11/03 23:51
96
0
15款开源机器学习软件

# 15款开源机器学习软件 机器学习是目前最热门的科研领域之一。诸如IBM、谷歌、微软、脸书和亚马逊这类大型公司不仅加大了对旗下发展研究部门的资金投入,同时也开始并购一些在机器学习、神经...

2016/10/11 19:57
543
0
Coding and Paper Letter(六)

资源整理 1 Coding: 1.Python工程,使用networkx,geopandas,mplleaflet在地图上可视化网络流。 map-network 2.R语言包rsample, 用于创建和汇总不同类型的重采样对象的类和函数。 rsample ...

07/13 16:34
10
0
数据,才是机器学习中唯一重要的东西

机器学习领域目前的流行趋势是免费提供软件等产品。科技公司一直提倡建立开源社区,并且非常乐意将其部分代码开源。然而,在过去的一年(2015年)中,机器学习领域的大佬们却将自己完整的代码...

2016/01/06 13:11
71
1
如何成为一个大数据开发工程师?薪资怎么样

下面是 发布的大数据工程师技能图谱(仅供参考) 大数据通用处理平台 在这里相信有许多想要学习大数据的同学,大家可以+下大数据学习裙:716加上【五8一】最后014,即可免费领取一整套系统的大...

07/14 21:22
29
0
大数据工程师技能图谱(转)

知识图谱 。。。可以参考学习

2016/05/09 19:00
796
2
一篇文看懂Hadoop:风雨十年,未来何去何从

本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即...

2016/03/17 14:24
233
2
一篇文看懂Hadoop:只为当下而生

风雨十年,未来何去何从

2016/12/04 21:21
144
1

没有更多内容

加载失败,请刷新页面

返回顶部
顶部