Twitter将开源MySQL/Hadoop转移工具

老枪
 老枪
发布于 2010年06月30日
收藏 1

北京时间6月30日消息,根据国外媒体报道,Twitter计划开源Hadoop-happy架构的一个附加部分,Twitter用来作为内部数据分析。作为知名的Crane,这个是用来将MySQL转化到Hadoop的工具。这一开源数据分析平台建立在Google的私有设施上。

Twitter使用Hadoop来进行数据分析,同时该平台也被使用在站点上,包括Twitter的名称搜索功能。

Twitter的大部分表格数据存储在MySQL中,只有一小部分存储在Cassandra。Twitter的技术负责人表示要做的就是在一些地方结束MySQL表格存储。

因此Crane被开发出来,用于将数据从MySQL到HDFS或者Hadoop的HBase上。

本站文章除注明转载外,均为本站原创或编译。欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区。
转载请注明:文章转载自 开源中国社区 [http://www.oschina.net]
本文标题:Twitter将开源MySQL/Hadoop转移工具
加载中

最新评论(2

sklinux
sklinux
我认为很没有必要,新东西要经过市场的验证的。
不是说新东西马上就可以部署到线上,正式使用。
只有一小部分存储在Cassandra,看下tw
JavaGG
JavaGG
很好,,
返回顶部
顶部