Sqoop 正在参加 2021 年度 OSC 中国开源项目评选,请投票支持!
Sqoop 在 2021 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
2021 年度 OSC 中国开源项目评选 正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>> 中场回顾
Sqoop 获得 2021 年度 OSC 中国开源项目评选「最佳人气项目」 !
授权协议 Apache
开发语言 Java
操作系统 跨平台
软件类型 开源软件
开源组织 Apache
地区 不详
投 递 者 红薯
适用人群 未知
收录时间 2011-08-24

软件简介

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

展开阅读全文

评论 (2)

加载中
sqoop 读取mysql sql的数据,是通过binlog方式吗
2017/02/23 14:20
回复
举报
直接查mysql,多线程同时查
2019/07/12 06:23
回复
举报
更多评论
发表了资讯
2015/05/12 00:00

Apache Sqoop 1.99.6 发布,Hadoop 数据迁移

Apache Sqoop 1.99.6 发布,这是 Sqoop2 的第六个版本。 此版本现已提供下载:http://www.apache.org/dyn/closer.cgi/sqoop/1.99.6 Sqoop 1.99.6 包括一些新特性:通过 Kite 连接器和 Role Based Access Control(RBAC) 的 Hive 集成。 Apache Sentry 项目正在开发,准备提供使用 Sqoop2 的 RBAC APIs 的绑定。 Sqoop 1.99.6 包括一些稳定性的改进,详细更新内容请看更新日志:https://issues.apache.org/jira/secure/ReleaseNo...

0
20
发表了资讯
2015/05/11 00:00

Apache Sqoop 1.4.6 发布,Hadoop 数据迁移

Apache Sqoop 1.4.6 发布,这是 Apache Sqoop 地五个版本,现已提供下载: http://www.apache.org/dyn/closer.cgi/sqoop/ 更新内容如下: Bug 修复 [SQOOP-1125] - Out of memory errors when number of records to import < 0.5 * splitSize [SQOOP-1368] - the configuration properties are reset in HBaseImportJob [SQOOP-1387] - Incorrect permissions on manager.d directory can lead to NPE [SQOOP-1400] - Failed t...

0
16
发表了资讯
2015/02/28 00:00

Apache Sqoop 1.99.5 发布,Hadoop 数据迁移

Apache Sqoop 1.99.5 发布,此版本是 Sqoop2 分支的第五个版本,现已提供在:http://www.apache.org/dyn/closer.cgi/sqoop/1.99.5。 完整改进内容请看: https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12311320&version=12328914 The Apache Sqoop Team Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的...

3
23
发表了资讯
2014/11/27 00:00

Apache Sqoop 1.99.4 发布,Hadoop 数据迁移

Apache Sqoop 1.99.4 发布,这是 Sqoop2 的第四个里程碑版本,是非常重要的一个里程碑。 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 该版本改进内容和新特性: Improvement [SQOOP-773] - Sqoop2: Batch execution support for client commands [SQOOP-1144] - Sqoop...

0
25
发表了资讯
2014/08/14 00:00

Apache Sqoop 1.4.5 发布

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 Apache Sqoop 1.4.5 发布,此版本是 Sqoop 作为 Apache TLP 项目以来的第四个版本。 子任务 [SQOOP-1194] - Make changes to Sqoop build file to enable Netezza third party tests [SQOOP-1323] - Update HCatalog versi...

1
25
发表了资讯
2013/04/26 00:00

Apache Sqoop 1.99.2 发布,Hadoop 数据迁移

Apache Sqoop 团队很高兴的宣布 Sqoop 1.99.2 发布,这是 Sqoop 2 的一个重要里程碑,详细改进请看发行说明。 其中新特性包括: [SQOOP-643] - Sqoop2: Implement simple listings for connector and job objects [SQOOP-664] - Send user name as HTTP header in client to server communication [SQOOP-785] - Sqoop2: Add splitter implementation for NUMERIC/DECIMAL type [SQOOP-895] - Sqoop2: Do not serialize framew...

0
22
发表了资讯
2013/03/09 00:00

Apache Sqoop 1.4.3 发布,Hadoop 数据迁移

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 Sqoop 1.4.3 完整的改进记录请看这里。 下载地址:http://www.apache.org/dyn/closer.cgi/sqoop/

2
49
发表了资讯
2012/12/27 00:00

Apache Sqoop 1.99.1 发布

Apache Sqoop 1.99.1 发布了,Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 新版本包含众多改进,详细记录请看这里。

0
21
发表了资讯
2012/08/25 00:00

Apache Sqoop 1.4.2 发布

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 新版本改进记录请看:ReleaseNotes

0
28
发表了资讯
2012/04/04 00:00

Sqoop 成为 Apache 顶级项目

Sqoop是一个Hadoop的周边工具,它的主要作用是在结构化数据存储与Hadoop之间进行数据交换,通过Sqoop,你可以批量将你关系型数据库中的数据导入到Hadoop中,也可以将Hadoop中的数据导出到其它结构化存储中。 Sqoop项目开始于2009年,最早是作为Hadoop的一个第三方模块存在,后来为了让使用者能够快速部署,也为了让开发人员能够更快速的迭代开发,Sqoop独立成为一个Apache项目。 下面就是Sqoop的一个版本进化表: 项目地址:htt...

5
24
发表了资讯
2011/11/30 00:00

Apache Sqoop 1.4.0-incubating 发布

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 Apache Sqoop 1.4.0 主要新特性有: [SQOOP-305] - Support export from Avro Data Files [SQOOP-312] - Support for hive dynamic partitions with SQOOP import [SQOOP-313] - Multiple column names to be included in ...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表于运维专区
2015/11/23 17:09

Sqoop2 vs Sqoop

以下文字内容部分译自Sqoop2 vs Sqoop: Sqoop1是一个客户端程序,用户只需在客户端添加驱动或者连接器到Sqoop中即可使用, Sqoop2是一个基于服务的模型,新一代Sqoop,所有配置以及驱动都必须在服务端配置好。 从MapReduce的观点看,Sqoop1仅仅提交Map程序给集群,而Sqoop2会提交MR任务, 通过Mappper来从源头获取数据,再使用Reducer来转换数据。这相比Sqoop1更加清晰。 另一个主要区别是安全层面。管理员设置好来源和目标的连...

0
2
发表了博客
2019/03/12 08:28

sqoop

Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。 http://sqoop.apache.org/ Latest stable release is 1.4.7 (download, documentation). Latest cut of Sqoop2 is 1.99.7 (download, documentation). Note that 1.99.7 is not compatible with 1.4.7...

0
0
发表了博客
2019/03/08 15:25

sqoop

1:sqoop的概述: (1):sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 (2):导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; (3):导出数据:从Hadoop的文件系统中导出数据到关系数据库 (4):工作机制:   将导入或导出命令翻译成mapreduce程序来实现;   在翻译出的mapreduce中主要是对inputformat和outputformat进行定制; (5):Sqoop的原理:   Sqo...

0
1
发表于开发技能专区
2016/11/24 00:01

sqoop

1、sqoop sqoop 是一个关系型数据库和大数据之间进行数据导入和导出的工具。(这里的导入导出是站在hdfs的角度来说的) sqoop导入导出的先决条件 1、hdfs hadoop集群 2、关系型数据库 3、连接关系型数据库的驱动(jdbc) sqoop安装: 1、将sqoop压缩包解压 2、将数据库驱动包放入sqoop的lib目录下 sqoop的使用: 1、Using Options Files to Pass Arguments 重要选项 --target-dir <dir> HDFS destination dir : 导入的目标目录...

0
0
2018/06/23 21:32

Sqoop

1.Sqoop: 《=》 SQL to Hadoop 背景 1)场景:数据在RDBMS中,我们如何使用Hive或者Hadoop来进行数据分析呢? 1) RDBMS ==> Hadoop(广义) 2) Hadoop ==> RDBMS 2)原来可以通过MapReduce InputFormat OutputFormat 来实现,很麻烦。 3)Sqoop: RDBMS和Hadoop之间的一个桥梁 Sqoop 1.x: 1.4.7 底层是通过MapReduce来实现的,而且是只有map没有reduce的 没有任何操作,只是数据搬迁,没有计算。 ruozedata.person ===> HDFS 通过...

0
0
发表于AI & 大数据专区
2019/03/12 14:04

sqoop

sqoop测试Oracle抽取数据 sqoop list-databases --connect jdbc:oracle:thin:@*.*.*.*:1521/xx --username root --password root

0
0
发表了博客
2019/03/10 14:22

大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数

第1章 Sqoop 简介第2章 Sqoop 原理第3章 Sqoop 安装3.1 下载并解压3.2 修改配置文件3.3 拷贝 JDBC 驱动3.4 验证 Sqoop3.5 测试 Sqoop 是否能够成功连接数据库第4章 Sqoop 的简单使用案例4.1 导入数据4.1.1 从 RDBMS 到 HDFS4.1.2 从 RDBMS 到 Hive4.1.3 从 RDBMS 到 HBase4.2 导出数据4.2.1 从 HIVE/HDFS 到 RDBMS4.3 脚本打包第5章 Sqoop 一些常用命令及参数5.1 常用命令列举5.2 命令&参数详解5.2.1 公用参数:数据库连接5.2.2...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了问答
2016/09/19 11:24

sqoop2 中如何配置sqoop hook

在sqoop1.4.7这个版本中使用sqoop完成mysql 导入 hive的过程中出现sqoop_process在atlas中无法捕捉的情况,虽然通过其他的手段解决了,但是不知道兼容情况如何,因此决定尝试下sqoop2,版本号为sqoop1.99.7,但是官方文档太少,我想配置一个sqoop hook以便在atlas中监控,该如何去配置呢?

6
0
发表了问答
2016/03/02 17:34

sqoop连接DB2 import 时报错,Connection timed out !!!

sqoop连接DB2导入数据至HDFS时,报错,显示连接超时. 用list-table命令连接没有问题,结果正确; 测试过DB2远程连接,没有问题,telnet 测试端口也没有问题; DB2版本v9.7,用的安装包里面的JDBC插件. 以下是错误信息。 [biadmin@Hadoop01 sqoop]$ ./bin/sqoop import --connect jdbc:db2://9.112.30.177:50000/content --username db2admin --P --table DB2ADMIN.PERSON --as-textfile -m 1 --target-dir /user/test Warning:...

1
0
发表了问答
2014/04/10 18:03

请问有人遇到过用sqoop将数据从hive导入到mysql后,数据变少了好几万行

请问有人遇到过用sqoop将数据从hive导入到mysql后,数据变少了好几万行

1
0
发表了问答
2017/03/10 16:31

sqoop1.4.6的--password-file后面的文件该放在哪里才能找到

sqoop1.4.6中连接数据库的时候需要密码,有--password-file选项,后面存放写有密码的文件,尝试过这样写:--password-file /home/hadoop/password/sqoop.pwd,然后在操作系统/home/hadoop/password/目录下新建了文件sqoop.pwd并写入了密码,但是运行sqoop的时候提示: 也尝试过把文件放到hdfs上对应目录中,结果还是显示找不到该文件,求助:密码文件到底怎么放?...

2
0
发表了问答
2015/12/02 19:22

用Sqoop,hdfs导入都mysql时候执行MR时候报错了

sqoop export --connect jdbc:mysql://crxy2:3306/test --username root --password 19911130 --table info --export-dir sqoop_export Warning: /software/sqoop-1.4.6.alpha/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation. Warning: /software/sqoop-1.4.6.alpha/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the r...

5
0
发表了问答
2017/02/09 18:11

搭建sqoop2 中 启动server报错

最近在搭建hive+hbase+sqoop sqoop版本是1.99.7 不管是网络博客还是官网文档,都读了无数遍,可是每当运行的时候总是会报错,少了一个类,具体异常如下: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration at org.apache.sqoop.security.authentication.SimpleAuthenticationHandler.secureLogin(SimpleAuthenticationHandler.java:36) at org.apache.sqoop.security.Authen...

1
0
发表了问答
2012/11/09 12:13

使用sqoop导入mysql中的表到hive中去,能指定表存放在hive的哪个数据库吗?

利用sqoop将mysql中的数据导入到hive中时,为什么总是将mysql中的表存放在hive的默认数据库中?不能指定表存放在hive的某个具体的数据库下面吗?

1
0
发表了问答
2015/08/29 22:14

sqoop和hive 是安装在一台计算机就行了吗?

sqoop和hive 是安装在一台计算机就行了吗?

2
0
发表了问答
2015/04/08 12:06

sqoop启动出错, JDBCREPO_0009

版本:Sqoop1.99.5 ,Hadoop2.5.2 Exception in thread "PurgeThread" org.apache.sqoop.common.SqoopException: JDBCREPO_0009:Failed to finalize transaction at org.apache.sqoop.repository.JdbcRepositoryTransaction.close(JdbcRepositoryTransaction.java:115) at org.apache.sqoop.repository.JdbcRepository.doWithConnection(JdbcRepository.java:109) at org.apache.sqoop.repository.JdbcRepository.doWithConnect...

8
0
发表了问答
2015/10/09 15:47

sqoop导入数据时出现的一个问题

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf at org.apache.sqoop.orm.CompilationManager.findHadoopCoreJar(CompilationManager.java:109) at org.apache.sqoop.orm.CompilationManager.compile(CompilationManager.java:137) at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:97) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:3...

2
0
发表了问答
2015/08/31 09:38

sqoop 导入hdfs ,要先 安装 hcat吗?

Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /usr/sqoop/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. 15/08/30 18:34:12 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6 15/08/30 18:34:12 ERROR tool.BaseSqoopTool: Error parsing arguments for import: 15/08/30 18:34:12 ERROR tool.BaseSqoopTool...

3
0
发表了问答
2014/08/11 23:41

sqoop 从mysql数据迁移到hdfs中

我在连接数据库的时候显示都能连接上,list表的时候也能显示所有的表。但是我在导入数据的时候走到: guoyachao@master :~/software/hbase-0.94.11$ sqoop list-tables --connect jdbc:mysql://192.168.1.100:3306/test --username root --password root Warning: /usr/lib/hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. 14/08/11 06:59:34 WARN tool....

3
0
发表了问答
2014/05/16 18:11

hadoop 统计分析oracle数据库的数据

最近要做个应用功能的探讨,把oracle的大量数据分布式统计分析。。查了几天资料,有些说使用sqoop导出oracle数据为hdfs文件,但是文件名却不能指定,到时候mapreduce统计分析的时候怎么读取指定的文件呢?还有就是sqoop把oracle数据导入到hive,在使用hive api执行hive sql语句分析。不知道是不是这样的。。怎么把oracle的数据导入hadoop系统分布式统计分析????希望有人能够给点思路。...

2
0
发表了问答
2014/05/13 14:43

在java中调用sqoop进行mysql和hdfs之间数据传输时报错

在java中调用sqoop进行mysql和hdfs之间数据传输时报错: Exception in thread "main" java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected 麻烦大家帮我看一下是什么问题,自己用的是hadoop2.3.0和sqoop-1.4.4.bin__hadoop-2.0.4-alpha,谢谢!...

2
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
2 评论
159 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部