博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
sqoop2安装配置
阅读量:7259 次
发布时间:2019-06-29

本文共 1592 字,大约阅读时间需要 5 分钟。

一、下载编译好的压缩包

wget 

二、解压缩到/usr/local下

tar -zxf sqoop-1.99.6-bin-hadoop200.tar.gz -C /usr/local

三、修改配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/catalina.properties

修改common.loader中的hadoop的jar包路径为自己机器jar包的路径,我的路径修改后

common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/common/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/*.jar,/usr/local/hadoop-2.7.1/share/hadoop/yarn/lib/*.jar,/usr/lib/hive/lib/*.jar

另外如果安装了hive 修改hive的路径

四、配置环境变量

vi /etc/profile添加

PATH=$PATH:/usr/local/sqoop-1.99.6-bin-hadoop200/bin/

使生效

source /etc/profile

五、修改server配置文件

vi /usr/local/sqoop-1.99.6-bin-hadoop200/server/conf/sqoop.properties

修改下面的选择为mapreduce的配置文件路径(根据自己机器的路径配置)

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.7.1/etc/hadoop

六、复制相关jdbc驱动jar包到/usr/local/sqoop-1.99.6-bin-hadoop200/server/lib目录下

没有lib目录自己可以创建,我要导mysql的数据,所以把mysql的jdbc包考到了lib目录下

七、启动server

sqoop2-server start

八、验证配置是否正确

必须先启动sqoop,

再执行

sqoop2-tool verify

如果没有报错,出现

Verification was successful.

Tool class org.apache.sqoop.tools.tool.VerifyTool has finished correctly

代表配置成功

停止 sqoop2-server stop

九、启动client

sqoop2-shell

本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1713042,如需转载请自行联系原作者
你可能感兴趣的文章
php友好格式化时间
查看>>
DMA Stream/Channel Outputting via GPIOC[0..7]
查看>>
C语言--static全局使用示例
查看>>
opencv实例一:显示一张图片
查看>>
配置Redmine的邮件通知功能
查看>>
程序猿学英语—In July the English learning summary
查看>>
主表和子表主键设计
查看>>
为什么Redis比Memcached易
查看>>
add .json handler support in IIS 7
查看>>
String当中的高效函数(优化)
查看>>
QQ拼音在中文输入下默认英文标点
查看>>
hadoop MapReduce - 从作业、任务(task)、管理员角度调优
查看>>
JVM 类加载过程
查看>>
PL/SQL连接Oracle客户端步骤
查看>>
关于在 mac上配置pytesseract的相关问题
查看>>
解决eclipse复制粘贴js代码卡死的问题
查看>>
【BZOJ】1513: [POI2006]Tet-Tetris 3D
查看>>
【BZOJ】2172: Mario填格子
查看>>
关于格式化字符串日期
查看>>
Http Cookie Manager、session
查看>>