写了一下脚本,实现了以下功能:
1、保证同一时间只有一个该脚本的实例在运行,避免造成操作冲突
2、移动本地文件目录到hdfs下,目录路径相同
uploadtoHadoop.sh
#!/bin/bash #pid=`ps -ef | grep -v grep | grep uploadtoHadoop | awk '{print $2}'` pid=`ps -ef | grep -v grep | grep uploadtoHadoop | wc -l` usage() { echo "usage: `basename $0` /data/192.168.0.1/20110313/***/" } URL=$1 if [ $# -ne 1 ] then usage exit 1 fi if [ "$pid" = "2" ] then echo start hadoop fs -mkdir $1/ hadoop fs -moveFromLocal $1/* $1/ echo complete else echo program exist! fi |
使用如下 sh uploadHadoop.sh /待移动的目录名称
start
complete
如果该脚本同时执行2个实例,第二个实例会报错,退出。
分享到:
相关推荐
hdfs dfs -test -e 文件或目录名 第三步,查看检测结果: echo $? 若输出结果为0,则说明文件或目录存在,若为1,则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...
HDFS的Shell操作,bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令 dfs是fs的实现类等等。
从本地上传文件到HDFS上的代码!使用hadoop的API操作,使本地文件的代码上传到HDFS上!!!
Hadoop HDFS的FileSystemAPI操作文件 将准备好的文件上传到hdfs的user/hadoop/music文件下
开启hdfs的脚本文件,可以通过此文件开启hdfs,但是记得赋权喔
上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
适合刚接触hadoop的学生或小白,内容包括HDFS shell操作及HDFS Java API编程 有图片有代码
Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作Hadoop框架之HDFS的shell操作
Hadoop HDFS_Shell命令详解
3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等)-java 网址:...
详细的HDFS shell集,有了它,老板再也不用为我写shell担心啦!
hdfs文件的查看 hdfs fs -cat /文件名
hdfs代码实例 通过Java代码在HDFS上创建目录、上传文件、下载文件、删除文件、文件重命名、文件列表等操作。
(5)给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息 (6)提供一个HDFS内的文件的路径,对该文件进行创建和删除...
HDFS部署与Shell命令使用
HDFSShell命令综合练习.pdf 学习资料 复习资料 教学资源
HDFS常用Shell命令,基础篇
(5)下载文件到本地:hdfs dfs -get /hdfs路径 /本地路径 (6)移动hdfs文件:hdfs dfs -mv /hdfs路径 /hdfs路径 (7)复制hdfs文件:hdfs dfs -cp /hdfs路径 /hdfs路径 (8)删除hdfs文件:hdfs dfs -rm...