[플레이데이터 빅데이터 부트캠프]파일 전송 및 Hadoop 명령어

윈도우즈에서 리눅스로 파일 전송

우선 윈도우즈 cmd창을 연어서, 디렉토리를 변경한다.

scp -p 2222 ./* root@localhost:/Data

scp->파일전송 명령어, -p는 포트번호 지정하는 명령어

./* : 현재 디렉토리 아래 모든 파일을 의미한다.

$ scp (window경로)파일 (linux계정)@서버주소:목적경로

리눅스의 홈은 /home/root이다.

 

Hadoop 명령어

Hadoop은 리눅스 자체에 설치된 프로그램이라고 보면 된다.
Hadoop을 관리할 때, 리눅스 명령어를 사용해야 한다.

hadoop fs

hadoop fs -mkdir /test
hadoop fs -ls/

hadoop fs -ls -R /
hadoop fs -ls -R /user/root  |  grep test

Hadoop에서 -ls 명령어를 치면 기본적으로 home directory를 기준으로 보여준다.

로컬 파일을 하둡으로 옮기는 명령어

hadoop fs -put /Data/stocks.csv /user/root/first.csv

블록 관련 명령어

블록이 잘 나눠져 있는지(파일 상태) 확인하는 명령어

hadoop fsck /user/root/first.csv

블록을 나눠서 설정하는 명령어

hadoop fs -D dfs.block.size=1048576 -put /Data/stocks.csv /user/root/second.csv

블록이 잘 나눠져 있는지 확인하는 명령어

hadoop fsck /user/root/second.csv

get 명령어

Hadoop에 있는 파일을 로컬에 복사할 때 사용하는 명령어이다.

hadoop fs -get test/data.txt home/hadoop/tmp/

처음에 있는 파일이 하둡에 있는 파일이다.

hadoop fs -germerge /test/ merged.txt

/test 디렉토리 내부의 파일을 하나로 합쳐서 가져온다.

touch 명령어

hadoop fs –touchz /test1.txt

Hadoop에서 빈 파일을 생성한다.