[플레이데이터 빅데이터 부트캠프]파일 전송 및 Hadoop 명령어

윈도우즈에서 리눅스로 파일 전송 우선 윈도우즈 cmd창을 연어서, 디렉토리를 변경한다. scp -p 2222 ./* root@localhost:/Data scp->파일전송 명령어, -p는 포트번호 지정하는 명령어 ./* : 현재 디렉토리 아래 모든 파일을 의미한다. $ scp (window경로)파일 (linux계정)@서버주소:목적경로 리눅스의 홈은 /home/root이다. Hadoop 명령어 Hadoop은 리눅스 자체에 설치된 프로그램이라고 보면 된다. Hadoop을 관리할 때, 리눅스 명령어를 사용해야 한다. hadoop fs hadoop fs -mkdir /test hadoop fs -ls/ hadoop fs -ls -R / hadoop fs -ls -R /user/root | grep test Ha..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 26.
• textsms

[플레이데이터 빅데이터 부트캠프]하드둡 설치(궁금한 점 및 용어 정리)

대략적인 흐름 살피기 완전분산 형식 : 최소 구성은 3대이고, 반장(name node)이면 죽으면 부반장(data1)이 관리해줘야 한다. 이부분은 설치 말미에, hdfs-site.xml 파일에서 secondary manager를 지정해 준다. 하드둡의 구성은 name node, data1 node, data2 node, data3 node 총 4대로 구성되어 있다. 그래서 우리는 하드둡 설치를 위하여, 버츄어박스를 다운 받은 뒤, 리눅스(우분투 windows 64bit)를 총 4개를 설치하였다. 네트워크 설정 하드둡의 포트번호는 9000번으로 넣는다.(보통 하드둡 포트번호는 9000번이다.) 가상 아이피 주소는 192번 대로 만들면 된다. (내가 ip 매니저이기 때문에, 192번 대로 임의로 만든다.) ..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 18.
• textsms

[플레이데이터 빅데이터 부트캠프]리눅스 실습(vi editor)

vi editor는 리눅스에서 일반적으로 사용할 수 있는 화면 편집기이다. 모드형 입력 모드와 명령 모드가 구분 비모드형 입력 모드와 명령 모드가 구분되어 있지 않음. vi 편집기는 모드형이므로, 입력 모드와 명령 모드를 구분하여 사용하여야 한다. vi 시작과 종료 vi 모드 전환 vi는 처음에 명령 모드로 시작하므로, 내용을 입력하려면 입력 모드로 전환해야 한다. 커서와 화면 이동 커서 이동하기 복사 및 잘라 붙이기 네임드 버퍼 : 변수 이름을 지정하여 저장하는 방법이다. 네임드 버퍼에 이름을 붙일 때는 "+문자 또는 "+숫자의 형태로 사용한다. 사용방법 네임드 버퍼에 커서가 위치한 행을 저장하려면 '버퍼 이름+yy'를 입력한다 a 버퍼에 복사한 내용을 저장하려면 "ayy를 입력한다. 이를 커서가 위치..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 18.
• textsms

[플레이데이터 빅데이터 부트캠프]리눅스 실습(3)

whereis, which 지정한 명령을 고정된 특정 경로에서 검색 인자값을 c언어를 만들었다. which mv 명령어가 어디에 저장 되어 있는지 확인하는 명령어이다. which 명령은 파일을 찾으면 절대 경로를 출력하고 바로 종료 • 최대 하나의 경로만을 출력하며 이 경로는 우리가 명령을 입력할 때 실행되는 파일 mv라는 프로그램이 어디에서 실행되는지 보여준다. geidit 메모장이라는 프로그램을 띄우는 것. gredit test.txt vi라는 에디터도 있다. 좀 더 까다로움.(필수지만 생략하겠다.) 커맨드 : esc 입력 모드 : insert 저장 및 종료 : esc :wq chmod 권한 바꾸기 기호모드와 숫자모드가 있다. 책 참고 그룹에 쓰기와 실행 권한을 부여 #그룹에 쓰기와 실행 권한을 부여..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 17.
• textsms

[플레이데이터 빅데이터 부트캠프]리눅스 실습(2)

cd ~ home : directory로 바로 가기 ls -l : 좀 더 자세하게 나온다. ls -a : 숨겨져 있는 파일이 보인다. ls -la: 여러 가지 한꺼번에 쓸 수 있다. 프롬프트 • 사용자의 명령 입력을 기다리는 표시 • 사용하는 셸에 따라 다르게 나타남 • (배시셸: $로 표시,시스템 관리자의 경우에는 #로 표시) • 프롬프트는 사용자 가 다른 모양으로 바꿀 수 있음 man (ls) : 명령어 설명을 해준다. 명령어를 모두 다 외울 필요는없다. clear : 화면을 깔끔하게 지워준다. 디렉토리나 파일이나 같다. 심볼릭 링크: 바로가기와 같다. 장치 파일 : 디바이스에 부착된 장치들을 관리하기 위한 특수 파일(드라이버) 상세한 정보 출력하기 d면 디렉토리이다. rwx-xr-x(권한을 얘기한다..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 17.
• textsms

[플레이데이터 빅데이터 부트캠프]리눅스 실습(1)

OS OS는 드라이버나 파일을 하드디스크에 저장하고 지우는 것을 통제한다. OS는 C언어나 C++를 사용한다. 멀티 부팅하는 방법 버츄어박스(오라클에서 만듦) 다운 및 실행 하드웨어는 하나인데, 가짜 오에스를 만드는 방식이다. 가짜 랜카드를 통해서 왔다갔다 한다. 보통 10점대로 할당해 준다. IP주소 -> 유니크한 번호가 있어야 한다. 맥 어드레스(랜 카드)라는 시리얼 넘버가 있다. 가상주소는 외부에서 접속할 수는 없다.(IP주소->모뎀이 KT나 SK가 IP를 사서 하나씩 던져준다.) 포트 번호(프로그램을 구별하는 데 사용한다.) IP주소(컴퓨터 네트워크를구별하는 데 사용한다.) 디스크 이미지 : 이미지를 복사하는듯한 개념이다. 리눅스->만드는 곳이 여러개이므로 종류가 여러개이다.(우분투 리눅스) 우분..

• format_list_bulleted 플레이데이터 빅데이터 부트캠프 12기/Linux & Hadoop
• · 2022. 8. 16.
• textsms