Cloud Computing 4

서버 간 파일/폴더 전송 (서버 -> GCP서버)

# 키 생성 ssh-keygen -t rsa -f ~/.ssh/[만들고싶은 키 이름] -C "[GCP 계정명]" ssh-keygen -t rsa -f ~/.ssh/gcp_allow_key -C my_name" # 퍼블릭 키 출력 cat ~/.ssh/gcp_allow_key.pub 해당 퍼블릭키를 복사해 두자. # 메타데이터 ssh keys 등록 GCP 접속 -> Compute Engine -> Metadata -> SSK KEYS -> EDIT -> ADD ITEM -> 복사한 퍼블릭키 붙여넣기 -> SAVE 순으로 진행하면 된다. # GCP 서버 ip로 접속 확인 ssh -i ~/.ssh/gcp_allow_key [GCP 계정명]@[GCP서버 ip] ssh -i ~/.ssh/gcp_allow_key m..

Cloud Computing/GCP 2022.10.12

GCP 포트(port) 방화벽 해제

아래 순서대로 진행하면 포트 방화벽 해제가 가능하다 1. GCP 해당 프로젝트 클릭 2. VPC network 클릭 3. Firewall 클릭 4. +CREATE FIREWALL RULE 클릭 5 name 지정 - firewall-port-allow 6. Targets - All instances in the network 클릭 7. 모든 IP 허용 - Source IPv4 ranges 에 0.0.0.0/0 입력 8. 특정 포트 허용 - 32222 9. CREATE 여기까지 진행을 했다면, 방화벽이 해제가 된 것이다.

Cloud Computing/GCP 2022.10.07

GCP + Docker + Filezilla 를 이용한 sftp 서버 구축

# 파일질라를 사용하기 위한, 컨테이너(ubunut) 생성, 실행 - 포트 포워딩 : 32222:22 - 볼륨명 : mount_vol - 컨테이너이름 : c_sftp - 패스워드 : password - 이미지명 : ubuntu 사용자가 지정하는 위의 조건들을 반영한 명령은 아래와 같다. (아직 볼륨을 생성하지 못하였다면, 아래의 링크를 을 참고해서, 볼륨을 create 먼저 진행하길 바란다.) 2022.09.22 - [Data Engineering(Pipeline, Hadoop...)/Docker] - Docker 파헤치기 2(데이터 공유 및 볼륨 마운트) docker run -it -p 32222:22 \ -v mount_vol:/home/mount_vol \ --name c_sftp -e ROOT=T..

Cloud Computing/GCP 2022.10.06

GCP + Docker + Airflow 를 이용한 데이터 파이프라인 구축 1

# [컨테이너 이름] 을 지정한 후, linux 커맨드에서 아래 명령어를 실행 -v 명령을 이용해, 폴더 마운트 (복수 허용) docker run -it -p 8080:8080 \ -v /home/airflow/dags:/opt/airflow/dags \ -v /home/airflow/data:/opt/airflow/data \ --entrypoint=/bin/bash \ --name [컨테이너 이름] \ apache/airflow:2.0.0-python3.8 \ -c '( \ airflow db init && \ airflow users create --username admin --password admin --firstname Anonymous --lastname Admin --role Admin ..

Cloud Computing/GCP 2022.09.21