GCP + Docker + Airflow 를 이용한 데이터 파이프라인 구축 1

 

# [컨테이너 이름] 을 지정한 후, linux 커맨드에서 아래 명령어를 실행

-v 명령을 이용해, 폴더 마운트 (복수 허용)

docker run -it -p 8080:8080 \
	-v /home/airflow/dags:/opt/airflow/dags \
	-v /home/airflow/data:/opt/airflow/data \
	--entrypoint=/bin/bash \
	--name [컨테이너 이름] \
	apache/airflow:2.0.0-python3.8 \
	-c '( \
		airflow db init && \
		airflow users create --username admin --password admin --firstname Anonymous --lastname Admin --role Admin --email admin@example.org \
	); \
airflow webserver & \
airflow scheduler \
'

 

# 웹 접속

http://[외부 ip]:8080 

 

username : admin

password : admin 

초기에는 어떠한 dags도 추가하지 않았기 떄문에, 비어있는 것이 정상이다.

다시, 리눅스 커맨드로 돌아가 보자

 

 

# 계정 추가

초기에 셋팅한, admin 계정 이외에도 아래의 커맨드를 이용해, 사용자 계정을 추가할 수 있다.

airflow users create \
          --username [유저명] \
          --firstname [이름] \
          --lastname [성] \
          --role Admin \
          --email [이메일]

사실, firstname, lastname, email 은 등록에 있어 크게 중요하지는 않은 것 같다.

이제 다시, http://[외부 ip]:8080 로 웹에 접속한 후, 등록한 [유저명]으로 접속을 해보자. 새로운 [유저명]으로 접속이 될 것이다.

 

다음 포스트에서는 docker 컨테이너 내에서 dag 를 작성하고 실행하는 것을 진행해보겠다.