Data Engineering(Pipeline, Hadoop...)/Airflow

[Airflow] Dags 관리(예제 Dags 삭제 및 Dags 경로 설정)

dtstory 2022. 11. 24. 20:00

# 1. 예제 Dags 삭제하기

초기 Airflow setting이 된 시점부터, 여러 예제 Dags가 있는 것을 확인할 수 있다. 하지만 예제는 참고용일 뿐, 실제 내가 구성한 Dags만 남겨놓고 싶기에, 예제 Dags를 우선 삭제해보자.

 

삭제는 간단하다. airflow.cfg 파일을 열어  변경해주면 된다.

 

https://dtstory.tistory.com/25

를 참고 하였다면, airflow.cfg 파일은 /root/airflow/ 경로에 있을 것이다.

vim /root/airflow/airflow.cfg

명령으로 edit 모드로 진입해보자. 그 후, load_examples = True 라고 되어 있는 부분을 아래 그림과 같이 load_examples = False로 수정해보자 

 

 

# 2. Dags 관리 폴더 변경

방법은 1의 방법과 유사하다.

vim /root/airflow/airflow.cfg

명령으로 edit 모드로 진입해보자. airflow.cfg 파일 내에 dags_folder = /root/airflow/dags 라고 되어 있는 부분을 사용자 입맛에 맞게 아래 그림처럼 경로 변경해주면 된다.

 

설정이 정상적으로 적용되어 예제 Dags가 사라지고, 내가 원하는 경로에 Dags들이 보이는가? 아마 적용되지 않았을 것이다. 설정이 적용되기 위해선 아래의 명령이 필요하다.

airflow db reset

 

reset을 통해 설정이 적용되어 이제부터 나만의 Dags를 작성해보도록 하자.

728x90