반응형 Airflow1 [Web] Apache Airflow DAG 사용법 및 서버 연동 방법 Apache Airflow DAG 생성부터 실행까지 완벽 가이드개요데이터 엔지니어링 환경에서 복잡한 워크플로우를 자동화하고 관리하는 것은 필수적입니다. 매일 정해진 시간에 실행되어야 하는 배치 작업, 작업 간 의존성 관리, 실패 시 재시도 및 알림 등 수많은 요소를 효율적으로 처리해야 합니다.Apache Airflow는 이러한 데이터 파이프라인을 코드로 정의하고, 스케줄링하며, 모니터링할 수 있는 강력한 오픈소스 플랫폼입니다. Python 코드로 워크플로우를 작성하고 시각적으로 모니터링하며, REST API를 통해 외부 시스템과 연동할 수 있습니다.이 글에서는 DAG 생성 방법부터 Airflow 설정, 자동/수동 실행, 그리고 다른 백엔드 서버에서 REST API를 통해 배치 작업을 호출하는 방법까지 실.. 2025. 10. 31. 이전 1 다음 반응형
