반응형 Development/Web15 [Web] Apache Airflow DAG 사용법 및 서버 연동 방법 Apache Airflow DAG 생성부터 실행까지 완벽 가이드개요데이터 엔지니어링 환경에서 복잡한 워크플로우를 자동화하고 관리하는 것은 필수적입니다. 매일 정해진 시간에 실행되어야 하는 배치 작업, 작업 간 의존성 관리, 실패 시 재시도 및 알림 등 수많은 요소를 효율적으로 처리해야 합니다.Apache Airflow는 이러한 데이터 파이프라인을 코드로 정의하고, 스케줄링하며, 모니터링할 수 있는 강력한 오픈소스 플랫폼입니다. Python 코드로 워크플로우를 작성하고 시각적으로 모니터링하며, REST API를 통해 외부 시스템과 연동할 수 있습니다.이 글에서는 DAG 생성 방법부터 Airflow 설정, 자동/수동 실행, 그리고 다른 백엔드 서버에서 REST API를 통해 배치 작업을 호출하는 방법까지 실.. 2025. 10. 31. [Web] Apache Airflow 워크플로우 자동화 방법 Apache Airflow 완벽 가이드 - 워크플로우 자동화 방법데이터 엔지니어링 현장에서 복잡한 데이터 파이프라인을 관리하다 보면 작업 의존성 처리, 스케줄 관리, 실패 시 재시도 등 수많은 문제에 직면하게 됩니다. 매일 정해진 시간에 실행되어야 하는 ETL 작업, 선행 작업 완료 후 실행되는 후속 작업, 실패 시 자동 재시도와 알림 등 관리해야 할 요소가 너무 많습니다.Airbnb에서 개발한 Apache Airflow는 이러한 문제를 해결하기 위한 강력한 워크플로우 관리 플랫폼입니다. Python 코드로 워크플로우를 정의하고, 시각적으로 모니터링하며, 자동으로 재시도와 알림을 처리하는 Airflow의 강력한 기능을 통해 복잡한 데이터 파이프라인을 효율적으로 관리할 수 있습니다.이 글에서는 Airflo.. 2025. 10. 30. [Web] Apache Kafka 완벽 가이드 Apache Kafka 완벽 가이드 - 개념부터 실전 사례까지현대의 디지털 환경에서 데이터는 기하급수적으로 증가하고 있습니다. 특히 대용량 실시간 데이터 처리가 중요해지면서, 기업들은 효율적인 데이터 스트리밍 플랫폼을 찾고 있습니다.Netflix는 하루 5000억 건의 이벤트를 처리하고, LinkedIn은 하루 1조 개의 메시지를 실시간으로 전송하며, Uber는 수백만 건의 위치 정보를 실시간으로 처리합니다. 이 모든 것을 가능하게 하는 핵심 기술이 바로 Apache Kafka입니다.Apache Kafka는 LinkedIn에서 개발하여 2011년 오픈소스로 공개된 분산 이벤트 스트리밍 플랫폼으로, 현재 전 세계 80% 이상의 Fortune 100 기업에서 사용하고 있습니다. 대용량의 실시간 데이터를 빠르.. 2025. 10. 24. [Web] Spring Boot 3.4 + AWS 환경 Tomcat vs JBoss WildFly 성능 비교 분석 Spring Boot 3.4 + AWS 환경 Tomcat vs JBoss WildFly 성능 비교 분석개요 클라우드 환경에서 Spring Boot 애플리케이션을 운영할 때 적절한 WAS(웹 애플리케이션 서버) 선택은 성능, 비용, 안정성에 직접적인 영향을 미치는 중요한 결정입니다. Spring Boot 3.4는 가상 스레드, HTTP/3 지원, AOT 컴파일과 같은 새로운 기능을 제공하며, 이러한 기능들이 각 WAS 환경에서 어떻게 작동하는지 이해하는 것이 핵심입니다. 이 글에서는 AWS 클라우드의 다양한 서비스(EC2, ECS, EKS, Lambda 등)에서 Apache Tomcat과 JBoss WildFly의 실제 성능을 비교 분석하고, 실무 환경에 최적화된 WAS 선택 기준을 제시.. 2025. 4. 7. [Web] JEUS DB Connection Leak 완벽 해결 방법 JEUS DB Connection Leak 완벽 해결 방법 JEUS 서버를 운영하다 보면 Connection Leak(커넥션 누수) 문제로 골치를 앓게 되는 경우가 많습니다. 데이터베이스 연결이 적절히 닫히지 않아 커넥션 풀이 고갈되고, 결국 서버 성능 저하나 다운타임으로 이어지는 심각한 문제입니다. 이 글에서는 Connection Leak의 정확한 개념부터 JEUS 환경에서의 발생 원인, 탐지 방법, 그리고 코드와 설정 양쪽에서의 근본적인 해결 방법까지 모두 다룹니다. 실무에서 바로 적용할 수 있는 구체적인 설정값과 코드 예제를 제공하니 끝까지 읽어보시기 바랍니다. 목차 1. Connection Leak 정의와 영향 2. JEUS 환경 발생 원인과 탐지 3. JE.. 2024. 7. 24. [Web] Spring Dispatcher Servlet 정의와 동작 원리 Spring Dispatcher Servlet 정의와 동작 원리 Spring MVC의 핵심인 Dispatcher Servlet은 모든 HTTP 요청을 가장 먼저 받아 적합한 컨트롤러로 위임하는 Front Controller 역할을 합니다. Spring 개발자라면 반드시 이해해야 할 핵심 개념입니다. 이 글에서는 Dispatcher Servlet의 정확한 정의부터 동작 원리, 정적 리소스 처리 방법, 그리고 8단계로 나누어지는 상세한 요청 처리 과정까지 모두 다룹니다. Spring MVC의 내부 동작을 깊이 이해하고 싶은 개발자에게 필수적인 내용입니다. 목차 1. Dispatcher Servlet 개념과 장점 2. Front Controller 패턴 이해 3. 정적 .. 2022. 9. 24. 이전 1 2 3 다음 반응형
