Python/AWS 기반 데이터 오퍼레이션 파이프라인 개발 및 운영 전문가

프로젝트 소개: - AWS 환경과 Python, SQL을 활용하여 데이터 검증 및 처리 파이프라인을 구축하고 운영하는 프로젝트입니다. 전체 프로젝트 일정: - 3개월 모집 인원: - 경력 4~7년 차 1명 (월 급여 협의) 근무 형태: - 상주 근무 (서울 서초구 신논현역) 상세 업무: - 개인정보 활용 동의값 관련 S3 적재 데이터에 대한 Glue ETL 및 Athena/SQL 기반 데이터 검증 및 처리 파이프라인 운영 - Glue 메타데이터 관리 및 Athena 조회를 위한 테이블 및 스키마 운영 - 관계사 전송 데이터의 S3 적재 및 MWAA 기반 배치 파이프라인 운영 - 데이터 누락 및 오류 발생 시 Python과 SQL을 활용한 원인 분석 및 데이터 재처리 수행 - 폐쇄망 환경에서 GitLab을 통한 코드 형상관리 및 배포 필수 기술: - AWS S3, Glue, Athena, RDS, MWAA(Airflow), EC2, Python, SQL(PostgreSQL), Gitlab 자격 요건: - AWS 기반의 데이터 파이프라인 구축 및 운영 경험이 있으신 분 - Python 및 SQL 활용 능력이 우수하신 분 - 지정된 사무실 상주 근무가 가능하신 분 우대 사항: - 폐쇄망 및 보안망 환경에서의 개발 및 운영 경험이 있으신 분 - 대용량 데이터 처리 및 ETL 파이프라인 최적화 경험이 있으신 분 - Airflow를 활용한 워크플로우 자동화 경험이 있으신 분 기타 사항: - 업무용 노트북 2대(내부망, 외부망) 및 모니터 제공