Linux/AWS 기반 대용량 데이터 처리 데이터 엔지니어 전문가

프로젝트 소개: - 대용량 데이터 파일을 수신하여 AWS S3 및 데이터베이스에 안정적으로 적재하고 배치 운영 및 장애 재처리 등 데이터 처리 전반을 수행하는 프로젝트입니다. 프로젝트 진행 상황: - 데이터 엔지니어 프리랜서 투입을 위한 모집을 진행하고 있으며 세부 프로젝트 진행 현황 및 업무 환경은 미팅 시 안내해 드립니다. 전체 시스템 구성: - Linux, Shell Script, AWS S3, MySQL 계열 RDBMS, SQL, CSV 등 정형 데이터, Batch Processing 전체 프로젝트 일정: - 3개월 모집 인원: - 경력 11년 차 이상 1명 (월 급여 협의) 근무 형태: - 상주 근무 (경기 수원시 영통구) 상세 업무: - 대용량 데이터 파일 수신 및 적재 프로세스 운영 - AWS S3 등 클라우드 스토리지 기반 데이터 연계 및 후속 처리 - Shell Script를 활용한 데이터 수집, 다운로드 및 처리 자동화 - CSV 등 정형 데이터 파싱 및 정합성 검증 - MySQL 계열 데이터베이스 대상 대용량 데이터 적재 - Full Load 및 Incremental Load 방식의 데이터 적재 프로세스 개발 및 운영 - 데이터 배치 스케줄링 및 선후행 프로세스 관리 - 데이터 처리 결과 및 오류에 대한 로그 및 이력 관리 - 장애 발생 시 데이터 재처리 및 배치 재실행 - 대용량 데이터 처리 성능 개선 및 SQL 튜닝 필수 기술: - Linux, Shell Script, MySQL, SQL, Batch Processing 자격 요건: - 데이터 엔지니어링 또는 데이터 처리 관련 실무 경력을 9년 이상 보유하신 분 - Linux 환경에서 Shell Script 작성 및 운영 경험이 있으신 분 - 대용량 데이터 적재 및 배치 프로세스 개발 경험이 있으신 분 - MySQL 등 RDBMS 활용 및 SQL 작성 역량을 갖추신 분 - 정형 데이터 Parsing 및 Validation 경험이 있으신 분 - Full 및 Incremental 방식의 데이터 적재 구조에 대한 이해도를 갖추신 분 - 데이터 처리 장애 분석 및 재처리 경험이 있으신 분 우대 사항: - AWS 환경에서의 데이터 처리 및 S3, RDS 활용 경험이 있으신 분 - 대용량 데이터 Migration 또는 ETL, ELT 프로젝트 경험이 있으신 분 - Batch Job 선후행 및 의존성 관리 경험이 있으신 분 - 데이터 적재 성능 개선 및 SQL 튜닝 경험이 있으신 분 - 데이터 처리 로그 및 모니터링 체계 구축 경험이 있으신 분 - 장애 복구 및 재처리를 고려한 데이터 파이프라인 설계 경험이 있으신 분