Python/AWS 기반 데이터 파이프라인 구축 데이터 엔지니어 전문가

프로젝트 소개 - 다양한 내·외부 데이터를 안정적으로 수집하고 처리하여, 서비스와 AI가 활용할 수 있는 데이터 기반을 만들어갈 데이터 엔지니어를 모집합니다. - 단순한 ETL 개발에 머무르지 않고 데이터의 수집부터 저장, 처리, 검색, 제공까지 전체 흐름을 이해하며, Software/ML Engineer와 협업하여 확장 가능하고 신뢰할 수 있는 Data Pipeline과 Platform을 설계하고 개발합니다. 전체 프로젝트 일정 - 3개월 모집 인원 - 경력 4~7년 차 1명 (월 350만 원) 근무 형태 - 상주 근무 (서울 마포구, 상암산로 76) 상세 업무 - 다양한 내·외부 데이터의 수집, 정제, 가공, 적재를 위한 ETL/ELT Pipeline을 설계하고 개발합니다. - Batch 및 Streaming 기반 데이터 처리 시스템을 구축하고 성능을 개선합니다. - 데이터 수집부터 저장, 활용까지 연결되는 Data Architecture와 Data Model을 설계합니다. - RDBMS, NoSQL, Object Storage, Search Engine 등 데이터 특성에 적합한 저장 및 조회 구조를 설계합니다. - Elasticsearch/OpenSearch 및 Vector Database 등을 활용하여 검색과 AI/RAG에 필요한 Data Pipeline을 구축합니다. - 데이터 정합성, 완전성, 최신성을 관리하기 위한 Data Quality 검증과 Monitoring을 자동화합니다. - Query, Index, Partition, Pipeline 등을 분석하여 데이터 처리 성능과 Cloud 비용을 최적화합니다. 필수 기술 - Python 또는 Java - SQL - ETL/ELT 자격 요건 - 데이터 엔지니어링 관련 실무 경력을 보유하신 분 - Python 또는 Java 등 하나 이상의 프로그래밍 언어를 활용한 개발 경험이 있으신 분 - SQL을 활용한 데이터 처리 및 Data Modeling 경험이 있으신 분 - ETL/ELT Pipeline 개발 경험이 있으신 분 - Batch Processing 및 Workflow Scheduling에 대한 이해가 있으신 분 - API, Database, File 등 다양한 데이터 소스를 수집하고 연계한 경험이 있으신 분 - 데이터 품질, 장애, 성능 문제를 분석하고 개선할 수 있으신 분 우대 사항 - Airflow, Kafka, Spark 등 데이터 처리 도구 활용 경험이 있으신 분 - Elasticsearch/OpenSearch, Vector Database 활용 경험이 있으신 분 - AWS(S3, RDS, Glue, Athena, EMR) 기반 데이터 환경 구축 경험이 있으신 분 - Linux, Docker, Kubernetes, Git, CI/CD 환경에 익숙하신 분 - Data Modeling, Data Quality, Metadata, Lineage 등 데이터 관리 경험이 있으신 분