회사명 넥스트증권 포지션 Data Engineer(AI데이터플랫폼) 근무지 서울 영등포구 국제금융로 10, 3IFC 15층 고용형태 정규직 경력 5년 이상
회사 소개
직무 Summary
넥스트증권 AI데이터플랫폼팀과 함께 차세대 금융 데이터 레이크하우스를 만들어갈 데이터 엔지니어(경력)를 모집합니다. Confluent Kafka 기반 실시간 스트리밍과 Databricks Delta Lake 기반 레이크하우스 아키텍처를 설계·구축하고, Flink CDC를 활용한 거래·시세·고객 행동 데이터의 실시간 수집부터 서빙까지 End-to-End 데이터 파이프라인을 책임집니다. IaC(Terraform, Ansible)로 인프라를 자동화하고, Unity Catalog 기반 데이터 거버넌스와 금융 규제 준수를 기술적으로 구현합니다.
주요 업무
실시간 데이터 파이프라인 구축: Confluent Kafka(KRaft 모드) 기반 스트리밍 아키텍처를 운영하고, Flink CDC를 활용하여 Oracle 계정계 시스템의 거래·시세 데이터를 exactly-once 보장으로 실시간 수집합니다. 데이터 레이크하우스 설계·운영: Databricks Delta Lake 위에 Bronze/Silver/Gold 메달리온 아키텍처를 구축하고, Delta Live Tables(DLT)와 Lakeflow를 활용하여 선언적 데이터 파이프라인을 개발합니다. 데이터 서빙 레이어 개발: OpenSearch(텍스트/시맨틱 검색), Redis(실시간 랭킹/캐싱), FastAPI 기반 REST API를 통해 다양한 소비자에게 데이터를 제공하는 멀티엔진 서빙 아키텍처를 구축합니다. AWS 클라우드 서비스 활용: S3(데이터 레이크 스토리지), EC2(데이터 처리 워크로드), EKS(컨테이너 기반 서비스) 등 AWS 서비스를 활용하여 데이터 파이프라인과 서빙 레이어를 구축·운영합니다. 데이터 거버넌스 및 규제 준수: Databricks Unity Catalog 기반 데이터 접근 제어, PII 마스킹/탐지, 금융 규제 준수를 위한 아카이빙 및 보안 아키텍처를 구현합니다. 크로스팀 협업: AI/ML 엔지니어, 프로덕트 엔지니어, 데이터 분석가와 긴밀히 협업하여 시세 데이터, 뉴스 데이터, 행동 분석 데이터 등의 요구사항을 파악하고 최적의 데이터 솔루션을 제공합니다. 자격요건
5년 이상의 데이터 엔지니어 경력 Python 또는 Java 중 하나 이상의 프로그래밍 언어에 능숙하신 분 SQL 활용 능력이 뛰어나고 데이터 모델링에 대한 깊은 이해를 갖추신 분 Apache Kafka 기반 대규모 실시간 스트리밍 데이터 처리 경험이 있으신 분 Apache Spark 또는 Databricks 등 대용량 데이터 처리 프레임워크 사용 경험이 있으신 분 CDC(Change Data Capture) 파이프라인 구축 경험이 있으신 분 (Flink CDC, Debezium 등) AWS 등 퍼블릭 클라우드 환경에서 데이터 인프라 구축 및 운영 경험이 있으신 분 RDBMS(Oracle, PostgreSQL 등)에 대한 이해가 있으신 분 우대사항
증권, 은행, 카드사 등 금융 도메인에서 데이터 플랫폼 구축/운영 경험이 있으신 분 Databricks(Delta Lake, Unity Catalog, DLT) 또는 유사 레이크하우스 플랫폼 운영 경험이 있으신 분 Confluent Platform(Schema Registry, KRaft, Cluster Linking) 운영 경험이 있으신 분 Terraform, Ansible 등 IaC 도구를 활용한 인프라 자동화 경험이 있으신 분 데이터 품질 모니터링 및 데이터 거버넌스 체계 구축 경험이 있으신 분 OpenSearch, Redis 등 서빙 엔진 운영 경험이 있으신 분 전자금융감독규정 등 금융 규제 환경에 대한 이해가 있으신 분 CI/CD 파이프라인 구축 및 DevOps 문화에 대한 이해가 높으신 분 AI 코딩 에이전트(Claude Code, Codex, Cursor 등)를 활용한 Agentic Engineering 경험 또는 관심이 있으신 분 AI 도구의 출력을 검증·조합하여 복합적인 엔지니어링 산출물을 만들어내는 Compound Engineering 역량이 있으신 분 AI Harness(MCP 서버, 커스텀 스킬, 훅 등)를 설계·구성하여 개발 생산성을 극대화한 경험이 있으신 분 복지 및 혜택
건강체크 ~! 건강검진을 지원 해요
지원 방법
원티드에서 지원하기
