페이지를 불러오는 중...
페이지를 불러오는 중...
| 회사명 | 버즈빌(buzzvil) |
|---|---|
| 포지션 | 데이터 엔지니어 (1년 이상) |
| 근무지 | 서울특별시 송파구 석촌호수로 272 MY빌딩 2~5층 |
| 고용형태 | 정규직 |
| 경력 | 5년 이상 |
| 지원 마감 | 2026-04-30 |
| 기술 스택 | PyTorch, ML |
버즈빌의 데이터 엔지니어링팀은 데이터가 생산되는 레이어부터 데이터가 소비되는 레이어까지를 아우르는 데이터 플랫폼과 워크플로우의 설계 및 운영을 담당하는 조직입니다. 현재 1,800만 MAU, 30여개의 마이크로 서비스로부터 흘러들어오는 TBs/day 볼륨의 데이터가 scalable하게 적재적소에 활용 될 수 있는 데이터 플랫폼을 만들어가고 있습니다.
데이터의 원천으로부터 데이터 레이크(S3, Athena)까지 흘려보내는 ELT 워크플로우들은 Airflow를 통해 관리하고 있으며, AWS EKS 클러스터 위에서 약 1300개의 DAG를 운영하고 있습니다. Airflow를 고도화하여 YAML 명세 기반 워크플로우 관리를 포함한 다양한 시도를 통해 분석가나 서버/ML 개발자가 직접 워크플로우를 등록하는 self-serving 플랫폼을 지향하고 있습니다.
전반적인 데이터 인프라를 AWS와 Kubernetes 상에서 Terraform과 Helm으로 관리하고 있으며, 주요 스택으로는 S3, Athena, Kafka, DataHub, Fluentbit, Loki, Redash 등을 활용하고 있습니다
[개발 환경]
[개발 문화]
성장을 위한 개발 문화와 훌륭한 동료 버즈빌은 회사와 팀, 개인 모두의 성장을 적극적으로 지원합니다. 좋은 문화와 훌륭한 동료 덕분에 빠른 성장을 경험할 수 있습니다.
팀에 조인하셔서, 아래의 과업들을 같이 풀어나가면 좋겠습니다.
1. DataLake
데이터 플랫폼 단순화를 위해 데이터 웨어하우스로 사용하던 Redshift를 제거하고 S3/Athena 기반 데이터 레이크로 플랫폼을 통합했습니다. 현재 Hive 포맷 테이블들을 Iceberg로 전환하는 작업을 진행 중이며, ACID 트랜잭션, 레코드 수준 변경 등 유연한 기능들을 데이터 플랫폼 전반에 확대해 나가고 있습니다. 데이터 플랫폼상에서의 비효율을 포착하고 최적화하는 일을 같이 진행해 보고 싶습니다.
2. DataDiscovery
DataHub을 데이터 카탈로그로 사용 중입니다. 테이블/컬럼 수준의 설명, 태그, 오너십 등 카탈로깅 작업은 대부분 수작업에 의존하고 있어 관리 부담이 높은 상황입니다. LLM을 활용하여 테이블·컬럼 설명 작성, 태그 및 오너십 추천 등 카탈로깅 작업을 자동화하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다.
3. RealtimeSync
현재 운영계의 데이터는 대부분 배치로만 분석계에 반영되고 있어, 실시간 분석 및 의사결정에 한계가 있습니다. CDC를 활용해 운영계 DB의 변경 사항을 실시간으로 캡쳐하고, 이를 데이터 레이크까지 반영하는 파이프라인을 함께 설계하고 구축해 나가고자 합니다. 단순한 구축을 넘어 안정적이고 정합성 높은 파이프라인을 만드는 것을 목표로 합니다.
4. Observability
현재 서비스 및 인프라 로그는 Loki에서 최근 데이터를 조회하고, 장기 보관 데이터는 Fluentbit을 통해 S3에 적재하여 Athena로 분석하는 구조로 운영하고 있습니다. 일부 구간에서 데이터 유실 가능성이 있어, 수집부터 적재까지 전 구간에 걸쳐 안정적으로 동작하는 로그 아키텍처로 개선하는 작업을 함께 해나가고자 합니다.
PyTorch ML
몰입을 위한 최적의 환경을 제공합니다.
존중과 용기를 담아 커뮤니케이션 합니다.
잘 먹고 잘 쉴 수 있도록 지원합니다.
성장을 위해서라면 아끼지 않습니다.
알찬 리워드 혜택과 함께합니다.
• 서류전형: 역량 및 경력 중심의 이력서 (이력사항에 따라 온라인 코딩테스트 요청 드릴 수 있습니다.) • 행아웃 라이브 코딩 테스트: 해커랭크 플랫폼을 통한 알고리즘 라이브 코딩 테스트 • 1차 인터뷰(Job-fit): 실무진 면접, 현장 코딩 테스트 및 사전과제 리뷰 • 레퍼런스 체크 • 2차 종합 인터뷰: Bar-raiser 1명 참석, 직무 & 컬쳐핏 인터뷰 진행 • 처우협의 • 오퍼레터 전달 (모든 전형은 영업일 10일 이내로 합격/불합격 전달 드립니다.) 참고사항 • 상황에 따라 1~2회의 추가 인터뷰를 요청할 수 있습니다. • 입사 후 프로베이션 3개월 운영할 예정이며, 프로베이션 기간 동안의 급여는 100% 지급됩니다. • 장애인, 국가유공자, 보훈 대상자는 관련 법령에 따라 우대합니다. • 이력서 제출 시, 현재 연봉은 기재하지 말아 주세요. • 포트폴리오가 있으시다면 링크로 이력서에 함께 입력해 주세요. [채용서류 반환 관련 고지] 1. 본 고지는 ‘채용절차의 공정화에 관한 법률’ 제11조를 따르며, 최종합격자를 제외한 구직자는 채용여부 확정일 이후 14일 이내 채용서류의 반환을 청구할 수 있습니다. 2. 다만, 홈페이지 혹은 전자우편 등 전자서류로 제출된 경우 및 구직자가 버즈빌의 요구 없이 자발적으로 제출한 경우의 서류는 반환 청구 대상에서 제외되며, 천재지변 혹은 버즈빌 측 책임이 없는 사유로 채용서류가 멸실된 경우에는 반환이 되지 않습니다. 3. 모든 채용 서류는 상기 법률에 따라 최종 합격자 발표 후 180일간 보관되며 그 이후에는 파기되므로 해당 기간이 경과된 후에는 반환이 불가능합니다. 4. 채용서류의 반환 청구는 이메일로 신청하여 주시기 바라며, 반환 청구 이후 14일 이내 지정한 주소지로 등기 우편을 통해 송부해 드릴 예정입니다. 이때, 소요되는 비용은 신청인이 부담할 수 있습니다.