셀렉트스타 - AI Research Engineer Eval

회사명	셀렉트스타
포지션	AI Research Engineer Eval
근무지	서울 강남구 테헤란로38길 8, 오피스B 8-11 F
고용형태	정규직
경력	5년 이상
기술 스택	Git, MySQL, PyTorch, Tensorflow, Python, Spring Framework, OpenCV

회사 소개

Forbes 아시아가 선정한 100대 스타트업이자 국내를 넘어 글로벌 AI 시장을 선도하는 셀렉트스타는 생성형 AI 시대의 핵심 난제인 AI 모델 '신뢰성 검증'과 '고품질 데이터 확보'를 해결하는 혁신적인 솔루션을 제공하며 글로벌 AI 기업들의 핵심 파트너로 빠르게 성장하고 있습니다.

국내 최초로 생성형 AI 신뢰성 검증 자동화 솔루션 '다투모(Datumo)'를 성공적으로 출시했으며, 국가대표 AI 데이터 기업으로서 기술적 리더십을 공고히 하고 있습니다. 누적 투자 434억 원(시리즈 B 라운드 완료) 유치를 통해 폭발적인 글로벌 성장 모멘텀을 확보한 셀렉트스타에서, AI 기술이 만드는 가치를 믿고 함께 혁신을 만들어갈 당신을 기다립니다.

AI R&D Eval Team
셀렉트스타 AI 제품 연구개발팀은 생성형 AI를 포함한 핵심 기술 전반에 걸쳐 연구개발을 수행하고 있습니다.
그중에서도 Eval 팀은 다음 두 가지 핵심 축을 중심으로 LLM 평가(Evaluation)와 Human Alignment 기술에 집중하고 있습니다.

Evaluation & Benchmarks

• AI 기반 서비스 전반을 대상으로 한 자동 평가 기술 개발
• 한국어 및 도메인 특화, 멀티모달 벤치마크 설계 및 구축

sLM Training & Human Alignment

• sLM 및 Reward Model 기반의 LLM 학습 및 최적화
• Human-in-the-loop 접근을 통한 모델 적응 및 정교한 튜닝

저희는 연구 성과를 실제 제품과 고객 문제 해결로 연결할 수 있는 분을 찾고 있습니다.단순히 아이디어 제안이나 논문 쓰는데 머무르지 않고, 직접 연구설계, 구현까지 수행하여 Datumo Eval 제품에 기술을 반영하고,필요 시 고객 현장에서 문제를 파악해 적극적으로 대응할 수 있는 실행력을 중요한 역량으로 보고 있습니다.

주요 업무

성공적인 AI 제품 개발과 실제 고객 환경에서의 문제 해결을 위해 LLM 평가 및 정렬(Alignment) 기반의 AI 연구개발을 맡게 됩니다. 이 과정에서 아래와 같은 업무들을 수행하게 됩니다.

• LLM 성능에 대한 객관적 평가 연구 및 실험 설계
• LLM as Judge 구조, 평가 루브릭 및 프롬프트 설계
• 신뢰성과 재현성을 갖춘 평가 방식 연구
• 다양한 벤치마크 기획 및 구축
• Human Alignment & Auto Adapt 연구
• 프롬프트 자동 최적화 실험
• 실제 고객 피드백과 사용 로그를 반영한 Human-in-the-loop 평가 구조 설계
• 고객 문제 정의 및 해결을 위한 가설 설정 및 검증
• 고객사/내부 이해관계자와 함께 문제 정의 및 우선순위 설정
• 실험 설계 ＞ 데이터/모델 구성 ＞ 결과 분석 ＞ 인사이트 도출까지의 전 과정 수행
• 연구 결과를 Datumo Eval 및 신규 솔루션으로 연결하기 위한 제안 및 PoC 수행

자격요건

전공/학위 무관하나, 아래 기준을 충족해야 합니다.

• 학사 졸업 후 약 3년차 (만 2년이상) 경력에 준하는 실전 경험
• 기본적인 ML/딥러닝 이해 및 Python & PyTorch 기반 모델 실험 경험
• LLM 평가 및 정렬 관련 핵심 업무 중 일부라도 독립적으로 설계하고 끝까지 수행한 경험

담당 업무를 스스로 설계하고 끝까지 밀어붙일 수 있으며,그 과정과 결과를 논리적으로 설득력 있게 설명할 수 있는 역량을 중요하게 봅니다.다음 중 여러 항목에 해당하신다면 잘 맞으실 수 있습니다.

• LLM / 딥러닝 기반 NLP 모델을 직접 구현·실험해 본 경험

예) HuggingFace Transformers를 활용한 파인튜닝, vLLM/DeepSpeed/FSDP 기반 서빙/실험 등

• LLM 또는 NLP 모델의 평가 지표·벤치마크를 설계하거나 개선해 본 경험

예) QA/요약/대화/Reasoning/RAG 등 태스크에 대한 custom metric이나 평가 파이프라인 운영

• 실험 설계, 지표 정의, 통계적 분석을 통해 결과를 비즈니스/서비스 관점에서 해석할 수 있는 역량
• 영어 논문을 읽고, 내용을 구현·실험으로 연결할 수 있는 능력
• 다양한 이해관계자(내부 PM, 엔지니어, 외부 고객 등)와 명확하고 논리적으로 소통할 수 있는 커뮤니케이션 능력

* 병역 특례 및 외국인 지원 불가

우대사항

• RAG System, LLM Evaluation, LLM Alignment 등 유관 분야 프로젝트 경험자
• LLM 평가(LLM-as-Judge, Reward Model, RLHF/RLAIF, DPO 등) 관련 실무 또는 연구 경험자
• Multi-Agent LLM 시스템, Tool-use 기반 평가 경험자
• 한국어 및 특정 도메인(금융, 법률 등) 데이터셋/벤치마크 구축 및 어노테이션 파이프라인 경험자
• Prompt Backprops, Task-vector, LoRA 등 경량 적응 기법 실험 경험자
• LLM 시스템 전체 파이프라인(데이터 ＞ 모델 ＞ 평가 ＞ 서빙) 설계 경험자
• 논문 작성 경험자 (학회/저널 관련 경험 우대)

기술 스택

Git MySQL PyTorch Tensorflow Python Spring Framework OpenCV

복지 및 혜택

[근무 및 급여 조건]

• 채용 형태: 6개월 수습 후 정규직 전환 여부 결정
• 급여 및 연봉: 개인 역량에 따라 협의를 통해 결정 (수습기간에도 연봉 100% 지급)
• 근무 시작일: 협의를 통해 결정
• 근무 장소: 서울시 강남구 테헤란로38길 8, 오피스B 8-11층
• 직무 효율을 위한 모든 장비(맥북, 노트북, 데스크탑 등) 지원

지원 방법

원티드에서 지원하기