TOPIK Question Pipeline — Seol Sunwoo (Jake)

문제: 서비스에 필요한 건 '문제가 충분한 것'처럼 보였지만 실제 요구는 세 층이었습니다 — 유형별 생성 규칙, 통과와 탈락을 가르는 검수 기준, 그리고 문제가 나간 뒤를 채울 예상 오답·피드백 데이터. LLM에게 자유롭게 생성시키는 방식을 먼저 시험해봤고 세 가지가 동시에 무너지는 걸 확인했습니다: 품질 편차, 주제 편향, 재사용 불가. 생성은 몇 분이면 끝나는데, 그 결과를 사람이 검수하는 비용이 생성 비용을 압도했습니다.
역할: 문제 생성 규칙 정리부터 생성 스크립트 제작·테스트, 검수 기준 수립, 데이터 증강까지 데이터 라인 전체를 담당했습니다. 특히 '무엇을 통과시킬 것인가'를 정하는 판정 라인을 제 소관으로 쥐었습니다.
과정: 핵심 고민은 이었습니다 — '문제의 품질은 어디서 결정되는가.' 생성 프롬프트를 다듬는 게 아니라 판정 기준을 먼저 세우는 쪽이 답이었습니다. 53번(그래프·표) 생성 스크립트로 2,000개를 만들고 표본 50개를 정밀 검수해 판정 기준을 세웠고, 최종적으로 완전 통과한 건 63개 — 3%였습니다. 실패 1건 1건이 규칙의 빈자리를 가리켰습니다: 모범답안의 과한 어휘, 단조로운 그래프 수치, 편향된 주제 표현. 이 메모를 규칙에 역반영해 재생성하는 루프를 돌렸고, '기준 없는 2만 개보다 기준 있는 63개'를 택했습니다. 자유도는 조립이 아니라 글감 단계에서 확보하는 구조로 그 위치를 옮겼습니다.
결과: 51~54번 전 유형으로 확장하며 규칙 문서, 검수 체크리스트, 예상 유저 쿼리 10만 행, 피드백 레코드 22,250건이 남았습니다. 달라진 건 데이터만이 아니라 대화였습니다 — 리뷰에서 '괜찮아 보인다'가 아니라 '통과/탈락'으로 말하게 됐고, 의견이 결정으로 바뀌는 속도가 빨라졌습니다.