카드 프롬프트 20,848자 중 카드 고유 지시는 맨 끝에 있었다: 순서를 뒤집자 나아졌다

6월 초의 문제는 카드 맨 위의 한 문장이었다. 카드와 슬라이드 상단 문구가 원문을 설명하지 못하고, 잘리거나, 목차처럼 비슷한 말을 되풀이했다. 카드마다 그림도 비슷해졌다. 고치면 몇 장은 나아지고, 다음 세트에서 같은 문제가 다시 나왔다.

코딩하기 전에 원인부터

6월 3일부터 방식을 바꿨다. 합격한 카드와 실패한 카드를 내가 직접 골라 줬다. 한 세트에서는 4, 5, 6번 카드가 합격이었다. 그리고 무작정 코드를 고치지 말고 합격한 카드와 실패한 카드가 무엇이 다른지부터 분석하라고 했다.

거기서 나온 규칙은 이랬다. 상단에는 제목 대신 원문에서 나온 흐름 문장을 쓴다. 그 문장은 본문과 겹치지 않는다. 카드마다 그 문장이 제 역할을 하는지 따로 판정한다. 방향은 맞았지만 규칙은 계속 늘어났다.

스스로를 반복한 자동 점검

6월 5일 무렵에는 자동 회로도 붙였다. 20분마다 결과를 확인하고, 8장이 전부 합격할 때까지 고치기를 되풀이하는 점검이다. 그런데 새로 만들어진 카드가 없어도 점검은 계속 돌았다. 같은 결과를 확인하고 또 확인하는 보고가 쌓였다. 성공 기준은 있었는데 멈출 기준이 없었다.

결국 이 회로를 끄고 목적을 바꿨다. 카드 하나하나를 보는 대신 3시간마다 봇과 워커가 살아 있는지를 본다. 헤르메스의 컨트롤타워 점검이 이 자리에서 나왔다.

밀리는 줄

6월 하순에는 양이 문제였다. 6월 23일 새벽, 라틸리언스봇이 12시간째 응답이 없었다. 확인해 보니 카드뉴스 작업 40개가 대기 중이었다. 가장 먼저 처리해야 할 라틸리언스마저 밀리자, 자동으로 만드는 섹션을 줄이고 내가 원하는 작업만 대기열에 넣는 타협안이 나왔다. 용량이 모자랄 때는 우선순위만 올려서는 안 되고 만드는 범위 자체를 줄여야 했다.

1만 9천 자 뒤에 묻힌 한 문장

품질 문제의 진짜 원인은 7월 1일 리뷰에서 나왔다. 카드 한 장을 그릴 때마다 모델에 들어가는 프롬프트가 20,848자였다. 그동안 쌓은 공통 규칙과 논문 전체 분석이 앞을 차지하고, 정작 그 카드에만 해당하는 지시는 약 1만 9천 자 뒤, 맨 끝에 있었다. 규칙을 하나 더할 때마다 카드 고유의 정보는 한 칸 더 뒤로 밀렸다.

조립 순서를 뒤집었다. 그 카드의 첫 문장, 본문, 그림 방향을 맨 앞에 두고, 짧게 줄인 공통 스타일을 뒤에 둔다. 논문 분석도 전체를 붓지 않고 그 카드에 해당하는 부분만 넣는다. 새 방식으로 뽑은 카드를 보고 한 말은 “훨씬 낫다. 이걸로 가자”였다.

배운 것

생성 품질은 규칙의 양이 아니라 신호의 순서와 밀도로 돌아왔다. 모든 카드에 똑같이 들어가는 말이 길어질수록, 카드마다 달라야 할 말은 모델에게 덜 보였다. 그리고 관찰하는 자동화에도 멈추는 조건이 있어야 한다. 새 결과가 없는데 계속 확인하는 점검은 일을 하는 게 아니라 일을 하는 척을 했다.