저자 토론 기능을 붙였다: GPT가 저자 연기를 거부했다

책이 쌓이자 욕심이 생겼다. 한 주제를 두고 서로 다른 책의 저자들이 직접 말다툼을 하면 어떨까. 둘째 날부터 이틀 동안 그 무대를 만들었고, 이름을 아고라라고 붙였다.

책에서 저자를 뽑아낸다

먼저 저자의 페르소나가 필요했다. 책 전체를 조각내어 저자의 입장, 자주 쓰는 논법, 말투, 그리고 “이 사람이라면 하지 않을 말”의 경계를 뽑고, 그 결과를 합쳐 한 장짜리 인물 문서로 만들었다. 뽑은 페르소나가 정말 책과 같은 입장을 취하는지 따로 검사하는 체커도 붙였다. 책에서 드러난 입장을 거꾸로 뒤집은 질문을 던져, 페르소나가 경계를 지키는지 본다.

토론은 라운드제 상태 기계로 돌렸다. 여는 발언에서 교차 질문으로, 교차 질문에서 반박으로 넘어가는 식이다. 발언할 때마다 각자 자기 책에서 근거를 찾아 인용하게 했고, 쉽게 합의로 끝나지 않도록 반대 입장을 붙들게 했다. 사용자는 중간에 끼어들어 질문하거나 다른 저자를 불러 세울 수 있다. 라운드 사이에는 사회자가 갈등을 키우는 질문을 한 문장씩 던진다. 기사 주소를 붙여 넣으면 그 내용을 먼저 브리핑으로 정리해 보여 주고, 확인하면 그 주제로 토론을 연다.

같은 말만 하는 저자

첫 문제는 필립 테틀록이었다. 테틀록 페르소나가 라운드마다 거의 같은 말을 되풀이했다. 원인은 프롬프트였다. 책에서 가져온 근거와 인물의 말투를 한 덩어리로 넣으니, 모델은 책 문장을 반복해 읽는 쪽으로 기울었다.

그래서 둘을 나눴다. 책은 인용할 근거로만 주고, 대사는 그 인물의 인격이 하는 대화로 쓰게 했다. 그리고 상대가 방금 한 말에 직접 반박하게 하고, 앞에서 한 말을 다시 하지 못하게 막았다. 그제야 토론이 앞으로 나아가기 시작했다.

연기를 거부하는 배우

더 까다로운 문제는 다른 모델을 배우로 쓸 때 나왔다. 저자 몇 명의 대사를 GPT에게 맡기려고 Hermes를 통해 연결했더니, GPT는 이 일을 연기가 아니라 작업으로 받아들였다. 대사 대신 “요청을 수행할 수 없다”고 답하거나, 받은 지시문을 그대로 복창하거나, 에이전트가 상태를 보고하는 문구를 늘어놓았다.

먼저 틀을 바꿨다. 이것은 작업이 아니라 역할극이고, 지시문을 따라 말하지 말고 대사만 쓰라고 못 박았다. 그래도 새는 경우를 위해 출력 가드를 모델과 상관없이 붙였다. 거절이나 프롬프트 누출을 감지하면 더 강한 지시로 다시 시키고, 그래도 안 되면 로컬 모델로 대신 쓰게 했다. 누출된 원문은 절대 화면에 보이지 않게 막았고, 대신 쓴 대사에는 “(GPT 거절→로컬 대체)“라고 표시해 토론 기록을 내보낼 때도 남겼다.

배운 것

모델에게 연기를 시킬 때는 무엇이 근거이고 무엇이 연기인지를 나눠서 줘야 한다. 둘을 섞으면 근거를 읽는 소리가 나고, 연기를 작업처럼 주면 거부한다. 그리고 모델이 실패한 자리는 몰래 메우지 말고 표시해 두는 편이 낫다. 나중에 토론을 다시 읽을 때 어느 말이 누구의 것인지 알 수 있어야 하기 때문이다.