위키룸

무엇인가

단톡방에 흘러간 링크, 몇 년 치 경제 유튜브 대본, 사유고에 넣어 둔 책 원문을 한곳에서 검색하고, 찾은 근거를 붙여 문서로 엮는 로컬 도구다. 결과물은 모두 원문으로 되돌아갈 수 있다. 유튜브는 몇 월 며칠 어떤 영상의 몇 분 몇 초인지, 책은 몇 쪽인지, 카카오톡은 어느 대화가 근거인지 확인할 수 있다.

왜 만들었나

처음에는 공개된 카카오톡 검색 도구를 설치해 써 보려 했다. 첫 인덱싱이 몇 시간씩 CPU를 잡았고, 터미널 명령과 자연어 질문 사이에서 자꾸 막혔다. 그러면서 질문이 바뀌었다. 검색 엔진이 있느냐보다, 내 자료에 안전하게 묻고 답의 출처로 곧바로 돌아갈 수 있느냐가 더 중요했다.

어떻게 만들었나

로컬 검색 모델이 키워드, BM25, 의미 검색으로 근거를 찾고, 언어 모델은 허용된 근거만 정리하게 했다. 카카오톡 통계는 로컬 Rust가 직접 세고, 외부 모델에는 골라서 가린 발췌만 보낸다. 이 구조로 대화 속 저장소 링크 카탈로그, UI/UX 대화를 모아 공식 문서와 대조한 프런트엔드 설계 규칙, 금융 유튜브 예측의 사람별 검증, 책 원문에서 뽑은 인간 편향 사전 같은 문서를 만들었다. 사람 이름과 대화 원문은 결과물에서 뺐다.

배운 것

기능을 늘리는 것보다 실패를 다음 검증 규칙으로 바꾸는 쪽이 중요했다. 엉뚱한 방을 조사한 일, 바꿨다는데 화면이 그대로였던 일, 근거 링크 없이 대화를 인용한 일이 모두 다음 작업의 확인 항목이 됐다. 위키룸은 그 실패들이 쌓이면서 검색기에서 근거 위키로 바뀌었다.