NEW코딩일지 · 11.05코퍼스 메인에 주장 연구실을 세웠다: 사유고2 주장 29만 개를 자동 등록하고 스파크 두 대가 반증 조건까지 검토한다
← AI 활용
·4분

X-ray펀드 활용 · 5화

주장 985건 가운데 출처까지 묶인 것은 126건이었다: 근거감사실은 1초 만에 인계를 보류했다

분석본부가 쓴 보고서를 근거감사실 세 명이 주장 단위로 쪼개 원문과 대조했다. 30건을 반려하고 수치 충돌 9건을 막았으며, 하나라도 남으면 넘기지 않는다는 규칙대로 인계를 보류했다.

▸ X-ray펀드#x-ray펀드#multi-agent#기업분석#근거감사

21시 23분 8초, 그레이엄의 투자논지가 근거감사실로 넘어왔다. 근거감사실은 세 명이다. 주장과 출처를 대조하는 포퍼, 숫자를 대조하는 러셀, 둘의 결과를 받아 승인 여부를 정하는 솔로몬이다. 셋 다 모델을 쓰지 않는 규칙 엔진이고, 합쳐서 1초가 걸리지 않았다.

분석본부가 25분 동안 쓴 문장을 1초 만에 검사한다는 게 이상해 보일 수 있다. 근거감사실은 문장이 맞는지 판단하지 않는다. 문장이 가리키는 출처에 그 말이 정말 있는지, 같은 숫자가 단위와 기간까지 같은지를 기계적으로 확인한다.

포퍼: 출처가 한 말보다 강한 문장은 통과시키지 않는다

포퍼는 분석 보고서를 주장 단위로 쪼갰다. 코히런트 실행에서는 985건이 나왔다.

분류 건수 뜻
출처 결속 126 주장과 인용 원문이 이번 실행의 근거 묶음 안에서 이어짐
라벨 보존 666 ‘추론’, ‘미확인’, ‘공개 주장’ 같은 표시를 단 채로만 쓸 수 있음
결속 미완 163 보고서에 근거는 있지만 이 주장에 맞는 인용이 특정되지 않음
반려 30 출처와 맞지 않아 쓸 수 없음

반려 사유는 문자 그대로다. 병목 보고서의 “[확인] TTM 매출은 $7,118,181,000이고”라는 문장은 재무 보고서를 인용했는데, 재무 보고서에는 그 매출이 “$7.1B”로만 적혀 있다. 인용한 출처에 $7,118,181,000이라는 숫자가 없으니 반려다. 숫자 자체는 공식 데이터와 같아도, 인용이 그 숫자를 뒷받침하지 않으면 통과하지 못한다. 2021년 합병계약을 설명한 문장은 한 줄 안에 ’미검증’과 ‘확인된 사실’ 표시가 함께 붙어 있어 반려됐다.

포퍼가 가장 많이 남긴 것은 반려가 아니라 라벨 보존 666건이다. 분석가의 해석 문장이 대부분 여기에 들어간다. 해석은 틀린 게 아니라, ’해석’이라는 표시를 떼지 않는 조건에서만 다음 단계에 쓸 수 있다.

러셀: 같은 숫자인지 단위와 기간까지 본다

러셀은 포퍼의 주장 가운데 숫자가 든 것을 회사, 지표, 값, 단위, 통화, 기간으로 쪼갰다. 수치 관측이 35건 나왔고, 그중 26건을 자료조사실 슈테른의 정규화 원장과 대조했다.

17건은 일치했다. 9건은 차단 충돌이었다. 대부분 최근 12개월 매출과 잉여현금흐름이었고, 문장에 적힌 값이나 단위나 기간이 정규화 원장과 맞지 않았다. 5건은 검토 충돌로, 같은 지표와 기간을 보고서마다 다른 값으로 적었거나 같은 기간의 수익성을 서로 반대 상태로 적은 경우다. 20건은 비교할 기준값이 원장에 없었다.

검토 충돌 5건 가운데 2건이 잉여현금흐름이었다. 이 실행의 잉여현금흐름은 버리의 원장에 -1023395000으로, 병목 후속 검사에 -$1.0B로 적혀 있다. 사람 눈에는 같은 값이지만, 러셀은 보고서끼리 값이 어긋나면 스스로 맞추지 않고 솔로몬의 검토 대상으로 넘긴다.

솔로몬: 하나라도 남으면 넘기지 않는다

솔로몬은 포퍼와 러셀의 결과를 받아 판정한다. 규칙은 단순하다. 반려, 충돌, 강등, 미해결이 하나라도 남아 있으면 최종 보고와 대표 판단으로 넘기지 않는다.

코히런트는 보류였다. 차단 사유로 포퍼 반려 30건, 러셀 차단 충돌 9건, 검토 충돌 5건, 앞 단계 검사에서 강등된 주장 3건을 적었다. 미해결 항목으로는 결속 미완 163건, 기준값 미확인 20건, 그리고 부분 수용으로 끝난 연결·테마·시간국면 분석과 저하된 포퍼·러셀 자신의 작업을 적었다.

최종보고서에 실린 근거감사실 절. 포퍼와 러셀의 집계, 솔로몬의 판정, 반대 근거와 미해결 항목이 칸별로 나뉘어 있다.

보류라고 해서 쓸 수 있는 주장이 없는 것은 아니다. 솔로몬은 안전하다고 판정한 주장 758건을 해시로 봉인했다. 다음 단계는 이 봉인된 주장만 근거로 쓸 수 있다. 감사 보고서에는 이런 문장도 있다. 근거감사실의 승인은 원문이 절대적으로 참이라는 선언이 아니라, 지금 실행에서 추적할 수 있고 충돌이 해소된 주장만 다음 단계에 쓸 수 있다는 통제 판정이다.

보류는 실행을 멈추지 않는다

솔로몬의 보류 뒤에도 실행은 계속됐다. 21시 23분 9초에 부서 실질 보고 원장이 만들어졌고, 이 원장의 준비 상태는 ’부분’으로 찍혔다. 보류는 실행을 세우는 대신 표시로 따라간다. 이 표시가 대표 판단과 최종보고서의 준비 상태를 끌어내린다.

근거감사실 회의록의 마지막 줄은 이렇다. 솔로몬은 종목에 관한 합의와 반대 근거를 함께 발표하며, 감사 보류를 투자 찬반으로 바꾸지 않는다. 보류는 ’이 회사가 나쁘다’는 뜻이 아니라 ’이 근거로는 아직 말할 수 없다’는 뜻이다.

다음 화는 회의다. 감사가 끝난 원장을 가지고 부서 회의와 팀장급 회의를 23분 동안 열었고, 거기서 코히런트라는 회사가 한 문장으로 정리됐다.

X-ray펀드는 실제 매매와 연결되어 있지 않다. 이 연재는 분석 과정의 기록이며 특정 종목의 매수·매도를 권하지 않는다.

X-ray펀드 활용 · 전 7화

  1. 1화코히런트 분석 첫 83초: 수집 직원 7명이 자료를 모으고 원본 60개를 봉인했다
  2. 2화자료조사실 7명은 0.4초 만에 문서철 17종을 봉인했다: LLM 없이 규칙만 썼다
  3. 3화순이익 8억 달러, 영업현금 8천만 달러: 재무·연결·병목 분석실이 같은 빈칸을 가리켰다
  4. 4화분석가끼리 반박해 주장 세 개를 고쳤다: 코히런트 잠정 결론은 '관찰 대상'
  5. 5화주장 985건 가운데 출처까지 묶인 것은 126건이었다: 근거감사실은 1초 만에 인계를 보류했다
  6. 6화회의록 다섯 구간을 23분 동안 썼다: 코히런트는 '먼저 지은 생산능력을 AI 수요로 채우는 회사'로 정리됐다
  7. 7화대표 AI는 '관찰 대상'을 권고하고 승인은 보류했다: 코히런트 최종보고서와 추가 조사 24건