NEW코딩일지 · 11.05코퍼스 메인에 주장 연구실을 세웠다: 사유고2 주장 29만 개를 자동 등록하고 스파크 두 대가 반증 조건까지 검토한다
← 개발로그
·2분

AC POST 개발로그 · 2화

신문 파이프라인을 맥 스튜디오 06:05 작업으로 옮겼다: 한 달 뒤 논문 섹션 4개가 0건이었다

6월 4일 밤, 번역을 집의 맥에서 도는 모델로 바꾸고 30분 뒤 신문 전체를 맥 스튜디오의 새벽 6시 5분 작업으로 옮겼다. 한 달 뒤에는 필터 하나가 논문 섹션 네 개를 비워 두고 있었다는 걸 알았다.

▸ AC POST#launchd#local-llm#pipeline#arxiv

6월 2일에 AC POST는 하루 동안 커밋 일곱 개를 받았다. 경제 섹션을 arXiv 논문으로 바꾸고, 자본시장 기사를 더 넓게 모으면서 거르는 기준과 중복 제거를 조였다. 테크와 AI 기사도 넓히고, 오늘의 레포 섹션을 새로 만들었다. 섹션이 늘어나자 한 가지가 점점 불편해졌다. 수집과 발행은 Vercel의 크론이 돌리는데, 번역을 다듬는 모델은 집의 맥에 있었다.

6월 4일 밤의 이사

6월 4일 밤 10시 39분, 기사 번역을 집의 맥에서 도는 로컬 모델 젬마로 바꿨다. 30분 뒤인 11시 8분에 신문 전체를 옮겼다.

맥 스튜디오의 예약 실행 도구 launchd가 매일 새벽 6시 5분에 스크립트 하나를 깨운다. 그 한 번의 실행이 수집, 젬마 번역, 카나나 윤문, 지면 구성, 발행을 순서대로 끝낸다. Vercel의 크론 설정은 비웠다. Vercel은 이제 Supabase에 저장된 지면을 화면으로 보여 주기만 한다. 모으고 고르는 일은 집에서, 보여 주는 일은 밖에서 하는 구조가 이날 정해졌다.

운영 확인 방법도 바뀌었다. 전에는 Vercel 로그에서 날짜 계산 줄을 찾아봤다. 이제는 실행마다 남는 기록 파일에 ‘완료’ 이벤트가 있는지, 그 호의 날짜가 기대한 한국 날짜와 맞는지를 본다. 문제가 생기면 맥에서 같은 명령 하나를 다시 돌리면 된다. 6월 5일과 6일에 실행기를 두 번 더 다졌다.

목소리를 모으는 섹션

6월 12일에는 마켓 시그널 섹션을 만들었다. 시장을 움직이는 사람들의 발언과 영향력 있는 보고서를 따로 모으는 곳이다. 첫날부터 한 인물의 RSS를 뺐다. 같은 내용이 너무 많이 겹쳤다. 6월 16일에는 주장의 종류, 말한 사람의 직함, 공식 기관 여부로 나눈 다섯 갈래 구조로 다시 설계했다. 이 섹션은 3화에서 한 번 더 통째로 뒤집힌다.

비어 있던 논문 섹션 네 개

7월 2일에 이상한 걸 발견했다. AI 리서치, 경제 논문, 과학 논문, AI 바이오 논문, 논문을 싣는 섹션 네 개의 지면이 0건이었다.

원인은 순위를 매기는 단계에서 오늘 기사만 남기는 필터였다. 1화에서 정한 대로 호에는 그날 나온 기사만 싣는다. 뉴스라면 맞는 규칙인데, arXiv 논문에 붙은 날짜는 수집한 날이 아니라 논문이 발표된 날이다. 호의 날짜와 논문의 날짜가 달랐고, 논문은 전부 그 필터에서 떨어져 나갔다. 수집은 멀쩡히 됐고, 오류도 나지 않았다. 지면 배치 단계에서 조용히 사라졌을 뿐이다. 논문 섹션을 그 필터에서 빼는 것으로 고쳤다.

그날 커밋은 여덟 개였다. 과학 뉴스는 하루 25건, 지정학은 20건으로 상한을 두고, 긁어 오기 전에 제목부터 비교해 중복을 걸렀다. 테크와 자본시장은 하루 50건과 45건으로 막아 파이프라인을 여러 번 돌려도 기사가 불어나지 않게 했다. 마켓 시그널에는 같은 인물은 하루 2건까지라는 상한을 넣었다. 유명 투자자 몇 명이 하루치를 도배하던 참이었다. 해커뉴스 글은 최소 점수를 10점에서 30점으로 올렸다.

배운 것

자동화를 어디서 돌릴지는 모델이 어디 있느냐가 정했다. 모델이 집에 있으니 신문사도 집으로 왔다. 그리고 0건은 오류처럼 보이지 않는다. 섹션 네 개가 비어 있어도 파이프라인은 성공으로 끝났다. 성공한 실행도 지면을 섹션별로 열어 봐야 비로소 끝난 것이었다.

AC POST 개발로그 · 전 3화

  1. 1화개인 신문 AC POST를 첫날 Vercel에 올렸다: 커밋 6개, 가장 먼저 고친 건 날짜
  2. 2화신문 파이프라인을 맥 스튜디오 06:05 작업으로 옮겼다: 한 달 뒤 논문 섹션 4개가 0건이었다
  3. 3화7월 3일 커밋 14개로 지면을 다시 짰다: 논문은 추천 수, 레포는 설치 가능성, 시장 기사는 할당량