맥스튜디오는 요청 하나에, 스파크는 일괄 작업에 강했다: 단독 51~66 대 37토큰, 최고 처리량 117 대 163토큰

8화에서 스파크 한 대에 동시 요청 24개가 가장 많이 처리한다는 걸 쟀다. 그럼 같은 모델을 맥스튜디오에서 돌리면 어떨까. 맥스튜디오(M4 Max)에도 같은 Qwen3.8 Flash Next가 mlx-serve로 떠 있다. 10월 7일 새벽 2시에 맥도 동시 요청 수를 바꿔 가며 쟀고, 스파크 기록과 나란히 놓았다.

요청 하나는 맥스튜디오가 초당 51~66토큰으로 스파크 37토큰보다 빨랐다

요청을 하나만 보내면 맥스튜디오가 초당 51~66토큰, 스파크가 초당 37토큰이었다. 맥이 1.4~1.8배 빠르다. 메모리 대역폭 차이로 보인다. 맥스튜디오는 546GB/s, 스파크는 273GB/s로 두 배 차이가 난다. 토큰 하나를 만들 때마다 모델 가중치를 메모리에서 읽어 오기 때문에, 혼자 쓸 때는 대역폭이 곧 속도다.

몰아서 돌리면 스파크가 동시 24개에서 초당 163토큰으로 더 많이 처리했다

동시 요청 수별 전체 처리량(초당 토큰, 합계)이다. 굵은 칸이 그 기계의 최고 처리량이다.

동시	스파크1	스파크2	맥스튜디오
1	37.4	36.8	51.2~66.3
2	55.6	54.9	78.7
4	81.1	83.1	105.3
8	113.1	112.6	117.2
12	138.6	133.6	—
16	151.7	150.8	102.0
24	—	163.2	112.4
32	—	149.7 (오류 8건)	—

동시 8개까지는 맥이 스파크 한 대보다 조금이라도 많이 처리했다. 맥을 재지 않은 12개를 건너뛰면, 16개에서는 스파크가 1.5배 많이 처리했다. 스파크 한 대는 동시 24개에서 초당 163토큰까지 올라갔고, 두 대를 함께 쓰면 초당 300토큰을 넘는다. 스파크1은 16개까지만 쟀고, 24·32개는 2번 스파크의 서버 동시 한도를 32로 올려 다시 쟀다.

맥스튜디오는 동시 8개가 최고였고, 그 뒤로는 대기만 길어졌다

동시	맥 초당 토큰(합계)	맥 평균 대기	맥 요청 하나 속도	스파크2 요청 하나 속도
1	51.2~66.3	6.0~7.8초	51.2~66.3토큰/초	36.8토큰/초
4	105.3	14.9초	26.8토큰/초	22.5토큰/초
8	117.2	26.2초	15.1토큰/초	15.5토큰/초
16	102.0	60.5초	6.6토큰/초	10.6토큰/초
24	112.4	82.6초	4.8토큰/초	8.0토큰/초

맥은 8개에서 초당 117토큰을 찍은 뒤 16개에서 102토큰으로 오히려 줄었다. 대기는 26초에서 61초로 두 배 넘게 늘었다. 요청 하나가 받는 속도도 16개부터는 스파크보다 느려졌다.

두 기계는 같은 조건에서 잰 게 아니다: 스파크는 긴 일감, 맥은 짧은 질문

이 비교는 나란히 놓았을 뿐 같은 시험이 아니다.

• 스파크는 8화의 언내츄럴 ‘긴 일감’ 기록이다. 입력 약 3,800토큰에 답 약 1,230토큰이다.
• 맥스튜디오는 짧은 질문(약 40토큰)에 400토큰짜리 답을 받아 쟀다. 동시 수마다 한 번씩 쟀고, 예열 전인 첫 단독 측정(초당 23토큰)은 뺐다.
• 맥은 메모리가 빠듯한 상태였다. 모델 서버 70GB, 크롬 12GB, 가상머신 9GB 등이 떠 있어 스왑이 50~57GB였다. 여유가 있으면 더 높게 나올 수 있다.
• 답 길이가 달라 분당 처리 건수와 평균 대기는 기계끼리 비교할 수 없다. 기계끼리는 초당 토큰과 요청 하나 속도로만 비교했다.

같은 일감으로 다시 재면 차이가 줄 수 있다.

일괄 작업은 스파크에 서버당 24개, 빨리 받을 한두 건은 맥에 보낸다

쓰는 법은 이렇게 정했다. 책 수백 권 지도나 회사 1,000개 합성처럼 몰아서 돌리는 일은 스파크 두 대에 서버당 동시 24개씩 넣는다. 대화처럼 사람이 기다리는 한두 건은 맥스튜디오로 보낸다. 맥에 일괄 작업을 넣어야 한다면 동시 8개를 넘기지 않는다.

배운 것: 빠른 기계와 많이 처리하는 기계는 달랐다

요청 하나의 속도는 메모리 대역폭이 정했고, 많이 처리하는 능력은 동시에 얼마나 많이 받아 돌리느냐가 정했다. 맥은 혼자 쓸 때 빨랐지만 8개를 넘기자 처리량이 꺾였고, 스파크는 혼자일 땐 느려도 24개까지 처리량이 올라갔다. “어느 기계가 빠른가”는 무엇을 맡기느냐에 따라 답이 달랐다.