맥·스파크·5090에서 돌려본 Qwen3.8 Flash Next

9화에서는 맥스튜디오와 스파크의 속도를 나란히 놓았다. 다만 맥에는 짧은 질문, 스파크에는 긴 일감을 넣은 기록이라 같은 시험은 아니었다. 10월 12일에는 Qwen3.8 Flash Next에 같은 과제를 넣고, RTX 5090의 두 양자화 설정까지 더해 네 가지로 비교했다.

이번에는 답을 빨리 쓰는지만 보지 않았다. 긴 입력을 읽는 시간, 여러 요청을 한꺼번에 보냈을 때 처리량, 자동 채점 문제, 사유고 관계 판정과 시황 요약까지 나눠 쟀다. 한국어 답 하나는 5090이 빨리 썼고, 여러 요청은 스파크가 더 많이 처리했다. 문제를 거의 다 맞힌 설정도 실제 요약에서는 사실을 틀렸다.

같은 과제를 넣되 기계·실행 엔진·양자화 조건은 함께 달랐다

속도 측정은 10월 12일 낮 12시 52분부터 오후 1시 7분 사이에 설정별로 시작했다. 아래의 맥과 스파크는 각 한 대 기준이고, 5090 두 열은 같은 장비에서 설정을 바꿔 돌린 결과다.

표기	기계	실행 엔진·양자화
맥	맥스튜디오	mlx-serve · MLX
스파크	DGX Spark	vLLM · NVFP4
IQ2_XS	RTX 5090	Strata · IQ2_XS
IQ3_S	RTX 5090	Strata · IQ3_S

생성 속도는 생각 모드를 끄고 온도 0에서 답 1,000토큰을 두 번 받아 평균을 냈다. 긴 입력은 앞에 무작위 표식을 붙여 캐시 재사용을 피했다. 수행력은 먼저 생각 모드 low로 풀리고, 요약을 뺀 같은 문제를 생각 모드 off로 다시 풀렸다.

기계만 바꾼 실험은 아니다. 실행 엔진과 양자화도 다르고, 맥은 당시 스왑 66GB 중 약 65GB를 쓰는 상태였다. 5090의 Strata는 한 번에 한 요청씩 처리하는 설정이었다. 속도와 기본 문제는 스파크 1번에서, 고난도 문제와 생각 모드 off 시험은 같은 기종·모델 설정인 스파크 2번에서 했다. 도중에 1번이 영상 작업으로 전환됐기 때문이다.

한국어 생성은 5090 IQ2_XS가 초당 125.4토큰으로 가장 빨랐다

생성 속도는 첫 토큰이 나온 뒤 답을 쓰는 속도다. 긴 입력의 대기는 문서를 보낸 뒤 첫 토큰을 받을 때까지 쟀다. 토큰은 모델이 글을 처리하는 단위여서 글자 수와 같지 않다.

항목	맥	스파크	IQ2_XS	IQ3_S
한국어 생성, 토큰/초	61.3	32.9	125.4	105.7
영어 생성, 토큰/초	65.5	36.5	144.0	107.2
코드 생성, 토큰/초	99.8	49.2	237.9	162.7
짧은 질문 첫 토큰 대기, ms	295	202	269	543
64K 입력 첫 토큰 대기, 초	87.1	20.7	11.0	11.2

한국어 생성에서 IQ2_XS는 맥의 약 2배, IQ3_S는 약 1.7배였다. 64K 시험의 실제 입력은 약 6.27만 토큰이었고, 5090 두 설정 모두 첫 답을 받기까지 약 11초가 걸렸다. 짧은 질문에서는 스파크가 첫 토큰을 가장 먼저 보냈다. 첫 반응이 빠른 것과 이후 답을 빨리 쓰는 것은 따로 봐야 했다.

두 번의 평균만으로 안정적인 최고 속도를 정할 수는 없다. IQ3_S의 한국어 생성은 두 실행에서 약 89토큰과 122토큰으로 차이가 났다. 표는 당시 조건의 측정값이다.

동시 요청 24개에서는 스파크가 합계 초당 209.1토큰을 처리했다

같은 형식의 짧은 글쓰기 요청을 한꺼번에 보내고, 답은 요청당 최대 400토큰으로 제한했다. 아래 숫자는 모든 답의 토큰 합계를 전체 대기시간으로 나눈 처리량이다. 각 요청의 생성 속도를 더한 값은 아니다.

동시 요청 수	맥	스파크	IQ2_XS	IQ3_S
1	55.6	33.4	107.1	73.8
2	미측정	미측정	118.3	63.8
4	101.4	79.8	125.9	108.3
8	109.7	116.1	144.8	105.5
16	127.9	170.3	미측정	미측정
24	미측정	209.1	미측정	미측정

단위는 토큰/초다. 이 시험에서 요청 실패는 없었다. 스파크는 잰 범위의 마지막인 24개까지 처리량이 올랐다. 맥은 16개에서 127.9토큰, IQ2_XS는 8개에서 144.8토큰, IQ3_S는 4개에서 108.3토큰이 최고였다.

요청을 동시에 보냈다고 서버가 내부에서도 동시에 처리한 것은 아니다. 5090은 한 번에 한 요청씩 처리하는 설정이라 대기가 생긴다. 이 결과를 5090 하드웨어의 동시 처리 한계로 볼 수는 없다. 맥은 16개, 5090은 8개까지만 쟀고 단계별 반복 측정도 하지 않았다.

9화의 스파크 163토큰과 이번 209.1토큰도 속도 개선율로 계산하지 않았다. 앞 시험은 긴 일감, 이번 시험은 짧은 글쓰기였다. 입력과 답 길이가 달라진 결과다.

생각 모드 low에서는 세 설정이 130문항을 모두 통과했다

독해·상식·수학·형식 70문항, 코딩 20문항, 긴 문서 찾기 10문항에 고난도 수학과 코딩 30문항을 더했다. 코딩은 답에 든 코드를 테스트로 실행했다. 아래 수치는 각 모드에서 한 번씩 푼 자동 채점 결과다.

설정	생각 low	생각 off
맥	130/130	130/130
스파크	130/130	130/130
IQ2_XS	128/130	126/130
IQ3_S	130/130	129/130

IQ2_XS가 low에서 실패한 두 문항은 고난도 코딩이었다. 둘 다 8,192토큰 한도에서 끝나 제출할 코드가 없었다. 같은 두 문항을 off에서는 통과했다. 생각을 켠다고 모든 문제의 결과가 좋아지지는 않았다.

off에서는 IQ2_XS의 독해 한 문항, 수학 두 문항, 고난도 수학 한 문항이 채점을 통과하지 못했다. IQ3_S도 독해 한 문항을 놓쳤다. 이번 문제에서는 IQ3_S가 IQ2_XS보다 통과 수가 많았지만, 이 작은 시험으로 원본 모델과 품질이 같다고 말하거나 차이의 원인을 양자화 하나로 확정할 수는 없다.

사유고 관계 판정은 생각 모드를 끄자 기준 답과의 일치율이 떨어졌다

사유고의 관계 판정은 10건에 든 50쌍을 평가했다. 기준 답은 Opus의 판정이다. 아래는 그 판정과 같은 답을 낸 비율이며, 사람이 확정한 정답에 대한 정확도가 아니다.

설정	생각 low	생각 off
맥	70%	56%
스파크	76%	50%
IQ2_XS	70%	42%
IQ3_S	78%	46%

자동 채점에서 만점을 받은 맥과 스파크도 관계 판정은 달랐다. low에서는 네 설정 모두 10건의 JSON 형식을 맞췄지만 기준 답과의 일치율은 70~78%였다. 형식을 지켰다고 관계 판정까지 맞은 것은 아니었다. off에서 IQ2_XS는 JSON 형식도 10건 중 9건만 맞췄다.

시황 요약은 순위보다 원문에 없는 사실을 보태는 오류가 더 중요했다

시황 자료 10건은 같은 지시로 요약하게 한 뒤, 어느 설정의 답인지 가리고 비교했다. 평균 순위는 IQ2_XS 2.2위, 맥 2.4위, 스파크 2.6위, IQ3_S 2.8위였다. 낮은 숫자가 앞선 순위다.

표본이 10건뿐이고 순위는 상대 평가다. 이 숫자로 IQ2_XS가 요약을 가장 잘한다고 확정하기는 어렵다. 심사 메모에는 자료에 없는 설명을 붙이거나 숫자의 뜻을 바꾼 사례가 남았다. 계약 기간을 잘못 옮기고, 전체에 포함된 용량을 별개 항목으로 세고, 전망의 발언 주체를 바꾼 답이 있었다.

자동 채점 130문항의 성적이 좋아도 요약 검증을 생략할 근거는 되지 않았다. 실제 업무에서는 숫자뿐 아니라 포함 관계, 발언 주체, 전망에 붙은 단서까지 원문과 맞춰야 했다.

배운 것: 한 건의 속도·동시 처리량·업무 정확도를 따로 재야 했다

이번 설정에서 사람이 기다리는 한국어 답변과 긴 문서 입력에는 5090 IQ3_S를 우선 고려할 만했다. IQ2_XS보다 느렸지만 자동 채점 통과 수가 많았고, low에서 답이 끊긴 문항도 없었다. 여러 요청을 몰아서 보내는 작업은 스파크의 합계 처리량이 가장 높았다. 엔진·양자화·부하 조건이 달라지면 이 선택도 다시 검토해야 한다.

다음에는 맥의 메모리 압박을 줄이고, 5090의 동시 처리 설정을 별도로 확인한 뒤 같은 과제를 여러 번 반복해 보고 싶다. 단일 생성 속도 하나로 기계를 고르면 일괄 처리량을 놓치고, 자동 채점 점수만 보면 실제 업무의 사실 오류를 놓친다. 이번 비교에서는 세 항목을 함께 재야 맡길 일을 정할 수 있었다.