파라미터와 메모리

「변호사의 로컬LLM 세팅기」를 쓰고 있는 친구가 있습니다.

엔비디아 GB10 칩이 들어간 컴퓨터를 쓰고 있는데, 본인 표현으로 1리터 우유팩만 한 상자, 「메모리가 128GB나 되는 미니 슈퍼컴퓨터」입니다.

왜 GPU 성능보다 메모리 용량에 더 투자하는가 물었습니다. 「느려도 되니까 일단 돌아가게는 하려고」라는 말과 함께, 요즘 프론티어 모델들은 파라미터가 몇 빌리언인데 128GB로는 어느 정도의 파라미터가 돌아간다는 얘기를 하더군요. 조용히 제미나이를 켰습니다. 「메모리와 파라미터에 대해 설명해줘」

그 날의 기억을 더듬어 파라미터와 메모리 관계를 한 번 정리해뒀습니다. 결론부터 적으면 한 문장입니다.

모델을 돌린다는 건 파라미터를 메모리에 올려두고, 토큰 하나 뱉을 때마다 그걸 다시 읽는 일입니다.

용량이 「되느냐 안 되느냐」를 정하고, 대역폭이 「얼마나 빠르냐」를 정합니다. 요즘 HBM이니 HBF니 하는 뉴스가 전부 이 한 문장에 걸려 있습니다.

파라미터가 뭔가 — 가중치와 바이어스

[Fig. 1 — 가중치는 선에, 바이어스는 동그라미에]닫기 ✕Fig. 1 — 가중치는 선에, 바이어스는 동그라미에

위 그림은 다들 익숙하실 겁니다. 인공신경망을 설명하는 대표적인 도면이고, 선에 붙는 가중치(weight)와 동그라미에 붙는 바이어스(bias)도 아실 겁니다. (한국어 위키백과의 인공신경망 도면을 보고 다시 그렸습니다.)

저는 그 둘이 곧 파라미터라는 걸 몰랐습니다.

파라미터 수란 모델 안에 있는 w와 b가 전부 몇 개냐는 뜻입니다. 학습이 정하는 것도 결국 그 숫자들뿐입니다. 그러니까 「700억 파라미터 모델」은 숫자 700억 개짜리 파일입니다. 구조나 코드가 아니라 숫자 덩어리고, 그걸 어디에 얹어두느냐가 이 글의 주제입니다.

상용 모델들의 파라미터는 몇 개인가

관심있을 만한 프론티어 모델의 파라미터 수는 공개되지 않습니다. GPT-4 이후로 주요 연구소 중 플래그십 모델의 파라미터 수를 밝힌 곳이 없으나, 추정치만 돌아다니고 있습니다.

숫자를 알 수 있는 건 가중치를 공개한 모델뿐입니다. 그리고 여기서 요즘 모델의 구조 하나를 알아둬야 합니다.

모델	전체 파라미터	토큰당 활성
Llama 3.1 405B	405B	405B (전부)
gpt-oss-120b	117B	5.1B
Qwen3-Coder-480B-A35B	480B	35B
DeepSeek-R1	671B	37B
Kimi K2	1T	32B

MoE(Mixture of Experts) 구조입니다. 전문가 수백 개를 두고 토큰마다 몇 개만 깨웁니다. Llama 3.1처럼 매번 전부 읽는 것을 dense라고 부릅니다.

이 표에서 왼쪽 열이 용량을, 오른쪽 열이 속도를 정합니다. 전체 파라미터는 어차피 메모리에 다 올려둬야 하니까 용량 문제고, 매 토큰 실제로 읽어들이는 건 활성 파라미터뿐이니까 속도 문제입니다. 바로 아래 두 절이 각각 그 이야기입니다.

1파라미터에 몇 바이트인가

정해진 값이 없습니다. 몇 비트로 저장하느냐에 달렸습니다.

정밀도	1파라미터	70B 모델	671B 모델
FP32	4바이트	280GB	2.7TB
FP16 / BF16	2바이트	140GB	1.3TB
FP8	1바이트	70GB	671GB
INT4 / FP4	0.5바이트	35GB	336GB

정밀도를 낮추는 걸 양자화(quantization)라고 합니다.

앞의 연재 3화에 같은 계산이 있습니다. LLaMA 70B를 float32로 올리면 「약 280GB」, float16이면 「약 140GB」라고요.

예를 들어 메모리가 128GB인 컴퓨터에서는 140GB가 필요한 모델이 안 돌아갑니다. 파라미터 수가 아무리 적당해도 정밀도를 못 낮추면 그냥 시작을 못 합니다.

여기에 KV 캐시와 계산 중간값 몫으로 20% 남짓을 얹으면 실전 어림값이 나옵니다. (양자화와 KV 캐시는 각각 따로 볼 얘기라 다음에 더 알아보겠습니다.)

필요한 메모리(GB) ≈ 파라미터(십억) × 바이트/파라미터 × 1.2

[Fig. 2 — 128GB에 뭐가 들어가나]닫기 ✕Fig. 2 — 128GB에 뭐가 들어가나

말로 읽는 것보다 움직여보는 게 빠릅니다. 아래에서 파라미터와 정밀도를 바꾸면 막대가 128GB 선을 넘고, 메모리를 줄이면 넘친 몫을 어디서 읽어야 하는지가 나옵니다.

용량이 되면 끝인가 — 대역폭

들어가는 것과 쓸 만한 건 다릅니다.

토큰 하나를 만들 때마다 활성 파라미터 전부를 메모리에서 읽어옵니다. 그러니까 생성 속도의 천장은 산수입니다.

초당 토큰 수 ≤ 메모리 대역폭 ÷ 토큰당 읽는 바이트

실제로는 이런저런 오버헤드가 붙어서 이 천장의 30~70%쯤 나옵니다.

여기가 용량을 고른 대가입니다.

	메모리	대역폭
데스크톱 DDR5 (듀얼채널)	수십~수백 GB	약 90 GB/s
GB10 (그 컴퓨터)	128GB LPDDR5X	273 GB/s
H100 SXM	80GB HBM3	3,350 GB/s

12배가 넘게 차이 납니다. 용량은 128GB 쪽이 크고 대역폭은 H100 쪽이 큽니다.

그러니까 「느려도 되니까 일단 돌아가게는」이라는 답은 이 맞바꿈을 고른 것이었습니다. 용량이 모자라면 시작을 못 하고, 대역폭이 낮으면 느릴 뿐입니다. GPU 성능보다 메모리 용량에 투자한 이유가 여기 있습니다.

메모리는 왜 종류가 여럿인가

DRAM·LPDDR·HBM은 저장하는 원리가 같습니다. 전부 DRAM입니다. 축전기에 전하를 담아 1비트를 기억하고, 새는 전하를 주기적으로 채워줘야 하고, 전원이 끊기면 다 날아갑니다.

다른 건 프로세서까지의 거리와 배선의 폭입니다.

• DDR5 — 메인보드 슬롯에 꽂는 그것. 용량을 원하는 만큼 늘릴 수 있고 싸지만, CPU까지 배선이 길어서 대역폭이 낮습니다
• LPDDR5X — 저전력용. 기판에 직접 붙여 거리를 줄였습니다. DDR5보다 빠르고 전력을 덜 쓰는 대신 나중에 못 늘립니다. GB10의 128GB가 이겁니다
• HBM — DRAM 다이를 수직으로 쌓고 관통 전극(TSV)으로 뚫어, 프로세서 바로 옆에 붙입니다. 거리가 짧으니 배선을 어마어마하게 벌릴 수 있습니다. HBM4 표준(JESD270-4)이 인터페이스 폭 2,048비트로 HBM3E의 두 배가 됐습니다. 스택당 최대 2TB/s 급입니다

HBM이 그렇게 좋으면 다 쓰면 되지 않느냐 — 비싸고, 스택당 용량이 64GB 급이고, 무엇보다 물량이 없습니다.

그래서 플래시가 불려 나옵니다

NAND 플래시는 성질이 반대입니다. 전원이 꺼져도 남고, 싸고, 용량이 큽니다. 대신 느리고, 지연이 크고, 쓰는 횟수에 수명이 있습니다.

지금 상황이 이렇습니다. 모델은 테라바이트급으로 커지는데 HBM은 스택당 64GB입니다. 용량 절벽이 생겼습니다.

여기서 HBF(High Bandwidth Flash)가 나옵니다. HBM처럼 쌓되 안에 든 걸 DRAM 대신 NAND로 채운 물건입니다.

2026년 8월 3일, 샌디스크와 SK하이닉스가 OCP를 통해 첫 기술 사양을 냈습니다. 컨소시엄이 2월에 일을 시작해 6개월 만입니다.

• 8단·16단 적층으로 최대 512GB
• 대역폭 세 등급, 약 0.4 ~ 3.0 TB/s
• UCIe로 붙여서 GPU든 CPU든 가리지 않게

논리는 이렇게 읽힙니다. 추론에서 가중치는 읽기만 합니다. NAND의 최대 약점이 쓰기 수명인데, 가중치를 얹어두고 읽기만 하는 용도라면 그 약점을 비껴갑니다. HBM과 SSD 사이의 빈칸을 노린 것입니다.

[Fig. 3 — 메모리 사다리 — 용량과 대역폭의 맞바꿈]닫기 ✕Fig. 3 — 메모리 사다리 — 용량과 대역폭의 맞바꿈

AI 가속기라는 말

GPU도 가속기의 하나입니다. 원래 그래픽용이었는데 거기 필요한 계산이 행렬 곱셈이라 신경망과 맞아떨어진 것뿐입니다.

NPU·TPU 같은 것들은 한 발 더 갑니다. 범용성을 버리고 행렬 곱셈과 데이터 이동만 하도록 회로를 굳혀서, 같은 전력과 면적으로 더 많이 계산합니다.

여기서 스펙시트 읽는 법을 하나 알아두면 좋습니다. GB10 계열 기기의 스펙시트에 적힌 「1 petaFLOP AI 성능」은 FP4 기준입니다.

가속기 성능 숫자는 어느 정밀도로 잰 값인지 같이 봐야 합니다. FP4 기준값과 FP16 기준값은 대개 네 배 넘게 차이 납니다.

그리고 한 겹 더 있습니다. 토큰을 뽑는 단계에서 진짜 병목은 대개 연산이 아니라 메모리입니다. 연산 유닛은 놀면서 메모리에서 가중치 오기를 기다립니다. 가속기 경쟁이 어느 순간부터 메모리 경쟁이 된 이유가 이겁니다.

그리고 값

2026년 들어 메모리 값이 크게 올랐습니다. 제조사들이 마진이 큰 HBM 쪽으로 생산을 몰아넣으면서 일반 DRAM이 모자라졌습니다. DDR5 계약가가 배로 뛰었고, SK하이닉스는 2026년 물량이 사실상 완판이라고 했습니다.

이 절은 2차 보도만 보고 적었습니다. 제조사 실적발표나 계약가 지수까지는 안 따라갔습니다. 방향은 맞지만 구체 수치를 인용하려면 한 번 더 봐야 합니다.

다만 구도는 분명합니다. 로컬에서 모델을 돌리려는 사람과 데이터센터가 같은 물건을 놓고 경쟁하기 시작했습니다. 128GB짜리 기계가 왜 그 값인지도 여기서 설명됩니다.

남는 것

그때 제미나이는 답을 줬지만, 저는 그 답을 남에게 옮길 수가 없었습니다. 정리하고 나니 남는 건 순서 하나입니다. 용량이 먼저고 속도가 다음입니다. 들어가지도 않는 걸 빠르게 돌릴 방법은 없기 때문입니다. HBM이든 HBF든 결국 그 두 축 위 어디에 앉느냐의 이야기입니다.

그대로 못 옮기는 지점도 적어둡니다. 저는 반도체 쪽 사건을 하는 사람이 아니고, 위에 적은 것들은 전부 「이 뉴스를 읽을 줄 알게 됐다」 수준이지 그 기술을 아는 것은 아닙니다.

---

확인한 것들

• insoon.dev 「변호사의 로컬LLM 세팅기」 1·3화 (2026-05-25 · 2026-05-26)
• 샌디스크·SK하이닉스 HBF OCP 첫 기술 사양 보도자료 (2026-08-03)
• JEDEC HBM4 표준 JESD270-4 (2025-04-16, 2차 출처 경유)
• NVIDIA GB10 공식 사양 — 128GB LPDDR5X · 273GB/s