기억은 어디에 사는가 — 메모리와 HBM

기억은 두 종류다

컴퓨터에는 기억하는 부품이 두 가지 있습니다. 하나는 전원을 끄면 사라지지만 아주 빠른 기억. 책상 위에 펼쳐 놓은 공책입니다. 메모리(RAM)라고 부릅니다.

다른 하나는 꺼도 남지만 느린 기억. 책장에 꽂아둔 책입니다. 저장장치(SSD)라고 부릅니다. 사진과 앱은 여기 살고, 쓸 때만 책상 위로 꺼내옵니다.

메모리는 새는 물통이다

책상 위 기억, 메모리의 속을 들여다보면 놀랍도록 단순합니다. 칸 하나마다 아주 작은 물통 하나와 그 물통의 뚜껑 하나입니다. 물통에 전기가 차 있으면 1, 비어 있으면 0. 뚜껑이 10편의 그 스위치입니다.

막히는 곳은 계산이 아니다

여기가 이 편의 놀라움입니다. 5편에서 프로세서의 시간 감각을 봤습니다. 프로세서의 한 박자를 1초로 치면, 메모리에 다녀오는 데 몇 분이 걸립니다.

6편에서 GPU는 보조 수천 명이라고 했습니다. 그런데 보조가 아무리 많아도 감자가 창고에서 안 오면 깎을 수가 없습니다. 7편의 인공지능은 손잡이 수십억 개를 계산할 때마다 메모리에서 읽어 와야 합니다. 곱하기 자체는 순식간입니다. 가져오는 데 시간이 다 갑니다.

창고를 위로 쌓고, 공장 옆에 붙이다

해법은 두 가지였습니다. 창고를 가까이 두는 것, 그리고 창고와 공장 사이 길을 넓히는 것.

HBM은 '통로가 넓은 메모리'라는 뜻입니다. 한 번에 나를 수 있는 양이 예전보다 수십 배입니다. 그래서 인공지능용 GPU에는 HBM 탑이 몇 개씩 딱 붙어 있습니다. 6편의 보조 수천 명에게 감자가 끊기지 않게 대주는 장치입니다.

여기부터 조금 더

왜 아무나 못 만드나

쌓는다는 말은 쉬운데 하기는 어렵습니다. 메모리 칩을 종이보다 얇게 갈아야 하고, 그 얇은 칩에 머리카락보다 가는 구멍을 수천 개 뚫어 아래위를 이어야 하고, 열두 장을 어긋남 없이 포개야 합니다. 한 장이라도 틀어지면 탑 전체가 못 씁니다.

그리고 열이 문제입니다. 8편의 데이터센터가 열과 싸운다고 했죠. 칩을 쌓으면 가운데 층의 열이 빠져나갈 데가 없습니다.

두 편을 마치며

10편과 11편으로 1편의 빈칸이 채워졌습니다. 스위치는 모래로, 빛으로 찍어 만들고, 그 스위치에 뚜껑을 달아 새는 물통으로 기억을 담습니다. 계산보다 나르기가 병목이 되자 물통을 위로 쌓았습니다.

이제 남은 것은 스위치 규칙 자체를 깨는 이야기입니다. 켜짐도 꺼짐도 아닌 스위치 — 양자컴퓨터로 갑니다.

남은 질문기억을 가져오는 것이 계산보다 느리다면, 우리가 '컴퓨터의 속도'라고 부르는 것은 무엇의 속도입니까?