CPU는 그저 “메모리”에 올라와 있는 프로그램의 명령어들을 실행할 뿐이다.
메모리 계층은 레지스터, 캐시, 메모리, 저장장치로 구성되어 있다.
RAM은 하드디스크로부터 일정량의 데이터를 복사해서 임시 저장하고 이를 필요 시마다 CPU에 빠르게 전달하는 역할을 한다. 계층 위로 올라갈수록 가격은 비싸지는데 용량은 작아지고 속도는 빨라지는 특징이 있다. 이러한 계층이 있는 이유는 경제성과 캐시 때문이다. 예를 들어 16GB RAM은 8만원 정도 하지만 16GB SSD는 훨씬 더 싸다.
이러한 경제성 때문에 계층을 두어 관리한다.
일상생활에서도 이러한 계층을 구조를 경험할 수 있는데 게임을 실행하다 보면 “로딩 중”이라는 메시지를 볼 수 있다. 이는 하드디스크 또는 인터넷에서 데이터를 읽어 RAM으로 전송하는 과정이 아직 끝나지 않음을 의미한다.
캐시는 데이터를 미리 복사해 놓는 임시 저장소이자 빠른 장치와 느린 장치에서 속도 차이에 따른 병목 현상을 줄이기 위한 메모리다. 이것을 통해 데이터를 접근하는 시간이 오래 걸리는 경우를 해결하고 무언가를 다시 계산하는 시간을 절약할 수 있다.
캐시 메모리는 CPU와 RAM 사이의 속도 격차를 줄이기 위해 CPU 내부 또는 인접한 곳에 위치하는 초고속 메모리로 SRAM(Static Random Access Memory)으로 구현되어 있으며, DRAM보다 10~100배 빠르지만 비용이 훨씬 비싸서 용량이 작다.
실제로 메모리와 CPU 사이의 속도 차이가 너무 크기 때문에 그 중간에 레지스터 계층을 둬서 속도 차이를 해결한다. 이렇게 속도 차이를 해결하기 위해 계층과 계층 사이에 있는 계층을 캐싱 계층이라고 한다. 예를 들어 캐시 메모리와 보조기억장치(HDD or SSD) 사이에 있는 주기억장치(RAM)를 보조기억장치의 캐싱 계층이라고 할 수 있다.