Довольно часто так бывает, что система порой использует своп прилично при достаточном количестве свободной оперативной памяти.
Вот к примеру сейчас вывод free -m
free -m
total used free shared buffers cached
Mem: 4025 3772 252 0 107 1540
-/+ buffers/cache: 2125 1900
Swap: 4996 1209 3787
а vm.swappiness = 1 установил.