O kernel utiliza memória RAM ociosa como cache de disco. Por isso, com o passar do tempo, o sistema vai alocando mais memória. O comando free -m indica a quantidade de memória alocada para cache de disco como cached. A diferença de memória alocada no início da sessão e no final dela deve ser justamente essa memória cached. Contudo, é uma péssima idéia desabilitar a cache de disco do sistema. O sistema ficará mais lerdo, pois acessará o HD com mais freqüência.
Se o seu sistema fica, realmente, mais lerdo com o passar do tempo, o problema deve ser outro.
Boa sorte na sua caçada!