Você vai precisar de 3 coisas:
1) Sevidor Samba bem configurado com a pasta ou pastas que você queira compartilhar. Você pode usar o seu PC mesmo, sem necessidade de usar uma máquina dedicada, só vai gastar mais recursos da sua máquina.
2) Acesso a sua rede doméstica por um roteador sem fio.
3) Aplicativo ES File Explorer instalado e configurado no seu telefone com Android!
É exatamente assim que faço em casa com 2 celulares e 2 tablets com Android. Acesso o meu servidor de arquivos pelo celular numa boa. Velocidade limitada pelo wi-fi do celular. Mas funciona numa boa, dá até para assistir filme pela rede.
O OpenMedia Vault é uma interface gráfica para um servidor NAS baseada no Debian. Pode ser muito além do que você precisa. Vai te obrigar a ter uma máquina dedicada só pra ele. É o meu caso. Só que eu não uso um NAS, uso o Centos mesmo com alguns serviços ativos, como Samba, DHCP, DNS e tals.