Como a resposta é simples, acho que não entendi a questão.
Um roteador com 4 saidas, uma saida para cada maquina, o roteador envia a internet para as quatro e, além disso, também deixaria as quatro se comunicando, ta ai a rede.
Se for um roteador que só tem uma saida, essa saida deve ser ligada em um hub de 4 ou 8 portas. As maquinas ligada a esse hub e pronto, roteador joga a internet no hub, as maquinas ligadas no hub acessam a internet e o hub faz a comunicação entre as maquinas, tá ai novamente a rede.
As maquinas devem ter ips no mesmo ranjo e estar no mesmo grupo de trabalho.
Para o ubuntu enxergar a rede windows e seus computadores e para os computadores windows enxergarem os micros ubuntu, basta que o ubuntu tenha instalado o samba e o smbclient, pode instalar via apt-get, ter o smbfs instalado também é bom.