Não precisa mudar nada no roteador ou no modem, supondo que seu servidor tem duas placas de rede (uma pra rede local, outra pra internet), basta configurar as duas, e ativar o repasse de pacotes.
Claro que há opções melhores e piores (eu acho que a montagem ideal é o modem em pppoe), mas precisar mudar, não precisa.