Não deveria precisar mexer nas configurações do Network Manager.
Primeiro, pq ele só é instalado junto com um ambiente gráfico, e servidor normalmente não tem GUI. Se vc tem problemas com o NM, é sinal de que ou instalou uma versão desktop e está tentando usá-la como servidor, ou que instalou a versão server e depois meteu-lhe o KDE, GNOME ou Unity.
Segundo, quando uma interface é referenciada no arquivo /etc/network/interfaces, o NM automaticamente a declara como "não-gerenciável", pois já está sendo gerenciada pelo próprio usuário. Bastaria então reiniciar o sistema (ou o NM) para que o controle das interfaces ficasse apenas com o arquivo interfaces.
PS: Também não aconselho remover o NM, se ele foi instalado automaticamente.