Quem cria essa interface é o processo do openvpn, o arquivo de configuração apenas registra as opções que o comando receberia no comando.
A princípio, então, bastaria vc parar o processo do openvpn pra essa interface ser destruída. Mas veja que o openvpn só tem duas alternativas pra interface criada: ou vai ser tunX (tun1, tun2, etc) ou tapX (tap1, tap2, etc).