Olá @ivancarmo,
É estranho que isso esteja acontecendo, esse adaptador CH341 é bastante estável comigo. Já viu nos logs do sistema se não há alguma mensagem de erro? Pode ser, por exemplo, que o sistema não perceba corretamente a remoção do adaptador, e acabe atribuindo um novo dispositivo por achar que o anterior ainda está ocupado.
Por outro lado, se ele troca de "usbtty0" pra "usbtty1" sem desplugar, é sinal de que há mau contato no adaptador, nesse caso seria conveniente verificar se sua USB está com conexão firme, ou até considerar trocar o adaptador por um mais novo.
