Em alguns casos, quando acontecer isso, pressione a tecla F11 duas vezes seguidas, a primeira irá deixar o firefox em tela cheia, na segunda vez ele irá redimensionar para o tamanho correto. Então feito isso, você fecha o firefox e abre novamente, ele provavelmente estará do tamanho correto. (as vezes funciona, nem sempre).
Li também que isso pode ocorrer com temas do Ubuntu, como o human (e derivados), se a primeira dica não resolver, tente alterar o tema.