.... dá pra fazer isso sem formatar, ou terei inevitavelmente que fazer isso.?
Dá para fazer sem formatar, mas envolve uma certa ginástica e algum conhecimento, não sei se compensa.
Subindo o sistema através de um live-iso (pendrive ou cdrom) e com as partições todas elas desmontadas.
Se swap montar automaticamente, desmonte manualmente.
sudo swapoff -a
Olhando pela imagem do gparted que você postou, precisa abrir um espaço não alocado à esquerda
Isso envolve, antes, "puxar" sda2 abrindo espaço à esquerda nela também.
Uma uma outra, como sda2 tem bastante espaço, é criar outra partição, copiar de forma binária sda2 para lá, ajustar os parâmetros do sistema, basicamente o UUID em fstab.
Depois, nesse caso, iria ficar um amplo espaço à esquerda, então recria swap e então, finalmente, cria a partição primária.
Não é realmente difícil, mas precisa conhecer um pouco disso.