Provavelmente vc terá que mandar instalar todos os pacotes da dependência, de forma a substituí-los de forma controlada.
A princípio, vc faria assim:
sudo apt-get install php5=5.5.24+dfsg-1+deb.sury.org~vivid+1 php5-common=5.5.24+dfsg-1+deb.sury.org~vivid+1
Só que isso pode disparar outros pacotes de dependência, e nesse caso vc vai adicionar cada uma das dependências, passando a versão do pacote que vc quer que instale. Vc pode confirmar as versões instaladas e disponíveis de qualquer pacote com o comando "apt-cache policy <pacote>". [Não precisa de sudo/su].