É uma questão de resolução de dependência. O apache2 é um meta pacote, as opções são:
apache2-mpm-event
apache2-mpm-itk
apache2-mpm-prefork
apache2-mpm-worker
Você havia optado pelo "worker", como não havia nada do php instalado, uma dependência foi resolvida para o padrão (libapache2-mod-php5), ela por sua vez depende do apache2-mpm-prefork ou apache2-mpm-itk (por isso a sugestão de remoção do "worker", já que o "prefork" ou "mpm-itk" deveriam ser usados). No final das contas você resolveu remover o "worker", como ele era o único pacote na sua máquina que fornece o apache2, esse também deveria ser removido. Essa relação pode ficar mais clara, olhando a descrição dos pacotes.
Resumindo: a solução vai depender do que deseja/é necessário, uma vez que essas dependências possuem equivalentes.