Não, é no httpd.conf, você precisa incluir o Listen 443 abaixo do Listen 80. Não é interessante remover a porta 80, pois no seu computador você acessa através dessa porta. Imagine cada vez que precisar testar alguma coisa ter que digitar a porta 443 no navegador...