Sobre o "<Directory />", vc não está confundindo com "<Location />"? O tag "Directory" lida com endereços absolutos, quando vc faz um "<Directory />" vc está se referindo ao seu diretório raiz, que não deveria ser acessível nunca pelo apache.
Sobre o erro 404 que vc recebe, podemos descobrir qual é o caminho que está sendo usado consultando o log de erro em /var/log/apache2/error_log.
Em relação ao <Directory /> eu apenas coloquei o AllowOverride de None para All pq em alguns tutoriais diziam para fazer isso. No inicio segui o tutorial do link que mandei anteriormente, mas como não havia funcionado fiquei caçando na internet e tinha gente que pedia pra mudar esse também. Mas de qualquer forma coloquei ele para None agora e reiniciei o apache mas deu na mesma.
As linhas que apareceram do error_log no último teste foram:
[Sun Jun 02 01:59:21 2013] [error] [client 127.0.0.1] Negotiation: discovered file(s) matching request: /var/www/sistemaesite/oque_e (None could be negotiated).
[Sun Jun 02 01:59:21 2013] [error] [client 127.0.0.1] File does not exist: /var/www/favicon.ico
Em relação a primeira linha do erro diz respeito a pagina que deveria ser acessada usando a url amigável, mas não está sendo.
no browser eu coloco /localhost/sistemaesite/oque_e/
isso deveria fazer um include na pagina index.php da página oque_e.php, mais não está fazendo.
se eu tentar colocar /localhost/sistemaesite/oque_e_teste/
o echo que eu coloquei no index mostra o valor "oque_e_teste/"
mas essa página oque_e_teste.php não existe.
Então com isso eu percebi que a url amigável não funciona quando a página existe, mas funciona quando ela não existe. Isso tá super estranho.