Autor Tópico: Facebookcom cache é possivel???  (Lida 5155 vezes)

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Facebookcom cache é possivel???
« Online: 19 de Maio de 2015, 10:18 »
Testei as dicas dos topicos da net mas até agora não consegui deixar os videos do facebook buscando no cache com o squid!!!

segue a dica q peguei!!!


# VIDEO CACHE

refresh_pattern ^http://(.*?)/get_video\? 10080 90% 432000 override-expire ignore-no-cache ignore-private

refresh_pattern ^http://(.*?)/videoplayback\? 10080 90% 432000 override-expire ignore-no-cache ignore-private

refresh_pattern -i (get_video\?|videoplayback\?id|videoplayback.*id) 161280 50000% 525948 override-expire ignore-reload



# facebook

refresh_pattern ((facebook.com)|(85.131.151.39)).*\.(jpg|png|gif) 129600 999999% 129600 ignore-reload override-expire ignore-no-cache ignore-no-store store-stale

refresh_pattern ((tagged.com)|(96.17.109.27)).*\.(jpg|png|gif) 129600 999999% 129600 ignore-reload override-expire ignore-no-cache ignore-no-store store-stale

refresh_pattern static\.ak\.fbcdn\.net*\.(jpg|gif|png) 129600 999999% 129600 ignore-reload override-expire ignore-no-cache ignore-no-store store-stale

refresh_pattern ^http:\/\/profile\.ak\.fbcdn.net*\.(jpg|gif|png) 129600 999999% 129600 ignore-reload override-expire ignore-no-cache ignore-no-store store-stale

refresh_pattern edgecastcdn.\net.*\.swf? 129600 999999% 129600 override-expire ignore-reload store-stale

refresh_pattern \.(jp(e?g|e|2)|tiff?|bmp|gif|png)($|&) 129600 999999% 129600 ignore-no-cache ignore-no-store reload-into-ims override-expire store-stale

refresh_pattern .zynga.net.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .zynga.com.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .farmville.net.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .farmville.com.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .ninjasaga.com.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .apps.facebook.com.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .frontierville.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

refresh_pattern .tagged.*\.(jpg|gif|png|swf|mp3)($|&) 129600 999999% 129600 store-stale

Offline zekkerj

  • Usuário Ubuntu
  • *
  • Mensagens: 19.735
  • Gratidão gera gratidão, lamúria atrai lamúria...
    • Ver perfil
    • Blog do Zekke
Re: Facebookcom cache é possivel???
« Resposta #1 Online: 19 de Maio de 2015, 12:53 »
Como você sabe que não está fazendo cache, com as suas configurações?
Pesquise antes de perguntar, sua dúvida pode já ter sido respondida.
Não respondo dúvidas por MP, coloque sua dúvida no fórum onde ela pode ser pesquisada pelos seus colegas!
Não venha ao fórum apenas para perguntar. Se você sabe a resposta de um problema, porque não ajudar seu colega? ;D

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re: Facebookcom cache é possivel???
« Resposta #2 Online: 19 de Maio de 2015, 13:43 »
Pelo relatório do Sarg!!!


Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re: Facebookcom cache é possivel???
« Resposta #3 Online: 20 de Maio de 2015, 07:40 »
Ah sim....

aquela opção store-stale eu não coloquei pq não deixava rodar o squid...mas coloquei as seguintes

override-expire override-lastmod reload-into-ims ignore-no-cache ignore-auth

alguma dica?

Offline zekkerj

  • Usuário Ubuntu
  • *
  • Mensagens: 19.735
  • Gratidão gera gratidão, lamúria atrai lamúria...
    • Ver perfil
    • Blog do Zekke
Re: Facebookcom cache é possivel???
« Resposta #4 Online: 20 de Maio de 2015, 13:47 »
Observei que todos os acessos que vc reclama são na porta 443, ou seja, são httpS, não http. Assim, pode ser que sua expressão regular não os esteja pegando.

Tente mudar as regexs de "^http://" para "^http(s)?://", veja se muda o comportamento.
Pesquise antes de perguntar, sua dúvida pode já ter sido respondida.
Não respondo dúvidas por MP, coloque sua dúvida no fórum onde ela pode ser pesquisada pelos seus colegas!
Não venha ao fórum apenas para perguntar. Se você sabe a resposta de um problema, porque não ajudar seu colega? ;D

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #5 Online: 27 de Maio de 2015, 15:07 »
Ola    zekkerj....muito obrigado pela resposta!!!

Ainda não resolveu....

tentei alterar para ^http(s)?:// e tambem para ^https://

Temos outra tentativa?

Offline zekkerj

  • Usuário Ubuntu
  • *
  • Mensagens: 19.735
  • Gratidão gera gratidão, lamúria atrai lamúria...
    • Ver perfil
    • Blog do Zekke
Re:Facebookcom cache é possivel???
« Resposta #6 Online: 27 de Maio de 2015, 15:27 »
O correto é "^http(s)?" mesmo, ou seja, linhas começadas por "http" e seguidas por um "s" opcional. Vc poderia escrever também "^(http|https)".
Pesquise antes de perguntar, sua dúvida pode já ter sido respondida.
Não respondo dúvidas por MP, coloque sua dúvida no fórum onde ela pode ser pesquisada pelos seus colegas!
Não venha ao fórum apenas para perguntar. Se você sabe a resposta de um problema, porque não ajudar seu colega? ;D

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #7 Online: 28 de Maio de 2015, 10:16 »
Ola zekkerj.....obrigado pela resposta rapida como sempre!!!

Mas ainda os videos não estão em cache....

Uso proxy autenticado...teria alguma diferença?

Offline zekkerj

  • Usuário Ubuntu
  • *
  • Mensagens: 19.735
  • Gratidão gera gratidão, lamúria atrai lamúria...
    • Ver perfil
    • Blog do Zekke
Re:Facebookcom cache é possivel???
« Resposta #8 Online: 28 de Maio de 2015, 17:45 »
Não, pelo contrário. Sendo HTTPS, vc só consegue lidar direito com eles por HTTPS mesmo.

Talvez nosso erro esteja em tentar usar o URL completo, com o "https://" na frente, sendo que a operação feita na verdade é um "CONNECT endereço" ao invés de um "GET http://endereço". Tente adicionar um filtro "^mail.google.com", veja se assim ele identifica.
Pesquise antes de perguntar, sua dúvida pode já ter sido respondida.
Não respondo dúvidas por MP, coloque sua dúvida no fórum onde ela pode ser pesquisada pelos seus colegas!
Não venha ao fórum apenas para perguntar. Se você sabe a resposta de um problema, porque não ajudar seu colega? ;D

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #9 Online: 01 de Junho de 2015, 09:33 »
Ola zekkerj

Fiz a alteração mas continua 100% fora do cache!!!

ACCESSED SITE                                               CONNECT   BYTES   %BYTES   IN-CACHE-OUT
mail-attachment.googleusercontent.com:443   2   8.77M   92.12%   0.00%   100.00%

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #10 Online: 16 de Junho de 2015, 07:37 »
Será que é pelo fato de ser 443?

Offline irtigor

  • Equipe Ubuntu
  • Usuário Ubuntu
  • *****
  • Mensagens: 4.344
  • Delete, delete, delete!
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #11 Online: 16 de Junho de 2015, 11:25 »
Tem muita coisa no fb que não deve ser armazenado em cache, olha: http://wiki.squid-cache.org/ConfigExamples/DynamicContent/Coordinator#Facebook

E use o https://redbot.org/ pra verificar páginas.

Offline hunter2800

  • Usuário Ubuntu
  • *
  • Mensagens: 8
    • Ver perfil
Re:Facebookcom cache é possivel???
« Resposta #12 Online: 18 de Junho de 2015, 16:26 »
Ainda sim.....gostaria que os videos ficassem em cache!!!!

segue as conf...(sei q tem mais opções do que somente os videos)

Código: [Selecionar]
reload_into_ims on
emulate_httpd_log off
negative_ttl 0 second
pipeline_prefetch on
vary_ignore_expire on
half_closed_clients off
high_page_fault_warning 2
nonhierarchical_direct on
prefer_direct off
cachemgr_passwd none all
client_db on



acl store_rewrite_list urlpath_regex \/(get_video|video\?v|videoplayback\?id|videoplayback.*id)
acl store_rewrite_list urlpath_regex \/(get_video\?|videodownload\?|videoplayback.*id|watch\?)
acl store_rewrite_list urlpath_regex \.(3gp|mp(3|4)|flv|(m|f)4v|on2|fid|avi|mov|wm(a|v)|(mp(e?g|a|e|1|2))|mk(a|v)|jp(e?g|e|2)|gif|png|tiff?|bmp|tga|svg|ico|swf|exe|ms(i|u|p)|cab|psf|mar|bin|z(ip|[0-9]{2})|r(ar|[0-9]{2})|7z)\?
acl store_rewrite_list_domain url_regex ^http:\/\/(([a-z-]+[0-9-]+)|([0-9-]+[a-z-]+))\.[a-z0-9-]*\.[a-z]{2,4}
acl store_rewrite_list_domain url_regex ^http:\/\/([a-zA-Z-]+[0-9-]+)\.[A-Za-z]*\.[A-Za-z]*
acl store_rewrite_list_domain url_regex (([a-z]{1,2}[0-9]{1,3})|([0-9]{1,3}[a-z]{1,2}))\.[a-z]*[0-9]?\.[a-z]{3}
acl store_rewrite_list_path urlpath_regex \.(3gp|mp(3|4)|flv|(m|f)4v|on2|fid|avi|mov|wm(a|v)|(mp(e?g|a|e|1|2))|mk(a|v)|jp(e?g|e|2)|gif|png|tiff?|bmp|tga|svg|ico|swf|exe|ms(i|u|p)|cab|psf|mar|bin|z(ip|[0-9]{2})|r(ar|[0-9]{2})|7z)$
acl store_rewrite_list_domain_CDN url_regex (cbk|mt|khm|mlt|tbn)[0-9]?.google\.co(m|\.uk|\.id)
acl store_rewrite_list_domain_CDN url_regex photos-[a-z].ak.fbcdn.net
acl store_rewrite_list_domain_CDN url_regex ^http:\/\/([a-z])[0-9]?(\.gstatic\.com|\.wikimapia\.org)

acl dontrewrite url_regex (get_video|video\?v=|videoplayback\?id|videoplayback.*id).*begin\=[1-9][0-9]* \.php\? \.asp\? \.aspx\? threadless.*\.jpg\?r=
acl getmethod method GET


acl DENYCACHE urlpath_regex \.(ini|ui|lst|inf|pak|ver|patch|md5|cfg|lst|list|rsc|log|conf|dbd|db)$
acl DENYCACHE urlpath_regex (notice.html|afs.dat|dat.asp|patchinfo.xml|version.list|iepngfix.htc|updates.txt|patchlist.txt)
acl DENYCACHE urlpath_regex (pointblank.css|login_form.css|form.css)$
acl DENYCACHE urlpath_regex (Loader|gamenotice|sources|captcha|notice|reset)
cache deny DENYCACHE


refresh_pattern \.facebook\.com.*\.(jp(e?g|e|2)|gif|png|tiff?|bmp|swf|mp(4|3)) 43800 99999% 43200 override-expire ignore-reload ignore-no-cache ignore-private ignore-no-store ignore-must-revalidate
refresh_pattern \.fbcdn\.net.*\.(jp(e?g|e|2)|gif|png|tiff?|bmp|swf|mp(4|3))  43800 99999% 43800 override-expire ignore-reload ignore-no-cache ignore-private ignore-no-store ignore-must-revalidate
refresh_pattern ^.*safebrowsing.*google 2629742 999999% 2629742 override-expire ignore-reload ignore-no-cache ignore-no-store ignore-private ignore-auth ignore-must-revalidate
refresh_pattern ^.*(streamate.doublepimp.com.*\.js\?|utm\.gif|ads\?|rmxads\.com|ad\.z5x\.net|bh\.contextweb\.com|bstats\.adbrite\.com|a1\.interclick\.com|ad\.trafficmp\.com|ads\.cubics\.com|ad\.xtendmedia\.com|\.googlesyndication\.com|advertising\.com|yieldmanager|game-advertising\.com|pixel\.quantserve\.com|adperium\.com|doubleclick\.net|adserving\.cpxinteractive\.com|syndication\.com|media.fastclick.net).* 2629742 20% 2629742 ignore-no-cache ignore-no-store ignore-private override-expire ignore-reload ignore-auth ignore-must-revalidate
refresh_pattern (get_video\?|videoplayback\?|videodownload\?|watch\?\.flv?|.vid\?) 2629742 99999999% 2629742 override-expire ignore-reload ignore-must-revalidate ignore-no-cache ignore-no-store ignore-private
refresh_pattern (\.swf\?|\.avi\?|\.mov\?|\.wm(a|v)\?|\.3gp\?|\.mp(4|3)\?|\.rm\?|\.ram\?|\.m4v\?|\.on2\?) 43200 999999% 2629742 override-expire ignore-reload ignore-must-revalidate ignore-no-cache ignore-no-store ignore-private
refresh_pattern \.(ico|video-stats) 2629742 999999% 2629742 override-expire ignore-reload ignore-no-cache ignore-no-store ignore-private ignore-auth override-lastmod ignore-must-revalidate
refresh_pattern \.(akamaihd|edgecastcdn|spilcdn|zgncdn|(tw|y|yt)img)\.com.*\.(jp(e?g|e|2)|gif|png|swf|mp(3|4)) 43200 99999% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-must-revalidate
refresh_pattern \.gstatic\.com/images\? 43200 99999% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-must-revalidate
refresh_pattern (gstatic|diggstatic)\.com/.* 2629742 999999% 2629742 override-expire ignore-reload ignore-no-cache ignore-private ignore-no-store ignore-must-revalidate
refresh_pattern ^http://((cbk|mt|khm|mlt|tbn)[0-9]?)\.google\.co(m|\.uk|\.id) 43200 999999% 43200 override-expire override-lastmod ignore-reload ignore-no-cache ignore-private ignore-auth ignore-must-revalidate ignore-no-store
refresh_pattern vid\.akm\.dailymotion\.com.*\.on2\? 2629742 999999% 2629742 ignore-no-cache override-expire override-lastmod

refresh_pattern -i (get_video\?|videoplayback\?id|videoplayback.*id) 161280 50000% 525948 override-expire ignore-reload