Usando o XFS no Desktop!

san-alex · 09 de Junho de 2014, 17:57

Eu nunca usei XFS no meu computador, mas participo ativamente noutro forum Ubuntu (em Russo), e já tinha visto várias queixas deste sistema de ficheiros. Trabalha perfeitamente com ficheiros grandes e partições grandes, mas quando há necessidade de copiar muitos ficheiros pequenos (estamos a falar de milhares), velocidade cai quase até a zero.

jkmsjq · 09 de Junho de 2014, 18:48

Citação de: san-alex online 09 de Junho de 2014, 17:57
[...] mas participo ativamente noutro forum Ubuntu (em Russo) [...]

[Off Topic] Caixinha de fósforo e rebimboca... em russo...?!?!?[/Off Topic]

Podia compartinhar seu tempo para ajudar aqui no fórum brasileiro também...

san-alex · 09 de Junho de 2014, 19:04

Citação de: jkmsjq online 09 de Junho de 2014, 18:48
Podia compartinhar seu tempo para ajudar aqui no fórum brasileiro também...

É isso que estou a fazer. Sobre fósforos - não entendi...

galactus · 09 de Junho de 2014, 19:07

Sim o XFS é lento com arquivos pequenos. Eu deixo isso bem claro no tutorial. O XFS foi feito para ser grande.

Arthur Bernardes · 15 de Julho de 2014, 16:56

Olá Galactus, admiro sua dedicação em conseguir o melhor no teu Linux.

Estou com projeto de montar um servidor de arquivos para armazenar os backup's daqui, e desejo compactar esses arquivos e jogar no servidor, somente para armazenar (geralmente imagens do Clonezilla, arquivos compactados e etc).

Como você mesmo disse, o XFS foi feito para ser grande e lento com arquivos pequenos, no caso de eu ter os dois (arquivos pequenos e arquivos grandes), o que recomenda? Uma partição em EXT4 e outra em XFS ou dois discos?

É recomendável usar LVM ou uso sem mesmo?

Estou pensando em Debian ou CentOS para esse servidor, o que considera melhor?

---------------------------------

Outra coisa: Seria interessante colocar o comando de desfragmentação do XFS no "cron"?

galactus · 16 de Julho de 2014, 08:58

Olá Arthur, realmente um cenário interessante. Você pode deixar uma partição, ou HD, com ext4 para arquivos pequenos e que serão compactados e outra partição, ou HD, com XFS para as imagens do clonezilla e outros arquivos grandes. Se tiver que usar os dois sistemas de arquivos no mesmo HD acho que vai te complicar o LVM, se não ficar inviável.

Eu posso dizer o que eu e alguns colegas estamos fazendo. Se o crescimento dos dados não é assim tão grande e rápida, nem de forma exponencial, Heheheheheh , não usamos LVM. Tenho colegas com storage da Dell e da HP que já tem tudo arrumado via hardware, o que facilita um monte né. Infelizmente não é o meu caso, mas como tenho vários HDs e não cresce tanto assim o volume dos meus dados, optei por deixar tudo com XFS, sejam os arquivos grandes ou pequenos. O XFS não é o mais rápido, mas aguenta maior quantidade de requisições nas transferências de arquivos. Então conseguimos fazer um maior número de transferências com taxas constantes ao mesmo tempo com o XFS. Usamos CentOs, um amigo usa Opensuse, nenhum dos meus colegas, e nem eu, usamos Debian. O motivo? Na hora em que o calo aperta, e eu quero dizer com muitas requisições e um monte de gente acessando os dados ao mesmo tempo, o CentOs se mostrou mais robusto, aguentou mais carga e manteve mais alta e constante as taxas de transferências dos arquivos. Não temos nada contra o Debian, só não a se mostrou o melhor para o nosso uso. Instalamos o sistema em ext4 e todos os dados estão em XFS, sejam eles grandes ou pequenos no meu caso. A maioria dos colegas trabalham com banco de dados enormes.

Eu só colocaria o comando de desfragmentar no cron se as alterações fossem constantes, senão eu mesmo executaria o comando de tempos em tempos, agora eu tenho tempo pra isso né Arthur. Se tiver ocupado demais, melhor colocar no cron mesmo.

Espero ter ajudado mais que complicado, e Arthur, se puder, faça os seus testes, afinal, o que é bom pra mim pode não ser pra você!

Arthur Bernardes · 16 de Julho de 2014, 13:00

Olá Galactus, com certeza vou testar sim e seguir suas recomendações.

Será gostoso eu aprender um novo sistema (CentOS ou Suse), e vou usar dois discos diferentes mesmo (um para o sistema em ext4 e outro para dados em XFS), à questão do LVM ainda vou estudar para o ver que mais inviável, mas penso em usar RAID não.

Obrigado pela disposição e vou postar aqui sim os testes, muito obrigado!

lotavio · 29 de Novembro de 2014, 15:06

Um adicional para o topico http://rocha.forenaite.com.br/xfs-um-sistema-de-arquivos-eficiente/ e para quem tem 8 ou mais cores.
De uma olhada Galactus.

galactus · 06 de Dezembro de 2014, 10:43

Citação de: lotavio online 29 de Novembro de 2014, 15:06
Um adicional para o topico http://rocha.forenaite.com.br/xfs-um-sistema-de-arquivos-eficiente/ e para quem tem 8 ou mais cores.
De uma olhada Galactus.

Obrigado pelo texto! Por isso que um amigo meu adora XFS num servidor de banco de dados DELL com dois Xeons e muitos threads!

lotavio · 02 de Março de 2015, 12:08

Galactus você já otimizou o Dirty_ratio e o dirty_background_ratio a favor do XFS ?
Se sim,como foi feito ?

Nas minhas pesquisas quando coloca a porcentagem do Dirty_ratio alto o pdflush inicia menos porém grava arquivos maiores,como o XFS é excelente com arquivos grandes não terá problemas de gravações com o hd contanto dirty_background_ratio tem que estar em porcentagem pequenas.

Meu objetivo com isso é ter um bom relacionamento entre swap,XFS e RAM. Penso ainda analisar vms como min_free_kbytes,pagecache para otimizar ainda mais o objetivo que tenho.

Arthur Bernardes · 02 de Março de 2015, 13:55

Galactus, o que acha de eu manter XFS para arquivos pesados e o EXT4 para arquivos leves e pra raiz?

galactus · 02 de Março de 2015, 15:32

Citação de: lotavio online 02 de Março de 2015, 12:08
Galactus você já otimizou o Dirty_ratio e o dirty_background_ratio a favor do XFS ?
Se sim,como foi feito ?

Nas minhas pesquisas quando coloca a porcentagem do Dirty_ratio alto o pdflush inicia menos porém grava arquivos maiores,como o XFS é excelente com arquivos grandes não terá problemas de gravações com o hd contanto dirty_background_ratio tem que estar em porcentagem pequenas.

Meu objetivo com isso é ter um bom relacionamento entre swap,XFS e RAM. Penso ainda analisar vms como min_free_kbytes,pagecache para otimizar ainda mais o objetivo que tenho.

Mexo neles para melhorar o desktop em geral, não pensando no XFS. Eu altero é o FSTAB ou a formatação para melhorar o XFS em geral.

galactus · 02 de Março de 2015, 15:35

Citação de: Arthur Bernardes online 02 de Março de 2015, 13:55
Galactus, o que acha de eu manter XFS para arquivos pesados e o EXT4 para arquivos leves e pra raiz?

Faço isso também. Meu servidor de arquivos tem o raiz "/" com ext4 e as partições dos dados todas em XFS. Meu PC em casa também está mesclado. Tenho HDs em ext4, XFS e NTFS.

lotavio · 17 de Março de 2015, 22:20

Olha que eu encontrei no xfs.org
As of kernel 3.2.12, the default i/o scheduler, CFQ, will defeat much of the parallelization in XFS.
Apartir do kernel 3.2.12 com CFQ a paralelização do XFS vai pra cuia, ou seja BFQ em alta eheheh

É só uma chamada para atualização do tutorial. O seu tutorial é o melhor do google português qualquer coisa que
eu procure sobre XFS em português vem indicado para vir aqui no seu tutorial parabéns.Qualidade 1010

galactus · 18 de Março de 2015, 00:16

Citação de: lotavio online 17 de Março de 2015, 22:20
Olha que eu encontrei no xfs.org
As of kernel 3.2.12, the default i/o scheduler, CFQ, will defeat much of the parallelization in XFS.
Apartir do kernel 3.2.12 com CFQ a paralelização do XFS vai pra cuia, ou seja BFQ em alta eheheh
É só uma chamada para atualização do tutorial. O seu tutorial é o melhor do google português qualquer coisa que
eu procure sobre XFS em português vem indicado para vir aqui no seu tutorial parabéns.Qualidade 1010

Obrigado.

Sim é verdade. No meu tutorial de acelerar o sistema sem compilações eu aviso que usar o CFQ no XFS não é bom. Mas atenda que não é tão ruim assim. Eu explico. Você já deve saber que o a Red Hat usa o XFS como sistema de arquivos padrão na sua versão 7. Assim o faz o Centos 7 também. Adivinha o escalonador de disco padrão para eles? CFQ!

E um dos principais desenvolvedores do XFS hoje é da Red Hat. Portanto eles também melhoraram as coisas para ele. Para servidores eles querem que o sistema continue respondendo mesmo com altas cargas no sistema. Seja no disco ou no processador. Então encher demais o sistema com paralelismo de disco pode não ser o ideal para uma série de coisas. Vou te dar outro exemplo do motivo de usar o CFQ. Eu uso o XFS no meu Notebook com BFS + BFQ. Fica rápido? Fica. Mas tudo tem um custo. Se eu fizer muitas transferências de arquivos o sistema fica muito "preso" nas transferências de arquivos e demora "pra burro" para responder a outras coisas de primeira. Isso num core i7! Como fica em processadores fracos? Pelo menos pra mim me parece que a dupla BFS + BFQ foi feita para o ext4. Usar o "deadline" pode ser uma boa escolha entre "custo/benefício" no XFS. Há sim, eu não mexo no escalonador do meu servidor de arquivos Centos 7, deixo no CFQ e sou feliz assim.

Outra coisa, a partir do kernel 3.16 ( pra mim a versão mais rápida dessas últimas versões), foram colocadas coisas novas para acelerar o XFS e será padrão na formatação com o xfsprogs 3.3. Até o Phoronix já testou o ext4 com os três escalonadores mais conhecidos: Deadline / Noop / CFQ. Pode ver nos testes que dependendo do que você faz o CFQ perde, ganha ou empata:

http://www.phoronix.com/scan.php?page=article&item=linux_316_iosched&num=1

Então vai depender muito do uso do sistema. Por isso muitos estão optando pelo ZFS. Ele é muito "customizável". São muitas opções que você pode usar dependendo do que você vai fazer com seu sistema de arquivos.

Obrigado pela dica de que em qual kernel a coisa piorou com o CFQ + XFS. Vou adicionar ao tuto.