NAS - 48Tb/72Tb, 10GigE - P2P em uma WAN 200Mbit

[Henri BR]

Os amigos poderiam auxiliar na escolha ou na montagem de um servidor de armazenamento, especificamente um NAS (Network-Attached Storage)?

Finalidades:

   Armazenamento de arquivos gerais a serem disponibilizados e utilizados na rede local;
   Armazenamento de back-ups ou imagem dos computadores locais;
   Acesso remoto aos arquivos, através de HTTP/FTP;
   Testes e aprendizado de virtualização com VMware, e outros;

Mas principalmente...
   Disponibilizar alguns milhares de arquivos de video, audio, enfim conteúdos educativos na "rede P2P".


Estamos envolvidos em alguns projetos, em geral de cunho sócio educacional, e trabalhamos nestes projetos de forma colaborativa e sem finalidade de lucro. Um destes projetos requer uma estrutura legal de colaboração, armazenamento e distribuição. Em alguns meses, devemos receber alguns milhares de arquivos de vídeo, áudio, livros, e outros mais e deveremos realizar a edição, catalogação e disponibilização destes conteúdos principalmente nas redes P2P como eMule/bitTorrent, etc.

Atualmente, trabalhamos sob uma rede local simples, com apenas 6 computadores; e uma conexão de banda-larga discreta. Para este projeto, deveremos planejar a rede, uma vez que outros computadores serão disponibilizados para o trabalho, deveremos oferecer acesso remoto para aqueles que irão colaborar com o projeto, e talvez, contratemos um serviço de banda larga de 200Mbit FTTx.

NAS e não SAN. Por que?
Já que deveremos adquirir toda uma nova infraestrutura, e com recursos próprios (um tanto limitados), uma SAN ou área de armazenamento em rede torna o projeto muito caro, em contraste com um NAS. Há ainda outros empecilhos quanto trabalharmos com sob o conceito de uma SAN - Por exemplo, fornecer acesso HTTP e FTP aos arquivos locais.

Então, NAS é a escolha. Mas, de qualquer maneira, apesar de determos algum conhecimento quanto a tecnologias disponíveis, esse conhecimento é ainda muito restrito, muito básico. Não temos experiência quanto a este gênero de estrutura. E por falar em estrutura, vamos lá...


Quais são os requisitos?
Uma estrutura ou equipamento que ofereça:

   Capacidade para pelo menos 48Tb ou 16 HDDs; 24 discos ou 72Tb seria o ideal
   Possibilidade de utilizarmos uma ou duas placas 10 GigE no NAS
   Suporte para discos SATA e SAS 6 Gbit/s
   Suporte para discos SSD para o sistema operacional
   Possibilidade de rodar Linux, Windows Server 2008 R2 ou FreeNAS
   Suporte para 15-20 pessoas na rede local acessando o NAS
   Suporte para o acesso remoto HTTP/FTP/Etc de pelo menos 20 pessoas
   Suporte para o compartilhamento P2P, em (talvez) uma rede de 200Mbit FTTx


Menos importante...
Possibilidade de (testes/aprendizado) de virtualização com VMware

Mais importante...
Uma solução pronta para o amanhã: "future proof!"
Escalonável, expansível: possibilidade de "plugar" outra máquina idêntica


Exemplo:
Thecus N16000


Orçamento:
Em torno de $5 a $9 mil USD; sem os discos.


Há um mesmo tópico no seguinte endereço:
http://www.hardware.com.br/comunidade/48tb-72tb/1139719/
Logo, é de grande importância a visão dos amigos com experiência em Linux.
Fornece um discernimento mais apurado quanto à solução  
Esta é a razão de recorrer também a esta comunidade.

Abraço,

[Henri BR]

Então vamos lá...
Os amigos conhecem possíveis soluções para a questão exposta, que atendam aos requisitos?
E também, será melhor adquirir uma solução pronta ou montarmos uma máquina?

[clcampos]

Favor adequar o título do tópico às Regras de Utilização do Fórum.

...

Da forma de publicação das mensagens

8. Não são permitidas mensagens/títulos:

I - Que tenham como escopo assuntos como: a) esportes, b) religião e c) política.
II - Em caixa-alta (maiúsculas).
III - Com solicitações como "ajuda", "socorro", "help", etc.
IV - Publicidade, compra, venda, ou prestação de qualquer outro serviço.
V - Com o único objetivo de manipular a visibilidade do tópico.
VI - Má-educação, insultos, ataques pessoais, violência ou qualquer conteúdo considerado incendiário ou provocador.
VII - Contendo material que possa causar danos a usuários e terceiros
VIII - Qualquer tópico ou mensagem que promova actividades ilícitas, criminais, ou violações de propriedade intelectual.
IX - Que não estejam de acordo com a descrição dos assuntos da seção.
X - Que contenham imagem maior do que 40 Kb.
XI - Com SPAM ou correntes.
XII - Que possuam título que não esclareçam o contexto da mensagem.
XIII - Pornografia, nudez explícita ou qualquer outro material passível de ferir susceptibilidades pelo seu conteúdo.
XIV - Racismo, xenofobia ou qualquer outra ofensa à condição humana.
XV - Mensagens sem sentido ou de conteúdo manifestamente vazio.
XVI - Com conteúdo duplicado.

...

[clcampos]

Uma dúvida, onde entra o Ubuntu nessa história?

[Henri BR]

Testes, aprendizado, enfim... Onde, e se for adequado.
Estou aqui por isso - Identificar, aprender e implementar. Principalmente aprender com os amigos.

Os amigos que compreendem este gênero de equipamento poderiam auxiliar?

[druidaobelix]

Olá Henri BR,

Estive lendo também a thread postada lá no GDH, conforme o link que v. assinalou, arriscando breves considerações sobre o interessante projeto.

Note que, apesar de tudo, trata-se de uma pequena instalação, com verba bastante limitida, diferentemente de soluções verdadeiramente corporativas com zilhões de dolares disponíveis, então, creio que a opção seja de fato construir o sistema baseado em server opensource.

No que aqui mais diretamente importa, é saber se o Ubuntu Server seria adequado a essa espécie de solução. Não vejo porque não seria, sem prejuízo de outras opções já mencionadas, como o FreeNAS.

A vantagem, relativa, que consigo perceber em montar todo o sistema em Ubuntu, Server e estações de trabalho, é de certa forma melhorar a integração, já que um Ubuntu Server, do ponto de vista do desenvolvimento, foca prioritariamente estações de trabalho Ubuntu, nada obstante evidentemente possa ser usado com quaisquer outros SO clientes.

Talvez a questão nesse ponto de vista seja até mesmo muito mais simples.
Por que não montar um protótipo NAS baseado em Ubuntu Server e rapidamente adquirir experiência com isso?

Você não precisa de nada que possivelmente já não tenha disponível, e apenas para raciocinar, de forma muito completa com 3 simples computadores v. faz esse protótipo de forma muito rápida e aí passa a avaliar o uso em cima de uma estrutura montada, permitindo uma avaliação muito mais produtiva, do ponto de vista do server software.

Certamente v. já pesquisou bastante sobre o assunto, mas apenas para ilustrar a eventuais leitores a simplicidade da instalação:

How To Build & Use Your Own Network Attached Storage Using A Ubuntu Netbook

http://www.makeuseof.com/tag/build-networkattached-storage-ubuntu-netbook/

A questão seguinte fica por conta da compatibilidade do hardware a ser adquirido, entretanto, essa compatibilidade de maneira geral é do Linux, do kernel propriamente dito, e não desse ou daquele SO específico, na perspectiva de uma particular distribuição.

Quanto ao hardware propriamente dito, é não perder de vista que, inobstante quaisquer outras considerações, ainda se trata de um servidor de arquivos, razão pela qual não faz o menor sentido gastar dinheiro com extensa capacidade de processamento multitarefa, adequada a outras finalidades.

O ponto central dessa arquitetura é a rápida disponibilidade de acesso aos discos, além da necessária redundância, considerando ainda o planejamento de capacidade de armazenamento que v. menciona, daí porque parece-me que a solução deveria ser baseada em RAID e SCSI, ao invés de qualquer espécie de SATA e muito menos PATA. Gaste dinheiro nisso, e não em infinitos cores que nunca serão usados.

Igualmente, não vejo sentido no uso de SSD, o que parece-me seja despender dinheiro, muito limitado no projeto, em algo que apenas não vai ser usado. O SSD irá possibilitar o rápido carregamento do SO, nada além, coisa que um server raramente usa, entretanto, depois disso terá limitadíssima interferência na relação server-cliente, cujo foco, como dito, está na controladora de discos.

[]'s

[Henri BR]

Tempinho que não visitava o tópico por carecer de informações.
Grato pelas observações, observações valiosas!

Vou relê-las e verificar a matéria do link...
Por igual, estudar os pontos abordados de modo a adquirir os conhecimentos necessários e propor os testes/protótipo que o amigo indica.
Um protótipo seria realmente de grande valor uma vez que não tenho/temos conhecimento algum em sistemas 'NIX'.

...

No inicio, por carecer ainda mais de conhecimentos, e devido a dificuldade em adquirir informações nas comunidades, criei também o tópico aqui:
http://forum.clubedohardware.com.br/48tb-72tb-10gige/931330

Àqueles que desejam obter alguma informação, podem também visitá-lo...
Há de ser de algum auxílio, espero.