it-swarm-pt.tech

Melhores opções de sistema de arquivos para NFS de armazenamento de imagens de disco VMware

Atualmente usamos um iSCSI SAN como armazenamento para vários servidores VMware ESXi. Estou investigando o uso de um destino NFS em um servidor Linux para máquinas virtuais adicionais. Também estou aberto à idéia de usar um sistema operacional alternativo (como o OpenSolaris) se ele oferecer vantagens significativas.

Qual sistema de arquivos baseado em Linux favorece arquivos contíguos muito grandes (como imagens de disco do VMware)? Como alternativa, como as pessoas encontraram o ZFS no OpenSolaris para esse tipo de carga de trabalho?

(Esta pergunta era originalmente feita no SuperUser ; sinta-se à vontade para migrar as respostas aqui se souber como).

11
mlambie

Eu realmente recomendo que você dê uma olhada no ZFS, mas para obter um desempenho decente, você vai precisar escolher um dispositivo dedicado como um ZFS Intent Log (ZIL). Basicamente, este é um dispositivo pequeno (alguns GB) que pode gravar extremamente rápido (20-100K IOPS), o que permite ao ZFS confirmar imediatamente que as gravações foram sincronizadas com o armazenamento, mas espera até 30 segundos para realmente confirmar as gravações nos discos rígidos em sua piscina. No caso de falha/interrupção, qualquer transação não confirmada no ZIL é reproduzida na montagem. Como resultado, além de um no-break, você pode querer um inversor com uma fonte de alimentação/supercapacitor interno para que quaisquer IOs pendentes cheguem ao armazenamento permanente em caso de queda de energia. Se você optar por um dispositivo ZIL dedicado, as gravações podem ter alta latência, levando a todos os tipos de problemas. Supondo que você não esteja interessado no SSD "Logzilla" otimizado para gravação de 18 GB da Sun por ~ $ 8200, existem algumas alternativas mais baratas:

  • DDRDrive X1 - 4GB DDR2 + 4GB SLC Flash em uma placa PCIe x1 projetada explicitamente para uso ZIL. As gravações vão para a RAM; em caso de perda de energia, ele sincroniza RAM para NAND em <60 segundos alimentado por um supercapacitor. (50k-300k IOPS; $ 2.000 direto, $ 1.500 para .edu)
  • Intel X25-E SSD de 32 GB e 2,5 polegadas (SLC, mas sem supercap, 3300 IOPS de gravação); [$ 390 na Amazon] [11]
  • OCZ Vertex 2 Pro 40GB SSD de 2,5 polegadas (supercap, mas MLC, IOPS de gravação de 20k-50k); $ 435 na Amazon .

Depois de configurar o OpenSolaris/Nexenta + ZFS, existem algumas maneiras de mover blocos entre o OpenSolaris e o ESX boxen; o que é certo para você depende muito de sua infraestrutura existente (switches L3, placas de fibra) e de suas prioridades (redundância, latência, velocidade, custo). Mas, como você não precisa de licenças especializadas para desbloquear a funcionalidade iSCSI/FC/NFS, pode avaliar qualquer coisa para a qual tenha hardware e escolher o seu favorito:

  • alvos iSCSI (sobrecarga de CPU; sem suporte TOE no OpenSolaris)
  • Alvos Fibre Channel (Cartões Fibre não são baratos)
  • NFS (VMWare + NFS pode ser mimado, limitado a 32 montagens)

Se você não pode gastar $ 500 para avaliação, teste com e sem ZIL desativado para ver se o ZIL é um gargalo. (Provavelmente é). Não faça isso na produção . Não mexa com a desduplicação do ZFS ainda, a menos que você também tenha muita memória RAM e um SSD para L2ARC. É definitivamente bom depois de configurá-lo, mas você definitivamente tenta fazer algum NFS Tuning antes de brincar com dedup. Quando você consegue saturar links de 1-2 Gb, há oportunidades de crescimento em 8gb FC, 10gigE e infiniband, mas cada um requer um investimento significativo, mesmo para avaliação.

13
notpeter

Eu não faria exatamente isso. Na minha experiência, Linux (especificamente CentOS 3/4/5) é geralmente uma escolha ruim para um servidor NFS. Eu tive vários e descobri que sob carga, a latência e o rendimento tendem a cair por razões que nunca conseguimos entender.

Em nossos casos, estávamos comparando o desempenho back-to-back do Linux com Solaris (no Ultra-SPARC) e NetApp; ambos retornaram resultados em termos de desempenho comparável a maçãs e em termos nebulosos de "engenheiros não reclamando tanto sobre latência quando o servidor estava sob carga". Houve várias tentativas de ajustar o servidor NFS Linux; os sistemas NetApps e Solaris funcionam como estão, fora da caixa. E como os sistemas Solaris e NetApp envolvidos eram mais antigos, pode-se argumentar que os servidores Linux tinham todas as vantagens e ainda assim não eram convincentes.

Se você tiver tempo, valeria a pena experimentar configurar o mesmo hardware com o OpenSolaris (agora que o Solaris é efetivamente muito caro para usar), Linux e talvez uma ou duas variantes do BSD e competir com eles. Se você puder criar algumas métricas de desempenho (contagens de E/S de disco em um VM hospedado fora da loja, por exemplo), isso pode ser um white paper interessante ou artigo da Internet. (Se você tenha o tempo.)

Em relação ao NFS em geral, o pessoal da NetApp me disse várias vezes que seus benchmarks mostraram que o NFS tinha um custo de apenas 5 a 10% no desempenho para VMs - e se seu aplicativo era sensível o suficiente para que isso fosse um problema, você não deveria virtualizar em primeiro lugar.

Mas devo confessar que depois de todo esse tempo e lágrimas, nossa produção não local VM lojas são todas alimentadas por iSCSI, principalmente da NetApp.

2
David Mackintosh

Estamos usando o OpenSolaris 2009/06 com uma configuração ZFS RAID 10 para fornecer NFS ao nosso servidor VMWare ESXi. Ele funciona muito bem para nossas necessidades até agora. Estamos usando unidades do tipo SATA Raid (unidades Seagate ES.2 de 1 TB). Ainda temos alguns ajustes a fazer.

2
tegbains

Sou um grande fã de datastores NFS para VMware, a NetApp tem uma implementação excelente.

TR-3808 compara a escala dos datastores compartilhados conectados NetApp FC, iSCSI e NFS, o que é uma excelente leitura.

2
chamdor