it-swarm-pt.tech

Synology e vmware com MPIO lento de 4 vias com velocidades iSCSI

Estou tentando alcançar altas velocidades iSCSI entre minha caixa ESX e o NAS de sinologia. Espero alcançar uma velocidade máxima de 300-400 Mb/s. Mas até agora tudo o que alcancei é 150 - 170 MB/s.

O principal teste que estou usando é criar um disco virtual de 20 GB, Think Eager Zeroed, no armazenamento de dados iSCSI SSD. (E variações disso.)

Algumas perguntas:

  1. Estou assumindo que a criação deste disco seria gravação sequencial?
  2. A Synology nunca passa em 30%/40% do uso da CPU, e a memória é quase usada. Estou assumindo que o Synology é capaz de escrever nessas velocidades em um SSD, certo?
  3. Além disso, o ESX consegue maximizar a largura de banda disponível ao criar um disco virtual sobre iSCSI?
  4. Se estiver usando uma ferramenta de benchmark, o que você recomendaria e como posso ter certeza de que não terei o gargalo no lado do envio de dados? Posso instalar esta ferramenta em um VM no armazenamento de dados SSD e executá-la "contra ela mesma"?

Esta é a minha configuração.

Eu tenho um Synology 1513+ com os seguintes discos e configurações:

  1. 3 discos WD de 4 TB (não utilizados)
  2. 1 Samsung EVO 860. (1 volume, sem invasão)
  3. 1 Samsung 256GB SATA III 3D NAND. (1 volume, sem invasão)
  4. 2 destinos iSCSI, um por SSD. (Total de 8 iniciadores iSCSI vmware conectados)

Configuração de rede:

  1. Ligação Synology 4000 Mbps. MTU 1500, Full Duplex.

  2. Agregação de link dinâmico Synology 802.3ad LACP.

  3. Cisco SG350 com agregação de link configurada para as 4 portas Synology.

  4. A rede de armazenamento e iSCSI é fisicamente separada da rede principal.

  5. Cabos CAT 6.

VSphere:

  1. PowerEdge r610 (Xeon E5620 a 2,40Ghz, memória de 64 GB)
  2. Broadcom NetXtreme II BCM5709 1000Base-T (8 NICS)
  3. VSphere 5.5.0 1623387

Configuração do VSphere:

  1. 4 vSwitch, 1 NIC cada um para o iSCSI.MTU 1500. Full Duplex.
  2. iniciador de software iSCSI com os 4 switches vmkernel no grupo de portas, todos os status de conformidade e caminho ativos.
  3. 2 destinos iSCSI com 4 caminhos MPIO cada. Todos ativos e round robin

Então, basicamente, 4 cabos do NAS vão para o Cisco LAG e 4 iSCSI do ESX vão para as portas regulares do switch).

Testes e configurações que realizei:

  1. Configurando o MTU para 9000 em todos os vmswitches, vmkernel, sinologia e Cisco. Eu também tentei outros valores como 2000 e 4000.
  2. Criação de 1 (e 2, 3 simultâneos) discos virtuais em 1/2 destinos iSCSI para maximizar a carga de trabalho.
  3. Cabeçalho e resumo dos dados desativados/ativados, confirmação atrasada.

Perdi a conta de todas as coisas que tentei. Não tenho certeza de onde está meu gargalo ou o que eu configurei de maneira errada. Anexei algumas capturas de tela.

Qualquer ajuda seria muito apreciada!

caminhos iSCSI no ESX

Configuração de rede no ESX

Exemplo da configuração do vmkernel

configuração de rede do iniciativa iSCSI

configuração 1 do Cisco LAG

configuração 2 do Cisco LAG

4
acanessa
  1. Pode ser acelerado com o primitivo VAAI ZERO (não sei exatamente na sua versão desatualizada do vSphere). Mas é uma gravação sequencial de qualquer maneira. Também depende de como você criou seu destino iSCSI. Os DSM-s mais recentes, por padrão, criam LUNs avançados criados na parte superior nos sistemas de arquivos. As versões mais antigas, por padrão, usavam discos LVM diretamente e tiveram um desempenho muito pior.
  2. ~ 400 MB/s deve ser possível
  3. 400MB/s não é um problema, se o destino puder fornecer o IO
  4. Se você estiver olhando para uma taxa de transferência sequencial pura, o dd no lado do Linux ou o CrystalDiskMark simples no Windows funcionará.

LAGs e iSCSI geralmente não se misturam. Desative a ligação no Synology e configure como interfaces separadas. Ative o iSCSI com vários iniciadores no Synology. Infelizmente não tenho uma Synology em mãos para obter instruções exatas.

Configure o vSphere assim.

  • iniciador do vSphere -> IP/porta de destino da Synology 1
  • iniciador do vSphere -> IP/porta de destino 2 da Synology
  • iniciador do vSphere -> IP/porta de destino Synology 3
  • iniciador do vSphere -> IP/porta de destino da Synology 4

Desabilite caminhos desnecessários (mantenha um IP de origem do vSphere em um Synology IP), o vSphere suporta (não imposto) apenas 8 caminhos por destino no iSCSI. Não me lembro se você pode limitar o acesso ao destino por fonte no lado da Synology, provavelmente não. Além disso, você já possui caminhos suficientes para garantir a confiabilidade e mais nada ajudará, pois provavelmente a largura de banda é limitada.

Altere a política para um valor mais baixo, consulte aqui https://kb.vmware.com/s/article/2069356 Caso contrário, 1000 IOPS seguirão um caminho até que ocorra a alteração do caminho.

Continue usando quadros jumbo. São cerca de 5% de vitória somente na largura de banda e no gigabit, você pode facilmente ficar sem largura de banda.

3
Don Zoomik

ATUALIZAR:

Eu consegui resolver meu problema. Resumindo, foi 80% minha culpa, 20% de configuração.

A sinologia e a configuração do switch estavam corretas, afinal. O uso do LACP na Synology e na Cisco funcionou para mim. Meu NAS possui apenas um IP em que os destinos iSCSI estão disponíveis, e o ESX possui 4 NICs/vMKernels apontando para ele.

Configure o vSphere assim.

  • vSphere ini. 10.10.74.11
  • vSphere ini. 10.10.74.12
  • vSphere ini. 10.10.74.13
  • vSphere ini. 10.10.74.14 | --4Cables -> [Cisco] - 4cables -> Synology IP (10.10.74.200)

Eu usei o MPIO com Round Robin.

O principal problema era que eu não estava estressando o sistema o suficiente. Meu teste de criação de discos zerados virtuais e supondo que o host ESX usaria toda a largura de banda disponível para fazê-lo, parece estar errado.

Configurar o CrystalDiskMark corretamente foi a chave! A alteração do IOPS de acordo com a documentação localizada no link ( https://kb.vmware.com/s/article/2069356 ) fazia parte da solução. Agora estou chegando a 450 Mbs de leitura/300 Mbs de gravação!

0
acanessa