it-swarm-pt.tech

Quais são as velocidades "boas" para iSCSI e NFS em Ethernet de 1 GB?

Eu tenho uma caixa OpenSolaris compartilhando dois sistemas de arquivos ZFS. Uma é uma conexão NFS a uma máquina CentOS executando um servidor VMware (as imagens de disco são armazenadas em ZFS). A outra é uma conexão iSCSI a um servidor Windows 2008 com formatação NTFS na parte superior do ZFS. Ambas as conexões são diretas sobre gig-E (sem interruptores).

Estou executando o Munin para monitorar as caixas, mas não tenho certeza de que tipo de números devo esperar. Alguém pode me dar alguns números básicos para comparar ou fazer alguma sugestão sobre onde começar a ajustar?

Aqui estão as estatísticas de NFS que estou vendo. Vou postar iSCSI assim que corrigir o munin na caixa solaris: P

interface

nfs client

9
Sysadminicus

Impulsionamos um Sun X4100 escrevendo sobre GigE e iSCSI vinculados para um Sun X4500 para 280 MB/s.

Há muito que pode ser feito para ajustar o TCP no Solaris para ajudar as coisas, esta é minha configuração de ajuste de estoque. (Extraído de alguma coleção de white papers da Sun):

$ cat /etc/rc3.d/S99ndd
#!/bin/bash

NDD=/usr/sbin/ndd

$NDD -set /dev/tcp tcp_xmit_hiwat 1048576
$NDD -set /dev/tcp tcp_recv_hiwat 8388608
$NDD -set /dev/tcp tcp_max_buf 8388608
$NDD -set /dev/udp udp_xmit_hiwat 1048576
$NDD -set /dev/udp udp_recv_hiwat 8388608
$NDD -set /dev/udp udp_max_buf 8388608
$NDD -set /dev/tcp tcp_conn_req_max_q 65536
$NDD -set /dev/tcp tcp_conn_req_max_q0 65536
$NDD -set /dev/tcp tcp_fin_wait_2_flush_interval 67500

Além disso, vale a pena dar uma olhada em sua máquina OpenSolaris para alterar o intervalo de fsflush, o ajuste de interrupção "mágico" e desabilitar anéis suaves. Anexe o seguinte a/etc/system (reinicialização necessária):

* "fsflush" tuning
set tune_t_fsflushr = 5
set autoup = 300
* Disable the Automatic Interrupt Adjustment
set dld:dld_opt = 2
* Disable "soft rings"
set ip:ip_squeue_fanout = 0
set ip:ip_soft_rings_cnt = 0

Vale a pena mencionar que faço isso no Solaris 10 - não no OpenSolaris - mas acho que os ajustáveis ​​devem funcionar para você da mesma forma.

Sou um grande fã do Filebench por brincar com opções de ajuste e fazer testes de rendimento.

A versão (recentemente renomeada) OpenSolaris 2009.06 parece ser muito interessante no mundo do iSCSI e ZFS.

Espero que isso ajude alguns!

12
jharley

Consigo cerca de 90 MB/seg para meus arrays EMC AX150i em iSCSI em Ethernet de 1 GB.

3
Brent Ozar

Por apenas um único dd ou bonnie ++ (velocidade bruta, escrita linear) você deve chegar bem perto da velocidade do fio.

Mas seu gargalo será a matriz de disco, uma vez que você comece a obter a carga IO aleatória de múltiplas VMs em andamento, muito mais que o transporte).

Além disso, se você não tiver um cache de gravação alimentado por bateria com uma quantidade significativa de RAM, seu desempenho cairá assim que você começar a receber muitas gravações com qualquer outro IO em andamento.

1
jwiz

Recebo cerca de 80 MB/S para o meu servidor Windows através de ISCSI em Ethernet 1G. Destino: KernSafe iStorage Server http://www.kernsafe.com/Product.aspx?id=5 Iniciador: Microsoft Initiator www.Microsoft.com/downloads/details.aspx?familyid=12cb3c1a-15d6 -4585-b385-befd1319f825 & displaylang = pt

Hardisk: ATA 7200

0
alscsk

Consegui enviar dados sobre iSCSI para cerca de 200 Mbit/s em links de 1 GB. Mas eu tinha um RAID 6 de 14 discos hospedado por um EMC CX4-240 sem muito mais usar o cache na época.

O maior gargalo provavelmente será a quantidade de cache do controlador e a velocidade dos discos (para quando o cache ficar cheio).

0
mrdenny

Para aqueles de nós mais próximos do fim das coisas semi-profissionais (ao invés de profissionais), recebo 150 MB constantes e consistentes, leitura de 120 MB, gravação do servidor W2012 dual 1gb nic agrupado via draytek conseguiu mudar para blackarmorsnas via cobre RJ45, transferência única de arquivo de 20GB. Nenhuma outra operação simultânea durante o teste. Para conseguir isso, estou usando jumbo frames 9k, rx e tx flow, ou seja, todas as otimizações de driver normais, mas sem ajustes além de ligar as coisas e aumentar o jumbo frame para o máximo.

0
user174818