Rendimiento de disco muy bajo en el nodo KVM – mdadm raid10

Durante un largo período de time, estoy experimentando problemas de performance en serveres CentOS que se utilizan para la virtualización KVM .

Estoy ejecutando el software RAID-10 con 4 discos ( Seagate ST2000DM001, 2TB, 7200rpm SATA-600 ) Estos KVM VM están funcionando apagado su propio LV.

Una vez que hay algunos VM's instalado, el performance sigue cayendo con cada VM que se agregó.

En este momento, se tarda unas 3 horas en instalar Debian 7 minimal . En una caja vacía sin VM's, esto tomará sólo unos minutos como máximo.

Lo extraño es que incluso con 37 VM, no hay prácticamente ninguna E / S de disco. Pero cada E / S que se necesita hacer en ese momento, lleva el dispositivo "dm" respecto a ese volumen LV específico al 100%.

Por alguna razón, parece que los dispositivos "dm-xx" no son capaces de usar todos los discos.

Abajo está un ejemplo de lo que quiero decir. El sd[a/b/c/d] suele estar entre el 40 y el 60% cargado durante este problema, pero uno o más dispositivos dm tienen una carga alta sin E / S graves.

Observe que el %util para dm-0 específicos que están en uso por VM's.

 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 10.00 0.00 5.00 36.00 256.00 424.00 33.17 0.86 20.73 11.02 45.20 sdd 0.00 1.00 0.00 48.00 0.00 389.00 16.21 0.85 17.71 10.90 52.30 sda 0.00 0.00 2.00 39.00 32.00 161.00 9.41 0.77 18.63 11.44 46.90 sdc 0.00 1.00 0.00 50.00 0.00 764.00 30.56 1.59 47.08 13.90 69.50 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 18.00 68.00 288.00 813.00 25.60 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 6.00 0.00 40.00 13.33 0.31 51.50 51.17 30.70 dm-1 0.00 0.00 0.00 7.00 0.00 72.00 20.57 0.74 49.43 99.14 69.40 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 16.00 0.00 256.00 0.00 32.00 0.96 59.69 8.38 13.40 dm-4 0.00 0.00 0.00 8.00 0.00 68.00 17.00 0.28 34.62 31.25 25.00 dm-5 0.00 0.00 0.00 4.00 0.00 156.00 78.00 0.05 12.00 12.00 4.80 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 4.00 0.00 20.00 10.00 0.08 19.00 6.75 2.70 dm-8 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.54 258.33 154.00 46.20 dm-9 0.00 0.00 0.00 5.00 0.00 148.00 59.20 0.10 19.40 19.40 9.70 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-18 0.00 0.00 2.00 0.00 32.00 0.00 32.00 0.03 12.50 6.50 1.30 dm-19 0.00 0.00 0.00 2.00 0.00 12.00 12.00 0.03 13.00 6.50 1.30 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 1.00 0.00 0.00 0.00 0.11 294.00 110.00 11.00 dm-28 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.10 50.33 25.00 7.50 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.56 140.25 140.25 56.10 dm-32 0.00 0.00 0.00 6.00 0.00 32.00 10.67 0.76 125.83 125.83 75.50 dm-33 0.00 0.00 0.00 4.00 0.00 12.00 6.00 0.21 53.00 53.00 21.20 dm-34 0.00 0.00 0.00 3.00 0.00 4.00 2.67 0.40 172.33 133.33 40.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 9.00 0.00 217.00 48.22 1.09 135.33 111.00 99.90 ================================= Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 0.00 0.00 0.00 7.00 0.00 72.00 20.57 3.84 430.14 126.00 88.20 sdd 10.00 0.00 4.00 13.00 240.00 304.00 64.00 2.07 126.59 33.00 56.10 sda 0.00 1.00 1.00 11.00 16.00 320.00 56.00 0.25 20.42 8.83 10.60 sdc 0.00 0.00 2.00 7.00 32.00 96.00 28.44 0.13 14.89 13.78 12.40 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 18.00 17.00 288.00 416.00 40.23 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 13.00 0.00 208.00 0.00 32.00 3.66 281.85 21.69 28.20 dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 5.00 0.00 92.00 36.80 1.84 179.40 189.80 94.90 dm-8 0.00 0.00 0.00 1.00 0.00 4.00 8.00 1.00 655.00 1000.00 100.00 dm-9 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 1.00 0.00 0.00 0.00 1.44 1512.00 1000.00 100.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.56 6.00 187.67 56.30 dm-18 0.00 0.00 5.00 0.00 80.00 0.00 32.00 0.37 73.40 71.40 35.70 dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.44 0.00 0.00 43.80 dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-32 0.00 0.00 0.00 1.00 0.00 4.00 8.00 0.00 1.00 1.00 0.10 dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 7.00 0.00 300.00 85.71 2.00 101.00 142.86 100.00 ================================= Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sdb 1.00 1.00 1.00 47.00 48.00 676.00 30.17 1.47 30.62 11.65 55.90 sdd 1.00 0.00 9.00 88.00 176.00 395.00 11.77 0.83 8.59 5.12 49.70 sda 0.00 0.00 0.00 50.00 0.00 541.50 21.66 0.83 16.54 11.22 56.10 sdc 1.00 0.00 6.00 87.00 112.00 533.50 13.88 0.87 9.42 4.37 40.60 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 21.00 116.00 336.00 991.00 19.37 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-3 0.00 0.00 4.00 0.00 64.00 0.00 32.00 0.00 0.00 0.00 0.00 dm-4 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-5 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-6 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-7 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-8 0.00 0.00 0.00 82.00 0.00 848.00 20.68 1.46 17.93 6.29 51.60 dm-9 0.00 0.00 0.00 3.00 0.00 16.00 10.67 0.03 11.33 11.33 3.40 dm-10 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-11 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-12 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-13 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-14 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-15 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-18 0.00 0.00 17.00 0.00 272.00 0.00 32.00 0.49 28.59 10.35 17.60 dm-19 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-21 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-22 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-23 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-24 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-25 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-26 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-27 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-28 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-29 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-30 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-31 0.00 0.00 0.00 5.00 0.00 16.00 6.40 0.13 26.00 26.00 13.00 dm-32 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-33 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-34 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-35 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-36 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-37 0.00 0.00 0.00 27.00 0.00 111.00 8.22 1.15 42.41 37.00 99.90 

Otro ejemplo :

La import de un file SQL de 2MB tarda 15+ minutos al hacer esto en una máquina virtual aleatoria. La E / S para ese LV va demasiado 100% hasta que esté terminado. Sólo tendrá un par de escrituras / seg, y sólo unos pocos KB / s de E / S.

Incluso con estas cargas, las velocidades de escritura con dd son alnetworkingedor de 80MB / sa 160MB / s. Pero las lecturas son horribles, y la mayoría de las veces no supera los 10MB / s.

Así es como se ven mis configuraciones RAID. Este cuadro se ejecuta en el layout "o2", pero no muestra ninguna diferencia con el layout pnetworkingeterminado "n2".

 # cat /proc/mdstat Personalities : [raid10] [raid1] md3 : active raid10 sdb5[4] sdc5[2] sdd5[3] sda5[0] 3872954368 blocks super 1.2 512K chunks 2 offset-copies [4/4] [UUUU] md0 : active raid1 sdb1[4] sdc1[2] sdd1[3] sda1[0] 255988 blocks super 1.0 [4/4] [UUUU] md2 : active raid10 sdb2[1] sdc2[2] sda2[0] sdd2[3] 31454208 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU] bitmap: 1/1 pages [4KB], 65536KB chunk md1 : active raid10 sdb3[4] sda3[0] sdc3[2] sdd3[3] 2096128 blocks super 1.1 512K chunks 2 near-copies [4/4] [UUUU] 

Así es como los discos individuales (sda por ejemplo) y LV's son particionados por cada VM. Debería estar bien para los discos de 4K.

 Disk /dev/sda: 2000.4 GB, 2000398934016 bytes 255 heads, 63 sectors/track, 243201 cylinders, total 3907029168 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 4096 bytes / 4096 bytes Disk identifier: 0x000648b7 Device Boot Start End Blocks Id System /dev/sda1 * 2048 514047 256000 fd Linux raid autodetect Partition 1 does not end on cylinder boundary. /dev/sda2 514048 31971327 15728640 fd Linux raid autodetect /dev/sda3 31971328 34068479 1048576 fd Linux raid autodetect /dev/sda4 34068480 3907029167 1936480344 5 Extended /dev/sda5 34070528 3907028991 1936479232 fd Linux raid autodetect Disk /dev/mapper/raid10storage-kvm396_img: 75.2 GB, 75161927680 bytes 255 heads, 63 sectors/track, 9137 cylinders, total 146800640 sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 4096 bytes I/O size (minimum/optimal): 524288 bytes / 2097152 bytes Disk identifier: 0x000a613c Device Boot Start End Blocks Id System /dev/mapper/raid10storage-kvm396_imgp1 * 2048 145752063 72875008 83 Linux /dev/mapper/raid10storage-kvm396_imgp2 145752064 146800639 524288 82 Linux swap / Solaris 

Estoy utilizando VirtIO en todas las VirtIO y el caching se establece en "none" . Probado diferentes ajustes de caching, pero que resultó en incluso worser performance.

Tengo algunos otros serveres en ejecución para configuraciones smapper (less VM's), pero con el mismo tipo de discos en RAID-1 (2 discos) sin ningún problema.

Esto realmente parece estar relacionado con las configuraciones RAID-10 .

Actualmente tengo 4 de estas cajas RAID10 en uso, y todas con diferentes configuraciones de CPU y placa base. Pero todos estos tienen el mismo problema de performance horrible.

¿Alguien tiene una idea o teoría que podría explicar por qué esta configuration se realiza tan horrible lento?

En realidad es ahora viable como esto, y es bastante frustrante que todavía no he encontrado la causa después de 1 año … 🙁


EDIT – especificaciones del server y uso de la CPU:

Todas estas cajas tienen diferentes CPU, pero aquí algunas de las configuraciones:

  • Xeon E3-1240v2, 32 GB DDR3 ECC, SuperMicro X9SCM-F
  • Intel Core i7 2600, 32GB DDR3, Intel DQ67OW
  • Intel Core i7 3820, 32GB DDR3, Intel DX79TO

Y aquí una salida de top , con un LV @ 100% util y unos pocos rebotando entre 30% y 60%.

El promedio de carga es bastante bajo en este momento, pero es bastante normal verlos entre 10.00 a 30.00 dependiendo de cuánto LV tiene 100% carga de E / S.

Las CPU no están realmente cargadas, y siempre hay al less un 30% de inactividad.

 top - 02:26:21 up 8 days, 11:34, 2 users, load average: 3.48, 3.99, 3.83 Tasks: 244 total, 2 running, 242 sleeping, 0 stopped, 0 zombie Cpu(s): 15.3%us, 9.7%sy, 0.0%ni, 62.8%id, 11.4%wa, 0.0%hi, 0.8%si, 0.0%st Mem: 33001640k total, 23715816k used, 9285824k free, 10740k buffers Swap: 2096124k total, 0k used, 2096124k free, 1159788k cached 

El %wa carga es en algunos momentos incluso el 50%, pero que por lo general sólo ocurre con 5 o más LV tocando el 100% util continuamente.

Incluso con 5 o más LV funcionando @ 100%, no hay ningún disco SATA que realmente tiene un 90% + carga. Todos ellos tienen utilización en el área del 40% al 60%.

——————————-

EDIT 2, 18-feb-2014;

Hoy decidí build otro nodo VPS para hacer más testings. Este sistema utiliza la misma configuration (panel de control KVM + SolusVM) que todos los demás. Esta configuration de testing utiliza el siguiente hardware:

 Intel Core i7 2600 32GB memory 4x WD Black 1.5TB (WD1502FAEX), 7200rpm, 64MB cache, SATA600 2x Samsung 830 Pro 128GB SSD's So basically a completely different storage layer. 

Sistema operativo: CentOS 6.5 + todas las actualizaciones recientes. Almacenar el kernel del kernel, pero probado el kernel del mainline (3.13) más último también que no cambió el funcionamiento.

Creó una matriz RAID-10 (disposition n2, trozos 512K, configuration de stock con maps de bits) en las unidades WD Black. Se ha creado una matriz RAID-0 en las unidades SSD que será utilizada por flashcache. Esta configuration se configura de la forma en que todas las E / S LVM pasan a través de la memory flash (como caching de escritura). Tanto la unidad SATA y SSD están teniendo los sectores de la vieja escuela 512, por lo que no hay formatting extendido. Elegí estos discos, sólo para ver si había diferencia entre estos y formattings extendidos que uso la mayoría del time. Pero los he particionado como unidades 4K.

Empecé con algunas testings en el nodo de host. Creé un volumen en blanco de LV. Mientras hacía algunos benchmarks de lectura con DD, tenía estos resultados de lectura en el host:

  • Descubierto ~ 390MB / s leer
  • SSD En caching ~ 950MB / s de lectura (segunda ejecución, cuando los datos son almacenados en caching por flashcache)

Bueno, estos resultados se ven muy bien!

Ahora las mismas testings, pero en una VM con 4GB de memory, VirtIO y 'cache = none'. He arrancado un DVD en vivo de Ubuntu, e hizo las mismas testings …. esto con resultados horribles:

  • Uncached ~ 90MB / s leer
  • SSD En caching ~ 90MB / s de lectura (segunda ejecución, cuando los datos son almacenados en caching por flashcache)

Durante la testing, el dispositivo "dm-x" (LV de la VM de testing) se cargó hasta el 95% +, mientras que los discos de discos SATA individuales no superaron el 35%. Lo mismo para los SSD. Ningún dispositivo superó el 50% de utilidad en ningún momento.

Aquí está una salida de la carga más alta que he mencionado para conseguir en esta disposition. Esto fue durante la testing uncached (que explica las escrituras en los SSD):

 Device: rrqm/s wrqm/sr/sw/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 0.00 0.00 361.00 2547.00 1444.00 10188.00 8.00 0.62 0.21 0.03 8.90 sdc 992.00 1.00 246.00 7.00 4932.00 14.50 39.10 0.87 3.43 2.16 54.60 sdb 0.00 0.00 303.00 1754.00 1212.00 7016.00 8.00 0.41 0.20 0.03 5.80 sdd 825.00 1.00 173.00 7.00 3992.00 14.50 44.52 0.60 3.34 2.56 46.00 sde 866.00 25.00 229.00 11.00 4404.00 130.00 37.78 0.85 3.50 2.23 53.40 sdf 771.00 25.00 163.00 11.00 3736.00 130.00 44.44 0.65 3.72 2.98 51.80 md2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md3 0.00 0.00 663.00 4301.00 2652.00 17204.00 8.00 0.00 0.00 0.00 0.00 md0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 md4 0.00 0.00 4266.00 36.00 17064.00 140.50 8.00 0.00 0.00 0.00 0.00 dm-0 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60 dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 dm-2 0.00 0.00 4929.00 36.00 19716.00 140.50 8.00 14.56 2.92 0.20 99.60 

(dm-0 es flashcache, dm-2 el invitado)

Para asegurarse de que la capa de flashcache no destruye todo el performance, he hecho las mismas testings de nuevo con flashcache (dm-0) deshabilitado y tenía casi el mismo horrible 90-100MB / s performance dentro del invitado.

Así que por alguna razón, todo el performance se ha ido dentro de invitado. Conseguí estos resultados en un huésped de Windows y de Linux. Todo el uso de VirtIO y caching establece en ninguno. Cuando se utiliza IDE, las prestaciones disminuyen aún más.

En realidad, un solo disco o configuration RAID1 con la misma configuration de flashcache funciona mucho mejor que todas las configuraciones de MDADM RAID-10 @ KVM que he usado hasta ahora. MDADM RAID-10 funciona muy bien en el host, pero dentro del huésped es horrible.

Ahora mismo estoy construyendo una nueva matriz de raid-10, pero con el layout de offset. Pero no esperaría un mejor performance, ya que la unidad RAID en sí no está completamente cargada, sino que es sólo los volúmenes individuales de "dm-x" LV que están viendo 100% util.

Todavía no puedo creer por qué las configuraciones RAID-10 + LVM + KVM son horribles lento: (Muy frustrante.

One Solution collect form web for “Rendimiento de disco muy bajo en el nodo KVM – mdadm raid10”

Usted nos dio absolutamente ningún detalle sobre cómo usar LVM en su configuration. Si su edición está en lee, sus podrían ser dos orígenes.

En primer lugar, compruebe si no está utilizando instantáneas LVM, ya que pueden (a largo ploop) drásticamente ralentizar IO a medida que crecen.

En segundo lugar, su parte superior afirma que su hipervisor sólo está utilizando 1G de RAM para las cachings IO, que no es realmente mucho, aunque todavía tiene 10G de RAM completamente libre. Esto sugiere que modificó los parameters del kernel con respecto a los cachings y quizás ha empeorado las actuaciones mientras trataba de mejorar las cosas. Como ejemplo, aquí está el uso de memory (MB) de uno de mis hipervisores corriendo 24 VMs con KVM:

  total used free shanetworking buffers cached Mem: 129153 109117 20036 0 588 26664 -/+ buffers/cache: 81865 47288 Swap: 4095 0 4095 

Como puede ver, las cachings IO utilizan la mitad de la RAM libre.

  • RAID 10 grande y pequeño RAID1
  • ¿Cómo LSI MegaRAID realmente establecer sets RAID10?
  • ¿Puede Windows 7 hacer el software RAID 10 (1 + 0)
  • linux software raid10, máquinas idénticas, resultados tremendamente diferentes
  • ¿Por qué es necesario inicializar un dispositivo de raid 10?
  • ¿Se puede transferir una matriz RAID 10 de una caja de Windows a una caja Synology (u otra)?
  • Dispositivo en RAID de software array 10: limpio, degradado. ¿Ay?
  • Cómo mover RAID 1 a RAID 1 + 0
  • Problema de integridad de datos RAID
  • ¿Por qué los controlleres RAID empresariales no admiten la migration de RAID 5 a RAID 10?
  • mdadm: Convierte RAID10 a RAID1
  • RAID10 degradado Array?
  • Linux RAID 10 array de software, unidad fallida, cambiar el tamaño del sistema de files y migrar a una unidad RAID 1?
  • El linux y los temas del servidor de Windows, como ubuntu, centos, apache, nginx, debian y consejos de red.