Mejora del performance de RAID

Acabo de instalar un LSI 9260-i8, utilizando dos unidades virtuales, la primera compuesto de 4 SSDs, el segundo de 4 HDDs. Obviamente, la idea es get un mejor performance mientras se mantiene algo de security y mucha capacidad de almacenamiento.

Los SSD son grandes y ese arreglo es ridículamente rápido cuando se trata de files pequeños o relativamente grandes. Los HDD alojan principalmente files enormes (500MB-30GB). Se pretende que una de las principales instalaciones de almacenamiento a largo ploop, mientras que la matriz SSD es para los files de operación y de almacenamiento a corto ploop. Esto significa que con mucha frecuencia los files se moverán de la matriz SSD a la matriz HDD.

El problema es que el performance disminuye muy rápidamente después de que el primer concierto o más de una gran operación se escribe. Comienza en unos 250 MB / s, lo que no es medio mal performance de escritura para una matriz RAID 5 de sólo 5 HDDS, pero la copy que acabo de hacer, que consta de 4 files de 12 GB, disminuyó gradualmente a un mínimo de 35MB / s.

Ahora supongo que el consejo de uno dependería de un montón de metainfo, así que aquí va:

  • La tarjeta LSI no tiene una BBU (todavía) por lo que la retroactividad está desactivada.
  • Los HDD son unidades WD15EARS 2TB. Obviamente estos no son los discos duros más rápidos por ahí, pero un consistente 200MB / s no es demasiado pedir, creo.
  • Los SSD son OCZ Vertex 2 unidades de 60GB.
  • No creo que sea relevante, pero los HDD tienen el time de rotation hacia arriba aumentado a 5 minutos en lugar de los 8 segundos normales
  • Las unidades se muestran saludables en Storage Manager, no hay errores de nota en los loggings
  • Como he dicho, los SDDs son muy rápidos, con una velocidad de lectura de hasta 1100MB / s, por lo que no parece ser el cuello de botella.
  • La copy parece pausar, funcionará rápidamente, parará, funcionará rápidamente otra vez para cerca de 500MB, etc etc, dando por resultado una velocidad más baja global.
  • Al crear la matriz de HDD, utilicé un tamaño de tira de 512Kb. Eso es enorme, pero estoy esperando solo files grandes a enormes en esa matriz. Preferiría no cambiar eso ahora tampoco, ya que destruiría los datos existentes y no tengo una copy de security (todavía)
  • El sistema operativo es Ubuntu 10.04 (64bit)
  • Placa madre Asus WS Revolution (es una estación de trabajo), 24GB de ECC RAM, Xeon W3570 en stock 3.2GHz
  • La tarjeta LSI se inserta en la primera ranura PCIe (para evitar la latencia introducida por NF200)
  • El sistema es por lo demás perfectamente estable
  • HDD array se formateó usando "mkfs.ext4 -b 4096 -E stride = 128, stripe-width = 384 -L" DATA "/ dev / sdb"
  • fstab no incluye data = writeback, ni noaccess, aunque no creo que deba ser un problema que influya en files grandes

Cualquiera y todos los consejos son apreciados.

3 Solutions collect form web for “Mejora del performance de RAID”

Creo que "La tarjeta LSI no tiene un BBU (todavía) por lo que la retroactividad está desactivada" es el cuello de botella.

Si tiene UPS, habilite el Write-Back.

Si no, trate de get el BBU.

Si no puede – puede arriesgar la coinheritance de los datos en la unidad virtual al perder los datos almacenados en caching en caso de aumento de potencia si habilita Write-Back o se adhiere a estas velocidades mediante write by cache.

Incluso si usted alinea la partición al volumen lógico (que normalmente es hecho automáticamente por la mayoría de los sistemas operativos modernos) y formatea el volumen con un tamaño optimizado de clúster / bloque lo suficientemente grande (creo que debería ser de 2mb en su caso) procesar la única request de IO no creo que se logre una gran diferencia de performance de escritura.

Debido a que el performance de escritura de la RAID5 es muy overhead process. Y ya que es escribir a través del procesador XOR no tienen todos los datos en caching para realizar los cálculos de paridad en time real creo

Con la memory caching activada de Write-Back en 4x320gb hdds 515kb tamaño especificado RAID 5 obtengo una velocidad media de 250-350 MB / s escribiendo files secuenciales grandes o 150 MB / s promedio copyndo files grandes dentro del volumen virtual. (todavía no tengo BBU pero tengo y viejo apc 700VA smart ups por lo que creo que es suficiente para minimizar las sobretensiones de energía y la pérdida de caching eventual a mucho)

¿Estamos discutiendo 100% random, 100% secuencial o algún patrón mixto? Estoy experimentando sobre todo velocidades altas cuando leo, escribo o copio files grandes encendido / de / a mi arsenal. Por otra parte, como ya se ha dicho, las escrituras aleatorias (lecturas) son mucho más bajas variando de less de 1 mb / s hasta 190 mb / s velocidades medias dependiendo del tamaño de los files y / o tamaños de las requestes. Sobre todo bajo la gama de 20mb / s en usos pequeños del tamaño / del file diarios. Así que depende mucho de las aplicaciones en las transferencias random de la vida real. Como estoy usando el sistema operativo Windows OS mis volúmenes son bastante mush como des-fragmentado y para grandes files grandes operaciones como copyr de / a son bastante rápidos

Y una sugerencia como una solución a la lenta lectura / escritura de velocidades aleatorias de hdds normales – si llegas al punto de reconfigurar toda tu configuration de controller por qué no considerar CacheCade con uno o dos SSDs para no dependen de energía raid cache (algo así como las raquetas híbridas adaptec) y el rest para su sistema operativo / unidad de la aplicación, ya que los está utilizando ahora? De esta manera usted debe ser capaz de boost la velocidad de su raid 5 volumen, incluso con escribir a través de pensar, porque la escritura real a los hdds físicos debe tener lugar en el background y como usted está utilizando escribir a través de la memory caching (no a bordo del controller de caching) y las ssds como caching en su lugar creo que debe estar libre de preocupaciones de los reinicios del sistema. Pero para get información real y concreta sobre cómo funciona la caching, por favor lea la documentation de lsi e incluso pida el soporte técnico de LSI ya que no he tenido la oportunidad de usarlo todavía.

TomTom ya lo ha respondido esencialmente, pero un poco más de context para la respuesta podría ser útil.

Está utilizando RAID 5. RAID 5 tiene problemas de performance bien conocidos al escribir datos.

Para cada banda RAID 5 hay un bloque de datos de paridad, y los bloques de datos de paridad se distribuyen sobre todos los discos de una manera round-robin. Para cada escritura en una matriz RAID 5, el controller necesita recalcular la información de paridad y, a continuación, escribir el nuevo bloque de paridad en el disco. Una cita de aquí ilustra esto (con respecto a una actualización de franja parcial, pero el mismo principio se aplica):

Si modifica […] el bloque de datos, recalcula la paridad restando el bloque antiguo y añadiendo la nueva. Entonces en dos operaciones separadas escribe el bloque de datos seguido por el nuevo bloque de paridad. Para ello, primero debe leer el bloque de paridad de cualquier unidad que contenga la paridad para ese bloque de rayas y releer los datos no modificados para el bloque actualizado de la unidad original. Esta lectura-lectura-escritura-escritura se conoce como la pena de escritura RAID5 ya que estas dos escrituras son secuenciales y síncronas la llamada al sistema de escritura no puede regresar hasta la lectura y ambas escrituras […] completas,

Alnetworkingedor de 35 MB / s suena a la derecha para un único disco duro SATA haciendo un buen poco de más o less de E / S aleatorias debido a las bandas RAID 5, y el mundo real RAID 5 velocidades de escritura son generalmente ~ 1 performance de disco para matrices más pequeñas. Así que es más o less performance esperado; que copy más rápido al principio es probablemente el almacenamiento en caching del sistema operativo en juego.

Obtener una unidad de copy de security de la batería y habilitar el almacenamiento en caching de escritura no es una solución completa. Escribes que copys a menudo files grandes (> 1 GB). El almacenamiento en caching de escritura BBU + ayuda tremendamente con escrituras de file pequeñas aleatorias, pero less con grandes escrituras secuenciales (porque el buffer del controller se llena).

Si desea tener un buen performance de escritura, la respuesta es generalmente RAID 10 .

Y por último, cuando crea sus particiones, debe asegurarse de que los límites de la partición se alineen con los límites de la franja de la matriz.

Hmpf. Algunos conceptos básicos.

Comienza en alnetworkingedor de 250MB / s, que no es la mitad de mal performance de escritura de una matriz RAID 5 de sólo 5 HDDS

Comprobación de la realidad: La velocidad de escritura de cualquier RAID 5 es lenta, limitada a la velocidad del wirte de UN DISCO. 3, 5, 15 sics no hace diferencia en las escrituras.

Los HDD son unidades WD15EARS 2TB. Obviamente estos no son los discos duros más rápidos por ahí, pero un consistente 200MB / s no es demasiado pedir, creo.

Comprobación de la realidad: es demasiado alta para un disco de usuario final en una situación de E / S aleatoria, y eso es lo que demuestras. Incluso 200mb RAW es demasiado alto. Pero si agregas todas las operaciones que necesitas para una Raid 45 (ver Wikipedia) es cómico pedirlo. ¿Quieres velocidad? Obtenga discos FAST y pase a un RAID 10.

No creo que sea relevante, pero los HDD tienen el time de rotation hacia arriba aumentado a 5 minutos en lugar de los 8 segundos normales

¿Tiempo de rotation de 8 segundos para un HDD? ¿De dónde diablos sacaste ese número? Eso es demasiado lento, demasiado malo .. Spin up debe evitarse cuando más operaciones ocurren en un corto período de time – hablamos minutos. 5 minutos es demasiado bajo. 8 segundos es suicida.

Al final del día usted espera mucho de poco – usted consiguió barato en el RAID 5, y nunca hizo ninguna comprobación de la realidad. Los numbers están bien.

Cosas a hacer:

  • ¿Las unidades son compatibles con NCQ? ¿Se utiliza?
  • ¿Qué tan caro es un BBU? Bastante moviéndose para escribir de nuevo en vez de escribir a través puede hacer un improviso de HUGH. En este momento no son optimizables en los patrones de E / S para escrituras, porque nada entre ellos puede almacenar en caching.

Además de eso, conseguir discos FASTER y alejarse de RAID 5 son sus únicas opciones. Hacer algunas comprobaciones de matemáticas de arranque primero también le ayudará – prácticamente su asunción qué velocidad debe tener es terriblemente apagado.

  • Cómo supervisar las temperaturas del disco duro en HW RAID
  • Mejora de los controlleres de disco duro y RAID de software
  • Controlador HP DL360 G5 RAID que no reconoce los compartimentos de unidades 5 y 6
  • Ajuste del performance del server de files de Windows
  • De Raid-1 a Raid-5
  • Lectura de unidades MDADM después de la muerte del server
  • ¿Qué es mejor LVM en RAID o RAID en LVM?
  • Redimensionar partición RAID con layout de partición GPT, sin LVM
  • RAID5 Bad Superblock, no arranca a OS
  • Únete a varios filesystems (en varios equipos) en un gran volumen
  • Piscina de almacenamiento de serveres de files de Linux
  • Datacenter roba datos del server raid 1
  • ¿Cuáles son los pros y los contras de 4xSSD (512Gig) en un RAID10 vs 2xSSD (1 TB) sin RAID?
  • El linux y los temas del servidor de Windows, como ubuntu, centos, apache, nginx, debian y consejos de red.