MogileFS / GlusterFS / etc + Amazon EBS + Amazon EC2

Tengo una aplicación web que sirve files binarys (imágenes, etc). Nuestra aplicación se ejecuta en Amazon EC2 . Originalmente íbamos a utilizar Amazon S3 para almacenar y servir estos files, esto ya no es una opción.

Necesitamos transferir estos files a través de HTTPS usando un CNAME . Esto es obviamente imposible con Amazon S3 por muchas razones técnicas. Amazon ofrece Elastic Block Storage (EBS) que le permite montar un bloque de hasta 1 TB de tamaño a una instancia. Tendremos varias instancias accediendo a estos datos en paralelo.

Lo que estaba pensando es usar un sistema de files distribuido como MogileFS / GluserFS / [insert-more-here] con Elastic Block Storage (EBS) .

Así que mi pregunta es: ¿Qué otros están haciendo actualmente para crear un escalable (unos 100TBs) sistema de almacenamiento de files sobre Amazon EC2 sin utilizar Amazon S3 thats networkingundante? Los datos seguirán siendo respaldados en Amazon S3, pero todas las lecturas estarían fuera del sistema de files.

Gracias de antemano. Si alguien necesita aclaraciones sobre cualquier cosa por favor no dude en preguntar.

4 Solutions collect form web for “MogileFS / GlusterFS / etc + Amazon EBS + Amazon EC2”

En Azouk (anteriormente dominio enlazado / estacionado) no utilizamos Amazon EC2, pero usamos GlusterFS (1.4.0qa92) para servir todo el contenido como files PDF, files de usuario, miniaturas y también para análisis de datos sin connection. IMHO no debe haber ningún problema en el deployment de la misma architecture en la nube de Amazon – ya estamos utilizando fuertemente la virtualización (OpenVZ en particular). La única limitación potencial es el assembly de GFS a través de fusible (la virtualización podría prohibir esto), pero AFAIK es posible en Amazon.

Por lo tanto, recomiendo Gluster y lo siento, no puedo ayudar específicamente con Amazon 🙂

Una pregunta terriblemente vieja que repentinamente burbujeó de nuevo en la página principal … 🙂

Así que mi pregunta es: ¿Qué otros están haciendo actualmente para crear un sistema de almacenamiento de files escalable (unos 100TBs) sobre Amazon EC2 sin utilizar Amazon S3 thats networkingundante?

Nada, en AWS usaría S3 para el almacenamiento BLOB de 100 TB, cualquier otra cosa sería absurda.

Necesitamos transferir estos files a través de HTTPS usando un CNAME. Esto es obviamente imposible con Amazon S3 por muchas razones técnicas.

Es cierto, pero es posible por otros medios.

Dado que necesita el acceso HTTPS en su propio nombre de dominio, debería configurar un par de serveres HTTPS (o proxies) en los nodos EC2, para actuar como pasarelas de encryption / desencryption SSL entre Internet y S3.

Nunca he trabajado con Apache Traffic Server (antes Inktomi), pero parece un gran ajuste para esto. De lo contrario nginx o Apache podría ser utilizado para el event handling SSL, junto con Squid o Barniz si desea el almacenamiento en caching.

En el nivel alto, la petición-respuesta se parece a esto:

Internet request via https --> (optional) Elastic Load Balancing --> EC2 instance with SSL capable HTTP proxy (fx nginx) --> plain unencrypted http to S3 

Además, necesitará una forma determinista de manejar la reescritura de URL. Fx. https://secure.yourdomain.com/<id> se vuelve a escribir en http://<bucket>.s3.amazonaws.com/<id>

Sé que Acquia ejecuta Gluster en EBS con EC2. Así que técnicamente parece funcionar.

Actualmente estoy trabajando en la construcción de un sistema de files en clúster replicado basado en Gluster 3.1 y EBS, con acceso a través del cliente FUSE.

Si usted tiene una inversión sustancial en una aplicación web que tiene un montón de llamadas de files de horneado en él, y desea actualizar a acceder a la carga de múltiples serveres de aplicaciones balanceadas y crear espacio de almacenamiento duplicado escalable sin volver a escribir todo el código de acceso a files, parece que esto es más o less su única opción simple.

No he completado el proyecto, así que no tengo un montón de comentarios sobre un resultado final. Hay un sencillo tutorial aquí

  • ¿Cómo configurar GlusterFS para una lectura de baja latencia, configuration de escritura asíncrona con un número volátil de nodos?
  • ¿Puede Apache leer el ladrillo GlusterFS directamente pero escribir en el montaje GlusterFS?
  • GlusterFS no se monta en el arranque pero se monta más tarde en Ubuntu 12.04
  • Mayor comprensión para glusterfs para la replicación
  • Google Cloud Storage Fuse vs GlusterFS, pros, contras y costos
  • ¿Son posibles los filesystems en clúster de ZFS?
  • Cliente SSL falla con GlusterFS 3.5
  • ¿Debo usar GlusterFS como grupo de almacenamiento para máquinas virtuales KVM / Xen?
  • glusterfs no puede leer el file de estado de gsyncd
  • ¿Cómo funcionan los permissions de GlusterFS en Linux?
  • ¿Cómo configurar correctamente un sistema de 2 glusterfs de nodo?
  • ¿Cómo organizar el almacenamiento de contenido multimedia como video y música?
  • no pudo get el file de volumen
  • El linux y los temas del servidor de Windows, como ubuntu, centos, apache, nginx, debian y consejos de red.