Servicios de Storage en AWS

Estos son algunos de los servicios que debes considerar cuando buscas bloques, archivos y almacenamiento.

BLOCK STORAGE: Es un almacenamiento que es crudo y estos bloques de arreglos, por ejemplo, el almacenamiento SAN. (ELASTIC BLOCK STORAGE) EBS

FILE STORAGE: Es el almacenamiento en bloques administrado (AMAZON ELASTIC FYLE SYSTEM) EFS administrado por alguien

OBJETO STORAGE:  Se almacenan objetos BLOBS (binary long objets) el cual son archivos binarios grandes. Son ideales para archivos grandes 4gb o más. Amazon S3 proporciona esta caracteriza. Esto se pueden usar como los backups, Imágenes de alta resolución y es almacenado para el análisis.

• Amazon EBS para el almacenamiento de bloques: almacenamiento de alto rendimiento: como bases de datos
• Amazon EFS y Amazon FSx para el almacenamiento de archivos: almaceniento administrado la un file system de windows
• Amazon S3 y Amazon S3 Glacier para el almacenamiento de objetos: almacenamiento de objetos como respaldos, imágenes de alta resolución que sirve para el procesado en el data ware house, analsis y archivo de datos.

Amazon S3 (simple storage service), este es un tipo de almacenamiento de larga duración.

Este almacenamiento no requiere que se guarde en folders, un objeto puede incluir metadatos y un numero único de identificador.

Está diseñado para ofrecer 99.999999999% o (9 11s) de durabilidad de los objetos. Puedes acceder atreves de la interfaz web o AWS managment consolé.

• Acelere la innovación: integre depósitos S3 como soluciones de almacenamiento para archivos estáticos y confíe menos en los sistemas de archivos tradicionales.
  • Aumente la agilidad: con el almacenamiento de objetos alojados, no necesitará expandir su almacenamiento a medida que crece la cantidad y el tamaño de los datos. Los objetos individuales no pueden tener más de 5 TB; sin embargo, puede almacenar tantos datos totales como necesite.
  • Reduzca los costos: use la variedad de niveles de almacenamiento en Amazon S3 para gastar menos en datos a los que se accede con poca frecuencia. Archive datos en Amazon S3 para sus necesidades de almacenamiento a largo plazo.
  • Refuerce la seguridad: almacene sus datos en Amazon S3 y protéjalos del acceso no autorizado con funciones de cifrado y herramientas de administración de acceso. Amazon S3 mantiene programas de cumplimiento, como los estándares de seguridad de datos de la industria de tarjetas de pago (PCI-DSS), HIPAA/HITECH, FedRAMP, la Directiva de protección de datos de la UE y FISMA. Estos programas de cumplimiento lo ayudan a cumplir con los requisitos reglamentarios.

Amazon proporciona almacenamiento de bloques de objetos grandes algunos casos de uso:

• Backup and restore
• Data Lake for analytics
• Media Storage and streaming
• Static websites
• Archivement and complice

Amazon s3 guarda los objetos en buckets, al subir un archivo se almacena en un bucket. El bucket es el nombre de tu espacio público y único que contienen prefijos y el nombre del archivo.

Puedes añadir permisos de quien quieres que tenga permisos a los objetos del bucket.      Puedes personalizar quien crea, elimina y enlista los objetos del bucket. Se pueden crear 100 en cada cuenta de AWS.

Los objetos de los buckets regularmente están asociados con otros servicios, tienen ciclos de vida y están privados. Solo un propietario de AWS puede tener acceso a los recursos. Y estos recursos pueden ser otorgados para dar permisos a otros usuarios escribiendo políticas de acceso.

Puedes crear el bucket público y limitar quien puede tener acceso, pero no se recomienda hacer públicos los buckets. Con el bloqueo de acceso al público se puede prevenir el acceso y exponer los datos.

Puedes crear políticas para otorgar permisos a S3, los buckets policies son recursos basados en políticas.  Es un acceso de control basado en políticas como las IAM, S3 bucket policies, y SPCs.

Estas policías de bucket se escriben en un formato JSON. Con este puedes añadir o eliminar permisos.

El acceso público a los s3 es otorgado por los ACLs, buckets pólices o ambos. Para evitar el acceso al público deberás habilitar la opción block all Access public a nivel de la cuenta.

Cada punto de acceso tiene:

• Un único nombre de dominio DNS y ARN amazon resource name
• Distintos permisos y controles de red.

Amazon S3 administra y simplifica el acceso de los datos y comparten conjutos de datos de amazon s3

El Access point son nombrados puntos finales de red para realizar operaciones de los objetos, como obtener o enviar objetos. Cada punto de acceso tiene diferentes permisos en la red.

Esto le permite tener acceso solo algunos puntos de acceso a los equipos. Los puntos de acceso se usan para realizar operaciones a los objetos tu no puedes realizar con los puntos de acceso otras operaciones, como modificar o eliminar los buckets.

Las llaves criptográficas son utilizadas para encriptar los datos, Amazon ofrece 3 opciones para encriptar:

Cifrado del lado del servidor (SSE) con claves administradas por Amazon S3 (SSE-S3): cuando utiliza SSE-S3, cada objeto se cifra con una clave única. Como medida de seguridad adicional, cifra la propia clave con una clave principal que rota periódicamente. El cifrado del lado del servidor de Amazon S3 utiliza el estándar de cifrado avanzado (AES-256) de 256 bits para cifrar sus datos.

• Cifrado del lado del servidor con claves de AWS KMS almacenadas en AWS Key Management Service (AWS KMS) (SSE-KMS): las claves de KMS almacenadas en SSE-KMS son similares a SSE-S3, pero con algunos beneficios y cargos adicionales. Hay

permisos separados para el uso de una clave KMS que brinda protección adicional contra el acceso no autorizado a sus objetos en Amazon S3. SSE-KMS también le proporciona un seguimiento de auditoría que muestra cuándo se usó su clave KMS y quién la usó.

• Cifrado del lado del servidor con claves proporcionadas por el cliente (SSE-C): con SSE-C, usted administra las claves de cifrado y Amazon S3 administra el cifrado a medida que escribe en los discos. Además, Amazon S3 administra el descifrado cuando accede a sus objetos.

Cada almacenamiento de objeto está asociado con alta disponibilidad de 99.9999999% cada clase tiene diferentes casos de uso.

S3 Intelligent Tiering: proporciona cambios en los patrones para determinar a qué clase mandar los objetos, esto es una buena opción para optimizar costos. Automatiza la clase de los objetos moviéndolos de clase.

S3 Outposts: el s3 outpost entrega almacenamiento a la infraestructura On-Premises.

Este es un servicio de costo extremadamente bajo y te proporciona soluciones de almacenamiento flexible, su propósito es el archivado de datos. Tienen 3 opciones de almacenamiento que te ayudan a optimizar tu costo.

Los datos en reposo son encriptados, la suite de estos productos ofrecen características, audición de logs, y costo de administración. Los productos de s3 glacier pueden escarlar de gigabites a hexabites para los datos.

Los objetos de Amazon s3 usan versiones en los objetos, esto significa que puedes recuperar objetos que fueron eliminados de forma accidental.

Cuando la versión del s3 esta encendida puedes restaurar la versión del mismo objeto.

Puedes usar S3 Object Look para bloquear objetos o retenerlos (esto debido a políticas legales).

Las políticas de ciclo de vida de los objetos pueden mover objetos basados en los años. Debes automatizar esta función. Puedes aplicar el ciclo de vida durante la clase de los almacenamientos.

Con Amazon s3, los clientes tienen una alta disponibilidad y larga duración de los objetos de sus datos en cada región.

Los datos que están almacenados en múltiples zonas, mínimo (3) . Los datos están almacenados en la misma región. Muchos clientes eligen almacenar sus datos de negocio y aplicaciones críticos. S3 one-zone: almacena los datos en una sola zona de servicio.

La replicación puede ayudarte a las siguientes tareas:

• Puedes replicar los datos mientras retienes los metadatos
• Replicas objetos dentro de 3 clases de almacenamiento
• Mantienes copias de los objetos en diferentes propietarios.
• Puedes tener almacenados los objetos en múltiples objetos

Si tus cumplimientos requieren tener múltiples replicas en diferentes regiones puedes usar cross-multiple regiones. Opcionalmente puedes cambiar la propiedad de destino de los objetos.  También puedes restringir el acceso al objeto de replicas.

• Puedes subir el objeto en partes.
• Recuperar rápidamente problemas de conectividad en la red.
• Pausa y resume la subida de los objetos
• Puedes subir un archivo asi como lo estas creando (videostreaming) hasta de 5tb.

Amazon S3 Transfer Acceleration: Usa la aceleración de zonas Edge locations para facilitar la transferencia a los s3 dentro de un bucket.

Puedes usar la aceleración cuando:

Tienes clientes sobre el mundo que suben objetos a un bucket centralizado

Transfieres gigabytes o terabytes a múltiples datos atreves de los contenientes.

Usa la conexión a internet para subir archivos y sobre utilizas tu conexión a internet.

Puedes recibir notificaciones con ciertos objetos de lo que a pasado en tu bucket. Esto funciona para que estes notificado de lo que ha pasado con ciertos objetos.

Las notificaciones de eventos pueden ser mensajes de los siguientes destinos:

1. Amazon Simple Notification Service (SNS)
2. Amazon Simple Queue Service (SQS)
3. Amazon Lambda

Cuando subes una imagen JPGE, se lanza una función a lambda que le permite reducir el tamaño, ya que esta función este programa en lambda

Los costos son una parte importe a la hora de elegir una solución de Almacenamiento s3.

Se tienen que tomar en cuenta algunos factores para considerar:

• Storage: tiempo de duración, rango de tamaño.
• Requests and retrievals: Número de peticiones por apis
• Data transfer
• Managment and analytics

S3 Replication y S3 Versioning pueden tener un alto impacto en los costos de facturación.

¿Como haces para que múltiples instancias tengan un mismo file system?

Amazon EBS (elastic block storage) o FSx Son ideales para estas tareas. Entoces podras usar componentes de esta solución. Soporta hasta 16 instancias de Linux.

EBS: se adjunta a una instancia.

EFS y FSx: se adjuntan a múltiples instancias.

Cloud File Storage: esta opción es administrada y reduce costos etc.