Plataformas como Quora, Imgur y Giphy. Servicios y aplicaciones como Slack, Twitch y Airbnb. Webs de noticias como Business Insider estuvieron caídas durante horas el martes. ¿El motivo? Un simple typo. S3 (Simple Storage Service) de Amazon Web Services (AWS)





Servicios como Slack, Trello, IFTTT; o webs como Quora y decenas de medios digitales más, funcionan mal o directamente están fuera de servicio debido a la caída de S3 de Amazon AWS. Este servicio está diseñado para hospedar cualquier tipo de archivo estático, como imágenes o documentos de texto (por ejemplo archivos de CSS o Javascript) y es usado por millones de webs, aplicaciones y servicios en todo el mundo.

El error de tipeo de un empleado de Amazon que causó una caída masiva de internet

Un simple error tipográfico.

El responsable del apagón, el gigante de las compras por internet Amazon, difundió un comunicado en el que reconoció que la caída fue causada por un fallo humano de uno de sus empleados.

• https://aws.amazon.com/es/message/41926/

Hoy Amazon ha revelado la causa de la caída del martes. Por supuesto, carga toda la culpa a un empleado (¿o exempleado?) que escribió mal un comando. Todo empezó cuando depuraban su sistema de facturación:

Nos gustaría darte información adicional sobre la interrupción del servicio que ocurrió en la región de Virginia del Norte (US-EAST-1) en la mañana del 28 de febrero. El equipo de Amazon Simple Storage Service (S3) estaba depurando un problema que hacía que el sistema de facturación de S3 progresara más lento de lo esperado. A las 9:37 AM PST, un miembro autorizado del equipo de S3 ejecutó un comando de un manual establecido con la intención de eliminar un pequeño número de servidores de uno de los subsistemas S3 que son utilizados por el proceso de facturación de S3. Desafortunadamente, una de las entradas del comando se ingresó incorrectamente y eliminó un conjunto de servidores más grande que el previsto. Los servidores que fueron eliminados inadvertidamente soportan otros dos subsistemas S3. Uno de estos subsistemas, el subsistema de índice, gestiona la información de metadatos y ubicación de todos los objetos S3 de la región. Este subsistema es necesario para servir todas las solicitudes GET, LIST, PUT y DELETE. El segundo subsistema, el subsistema de colocación, gestiona la asignación de nuevo almacenamiento y requiere que el subsistema de índice funcione correctamente para funcionar. El subsistema de colocación se utiliza durante las peticiones PUT para asignar almacenamiento a objetos nuevos. Eliminar una porción significativa de la capacidad hizo que cada uno de estos sistemas requiriera un reinicio completo. Mientras se estaban reiniciando estos subsistemas, S3 no pudo atender solicitudes.

¿Por qué tardaron tanto en reiniciarse? Según explica Amazon, S3 ha experimentado un crecimiento masivo en los últimos años y el proceso de reiniciar los servicios y ejecutar los controles de seguridad necesarios para validar la integridad de los metadatos “tomó más tiempo de lo esperado”.


"Un miembro autorizado del equipo de S3 [el servicio en la nube de Amazon] intentó ejecutar un comando que debía remover un pequeño número de servidores de uno de los subsistemas de S3 que es usado para el sistema de facturación", explicó la empresa.
 
"Desafortunadamente, uno de los elementos del comando fue introducido de manera incorrecta y un gran paquete de servidores fueron eliminados involuntariamente".


La compañía asegura que está implementando cambios en sus sistemas para permitir que se restablezcan más rápidamente. También ha declarado la guerra a los errores tipográficos: en el futuro, sus ingenieros ya no podrán eliminar servidores de S3 por debajo de cierto umbral de capacidad.

Fuentes:
http://es.gizmodo.com/como-un-comando-mal-escrito-por-un-ingeniero-de-amazon-1792910295
http://www.bbc.com/mundo/noticias-39155269