Tutoriales y Manuales
Entradas Mensuales
-
▼
2024
(Total:
991
)
-
▼
octubre
(Total:
48
)
- Operación Magnus incauta servidores de los infoste...
- Malware PhantomLoader se "disfraza" de antivirus
- Xiaomi 15 y 15 Pro: los dos primeros candidatos a ...
- Apple presenta Apple Intelligence y actualiza el M...
- Cómo acceder a los archivos de tu móvil Android de...
- Parrot 6.2: la distribución especializada en segur...
- Grafana Loki, el Prometheus de los registros (Logs)
- Embargo: un nuevo ransomware que despliega herrami...
- Un joven de 14 años se suicida tras enamorarse de ...
- The Internet Archive, bajo asedio: los ciberatacan...
- Gemini Live ya está disponible en español
- ARM rescinde la licencia que permite a Qualcomm di...
- Hackean una calculadora para instalarle ChatGPT
- Gestión de alertas con AlertManager de Prometheus
- Así funciona RCS, la nueva mensajería de texto que...
- El robot humanoide de Tesla presentado con el Cybe...
- TikTok sabía que niñas de 15 años se desnudaban en...
- Diferencias entre versión Home y Professional en W...
- Descubre para qué sirve el protocolo SNMP para rou...
- Netdata, monitoriza las métricas en Linux en tiemp...
- GPT-5: el nuevo modelo de OpenAI
- Las webs piratas de descarga, streaming e IPTV más...
- 'Doom' en el Bloc de Notas asombra hasta a su crea...
- Un "catastrófico" ciberataque contra la gran bibli...
- Los delincuentes ya no roban contraseñas, roban se...
- La función VoiceOver de iOS 18 puede ser empleada ...
- GIMP 3 está (casi) terminado
- Copilot llega a WhatsApp: ya puedes chatear con la...
- Microsoft aconseja que compres ordenador nuevo si ...
- Cómo instalar Prometheus y Node Exporter para visu...
- Configurar Telegraf, InfluxDB y Grafana para monit...
- Ntopng, un monitor de trafico de red avanzado
- PowerToys 0.85 añade crear tu propio menú contextu...
- Microsoft Office 2024 ya está disponible
- Telegram da las IP y números de teléfono de usuari...
- Cómo detectar y eliminar malware con MSRT, la herr...
- Logran saltarse el DRM de las impresoras HP usando...
- Amazon anuncia un nuevo tablet Fire HD 8
- ¿Qué es el bluesnarfing?
- WhatsApp dice adiós al "Escribiendo..."
- WhatsApp añade fondos y filtros a las videollamadas
- Microsoft cesa la producción de HoloLens 2 y solo ...
- Consiguen exponer la identidad de viandantes combi...
- GorillaBot, el rey de los ataques DDoS: una botnet...
- Detenido en Madrid el propietario del hosting del ...
- Cómo pueden los expertos forenses leer tus mensaje...
- Transistor comestible con un compuesto de la pasta...
- Medicat USB: herramienta gratuita multiusos de rec...
- ► septiembre (Total: 50 )
-
▼
octubre
(Total:
48
)
-
►
2023
(Total:
710
)
- ► septiembre (Total: 65 )
-
►
2022
(Total:
967
)
- ► septiembre (Total: 72 )
-
►
2021
(Total:
730
)
- ► septiembre (Total: 56 )
-
►
2020
(Total:
212
)
- ► septiembre (Total: 21 )
-
►
2019
(Total:
102
)
- ► septiembre (Total: 14 )
-
►
2017
(Total:
231
)
- ► septiembre (Total: 16 )
-
►
2016
(Total:
266
)
- ► septiembre (Total: 38 )
-
►
2015
(Total:
445
)
- ► septiembre (Total: 47 )
-
►
2014
(Total:
185
)
- ► septiembre (Total: 18 )
-
►
2013
(Total:
100
)
- ► septiembre (Total: 3 )
-
►
2011
(Total:
7
)
- ► septiembre (Total: 1 )
Blogroll
Etiquetas
Entradas populares
-
Después de ver qué es una vCPU y la diferencia entre núcleos (cores) e hilos en los procesadores, pasamos a explicar toda la nomenclatura d...
-
Un Actor de Amenazas que opera bajo el nombre de usuario Nam3L3ss ha explotado una vulnerabilidad crítica en MOVEit de 2023, un software ...
-
Si estos días vas a cualquiera de las plataformas de venta que hay en internet y buscas un USB probablemente te encuentras con no pocos con ...
Grafana Loki, el Prometheus de los registros (Logs)
Grafana Loki es un sistema de agregación de registros multi-tenant iniciado por Grafana en 2018 y liberado bajo la licencia Apache 2.0. Este sistema fue desarrollado inspirándose en Prometheus. Se utiliza principalmente con proveedores en la nube y con herramientas como Prometheus y Grafana.
Loki es similar a la pila ELK/EFK, pero es más fácil de configurar y operar con mejores funcionalidades. Loki no indexa el contenido del registro, sino que indexa marcas de tiempo y un conjunto de etiquetas para un flujo de registro. Esto hace que el índice sea más pequeño, lo que simplifica las operaciones y, a la larga, reduce el coste.
Introducción a la monitorización con Grafana y Loki
Se inspira en Prometheus pero en lugar de guardar métricas guarda mensajes de log (o de systemd-journald
). Y a diferencia de otras soluciones (como OpenSearch)
no indexa el contenido de cada mensaje sino únicamente sus metadatos
con unas etiquetas idénticas a las que se utilizan en Prometheus.
Así no se requiere mucha CPU al ingerir los datos y dado que los
datos se guardan comprimidos ocupan mucho menos espacio que al utilizar systemd-journald
(que no es que sea especialmente eficiente al utilizar el espacio de disco).
Cuando se desea consultar información Loki puede procesar con gran velocidad los datos seleccionados para presentar los resultados.
La pila estará compuesta por:
loki
que almacena de manera centralizada los logs de diferentes máquinas y permite la consulta de esos datos con LogQL.promtail
instalado en cada uno de los ordenadores que enviarán datos aloki
. Puede enviar los ficheros de registro ojournal
.grafana
para explorar y visualizar los datos.
Loki es un sistema de agregación de logs creado por GrafanaLabs, es escalable horizontalmente, puede contar con alta disponibilidad y está inspirado en Prometheus.
A menudo es comparado con el stack ELK (Elasticsearch, Logstash y Kibana), resaltando su facilidad de configuración y ahorro de costes. Éste está basado en Elasticsearch, un servicio que va mucho más allá de la agregación y búsqueda de logs. Por el contrario, Loki se centra únicamente en los logs.
Una diferencia importante es que en el caso de Loki no se está indexando el contenido de los logs, sino metadatos de los mismos en forma de labels.
Otra de las ventajas de Loki es que puede utilizar múltiples sistemas de almacenamiento, incluyendo almacenamiento de objetos. Esto hace que sea ideal para mantener grandes cantidades de log con un coste reducido al utilizar servicios como AWS S3 o Google Cloud Storage.
El stack de Loki está compuesto por varias piezas de software, siendo la principal Loki. A continuación describimos sus componentes:
- Promtail: Es el agente que se instala en las instancias de las cuales queremos obtener logs y se encarga de enviarlos al servicio de Loki. Además de enviar los logs, podemos parsearlos y modificar los labels que se han obtenido dinámicamente de las trazas. Este componente del stack no es estrictamente necesario. De hecho, si ya contamos con algún otro agente shipper de logs configurado, como por ejemplo Logstash del stack ELK, podemos utilizarlo también junto con Loki por medio de un plugin.
- Loki: Es el servicio principal que se encarga de almacenar los logs y ejecutar las queries sobre ellos. A su vez, está dividido en múltiples componentes que pueden ser configurados de forma independiente.
- Grafana: El producto estrella de Grafana Labs utilizado por multitud de proyectos, como por ejemplo PMM. Este dashboard se utiliza para lanzar las queries a Loki y visualizar los resultados.
Hemos mencionado que el servicio de Loki se divide a su vez en múltiples componentes. Estos pueden ser divididos y ejecutados independientemente, llegando a escalar horizontalmente cada uno de ellos. A este tipo de despliegue de loki se le llama modo microservicios.
Es especialmente útil cuando se está tratando con un gran volumen de datos, cuando se hace un uso intensivo del servicio a nivel de queries o en general cuando se requiere tener control sobre alguno de los componentes.
Este modo aumenta notablemente la complejidad de la configuración, pero es el que ofrece un mayor rendimiento. Está especialmente pensado para utilizarse en Kubernetes y Grafana Labs contando con un chart de Helm para su despliegue.
Loki guarda los datos comprimidos con muchísima más eficiencia que systemd-journald
. Así que puede resultar recomendable reducir en /etc/systemd/journald.conf
el valor por defecto de SystemMaxUse
(que en Ubuntu son 4GB) en todas aquellas máquinas que estén utilizando promtail
para enviar los datos a Loki.
El despliegue del centro está guardando los journald
de unos pocos servidores. El servidor que más volumen de información registra es un gateway
que tiene activo el registro de consultas de bind9
y en una hora punta puede generar aproximadamente 1GiB de datos de journald
por hora.
Sin embargo los datos de todo un mes para ese servidor y otros pocos
que registran un menor volumen de información en Loki consumen
aproximadamente 1.6GB.Y estos datos se pueden guardar en disco (como
estamos haciendo nosotros) o enviar a un object storage
como MinIO (o algún servicio cloud) para conseguir mayores capacidades.
Ventajas de Loki
A continuación se enumeran los beneficios de utilizar Loki en su pila:
- Al indexar sólo metadatos, Loki es muy rentable. Ejecutar índices para el procesamiento de texto completo requiere instancias de RAM más grandes que son muy caras. Almacenar los registros en objetos almacenados como S3 también lo hace muy económico.
- Soporta multi-tenancy mediante el uso de tenantID, por lo que los inquilinos tienen sus datos almacenados por separado.
- Puede ejecutar Loki localmente para operaciones a pequeña escala o escalarlo horizontalmente con facilidad para operaciones a gran escala.
- Utiliza el estilo dynamo para garantizar la coherencia del quórum en las operaciones de lectura y escritura.
- Está configurado por defecto para tener 3 réplicas de registros para hacer frente al riesgo de caídas de procesos y salidas abruptas en las que se pierden los registros. Sí, supondría algún gasto extra pero no tan elevado, la integridad de los datos es más crítica.
- Fácil de conectar con herramientas populares como Kubernetes, Prometheus y visualización en Grafana.
Casos de uso de Loki
A continuación se muestran los casos de uso más populares para utilizar un sistema de registro como Loki.
- Inteligencia empresarial: Este es un caso de uso perenne, crear una visión procesable a partir de los datos de registro siempre puede ser muy útil. Loki puede ayudar a comprender los datos de registro y hacerle capaz de crear nuevas estrategias para el crecimiento del negocio. Por ejemplo, a través de los datos de registro de una organización, puede ayudarle a conocer las tasas de conversión de un canal publicitario.
- Monitorización: Prometheus se utiliza mucho en la industria para la monitorización. Pero puede identificar muchas cosas monitorizando sus logs con herramientas como Loki. Puede ayudarle a controlar las tasas de error de su sitio web revisando los registros y enviando alertas una vez que se cruza el umbral.
- Depuración y resolución de problemas: Loki puede ayudar al equipo de DevOps con algunas respuestas rápidas como cuándo se bloqueó la aplicación, la razón de su bloqueo, su último estado antes de bloquearse, etc.
- Ciberseguridad: En los últimos años, los ciberataques a portales de comercio electrónico han aumentado exponencialmente. Con la ayuda de Loki, puede comprobar los registros para identificar cualquier amenaza o problema, o actividad maliciosa que se esté produciendo en el sistema de su organización. Si el pirateo tuvo éxito, Loki puede seguir siendo útil para que el equipo forense comprenda con detalle lo que ocurrió en el sistema. Les ayudará a rastrear a los piratas informáticos.
- Cumplimiento: Para cumplir con las normativas del sector, las organizaciones deben conservar sus registros de auditoría durante un máximo de 7 años. Las autoridades locales pueden auditar los registros en cualquier momento. Loki puede almacenar sus registros de auditoría de forma segura.
0 comentarios :
Publicar un comentario
Los comentarios pueden ser revisados en cualquier momento por los moderadores.
Serán publicados aquellos que cumplan las siguientes condiciones:
- Comentario acorde al contenido del post.
- Prohibido mensajes de tipo SPAM.
- Evite incluir links innecesarios en su comentario.
- Contenidos ofensivos, amenazas e insultos no serán permitidos.
Debe saber que los comentarios de los lectores no reflejan necesariamente la opinión del STAFF.