ntopng es una poderosa herramienta que permite analizar en tiempo real el tráfico de red. Esto te permite evaluar el ancho de banda utilizado por ips o hosts individuales, por puertos, e identificar los protocolos de red más utilizados. Ntopng, la siguiente generación (next generation), la evolución natural del ntop original, se basa en libpcap y se ha escrito en una manera portátil para ejecutar virtualmente en todas las plataformas Unix, MacOSX y en Win32 también



ntop (circa 1998) fue la primera aplicación de monitoreo de red accesible vía web y ha quedado algo obsoleta.

ntopng (de Network Top) es una herramienta que permite monitorizar en tiempo real una red. Es útil para controlar los usuarios y aplicaciones que están consumiendo recursos de red en un instante concreto y para ayudarnos a detectar malas configuraciones de algún equipo, (facilitando la tarea ya que, justo al nombre del equipo, aparece sale un banderín amarillo o rojo, dependiendo del volumen de tráfico), o a nivel de servicio.

ntopng  analiza por defecto el tráfico de red una interfaz de red (eth0, eth1, etc) pero también puede analizar y mostrar los resultados vía web (con el comando -i fichero.pcap) de un archivo capturado de tráfico con wireshark, tcpdump, etc en formato pcap

Los flujos son inspeccionados con una DPIlibrary de cosecha propia  llamada NDPI el objetivo de descubrir la Protocolo de aplicación "real" (no se utilizan los puertos).  NDPI extrae atributos específicos de tráfico:

•   DNS ◦ / respuestas Whois
•   Nombres de host HTTP 
•   Sistema Operativo (de cabeceras HTTP)

 

DPI (Deep Packet Inspection) es una técnica para la inspección  la carga útil del paquete con el fin de extraer metadatos  (por ejemplo, protocolo).

Ejemplo Protocolos Soportados (~170):

• ◦ P2P (Skype, BitTorrent)
• ◦ Mensajería (Viber, Whatsapp, MSN, Facebook)
• ◦ Multimedia (YouTube, Last.gm, iTunes)
• ◦ VideoConferencia (Webex, CitrixOnLine)
• ◦ Streaming (Zattoo, Icecast, Shoutcast, Netflix)
• ◦ Negocios (VNC, RDP, Citrix, *SQL)

¿Qué puede hacer ntopng?

• Ordenar el tráfico de red de acuerdo con muchos protocolos 
• Mostrar tráfico de red y IPv4/v6 hosts activos 
• Guardar el disco estadísticas persistentes de tráfico en formato RRD 
• Geolocalizar anfitriones  
• Descubre los protocolos de aplicación mediante el aprovechamiento de NDPI, ntops marco DPI. 
• Caracterizar el tráfico HTTP mediante el aprovechamiento de los servicios de caracterización proporcionadas por block.si. 
• Mostrar la distribución del tráfico IP entre los diversos protocolos 
• Analizar el tráfico IP y ordenarla de acuerdo con el origen / destino  
• Matriz de subred Tráfico Mostrar IP (que está hablando con quién?) 
• Uso de protocolos IP Reportar ordenados por tipo de protocolo  
• Actuar como un colector NetFlow / sFlow para los flujos generados por los routers (por ejemplo, Cisco y Juniper) o interruptores (por ejemplo Foundry Networks) cuando se utiliza junto con nProbe.
• Produce las estadísticas de tráfico de red en el navegador en formato HTML5/AJAX

Características de ntopng

• Nivel de flujo, análisis en tiempo real a nivel de protocolo de tráfico de la red local.
• Dominio, AS (Sistema Autónomo), las estadísticas de nivel de VLAN.
• Geolocalización de direcciones IP.
• Descubrimiento de servicios a través de la inspección profunda de paquetes (DPI) sobre la base (por ejemplo, Google, Facebook, Youtube)
• Análisis de tráfico histórico (por ejemplo, cada hora, diario, semanal, mensual, anual).
• Soporte para sFlow, NetFlow (v5/v9) y IPFIX través nProbe.
• Matriz de tráfico de la red (¿quién habla con quién?).
• Soporte para IPv6.  

Documentación

La documentación es algo incompleta debido a la multitud de opciones que ofrece ntopng. Los dos manuales de referencia del propio autor Luca Deri son:

• Guía del Usuario ntopng en formato PDF (en inglés, con las opciones de configuración e instalación, guía básica)
• Presentación PDF Monitorizando el tráfico de una red con ntopng (incluye explicaciones detalladas del funcionamiento general, capturas de pantalla, pero no incluye instalación ni configuración).

 Instalación

1) Sólo hay paquetes disponibles para Ubuntu Server LTE x64 y CentOS x64.

Añadir repositorio de ntop

# cat /etc/yum.repos.d/ntop.repo
[ntop]
name=ntop packages
baseurl=http://www.nmon.net/centos/$releasever/$basearch/
enabled=1
gpgcheck=1
gpgkey=http://www.nmon.net/centos/RPM-GPG-KEY-deri

 Instalar vía el gestor de paquetes yum

yum clean all
yum update
yum install pfring n2disk nProbe ntopng ntopng-data nbox

Configurar los servicios para que arranquen con el sistema:

chkconfig ntopng on
chkconfig redis on

Arrancar los servicios:

service redis start
service ntopng start

O directamente:

/usr/local/bin/redis-server
/usr/local/bin/ntopng

 Geolocalización (GeoIP)

 Descargar la base de datos gratuita de GeoLite

npong-data contiene los ficheros con la base de datos de GeoIP



También con make geoip si usamos la fuentes para compilar

cd /usr/local/share/ntopng/httpdocs/geoip
wget http://download.maxmind.com/download/geoip/database/asnum/GeoIPASNum.dat.gz
gunzip GeoIPASNum.dat.gz
wget http://download.maxmind.com/download/geoip/database/asnum/GeoIPASNumv6.dat.gz
gunzip GeoIPASNumv6.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gunzip GeoLiteCity.dat.gz
wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCityv6-beta/GeoLiteCityv6.dat.gz
gunzip GeoLiteCityv6.dat.gz

Script en bash para actualizar la base de datos de GeoIP automáticamente:_

cat ./update-geoip.sh

#!/bin/bash
#
# update-geoip.sh actualiza los ficheros .dat de geoip para ntopng
#
# This program is free software; you can redistribute it and/or
# modify it under the terms of the GNU General Public License
# as published by the Free Software Foundation; either version 2
# of the License, or (at your option) any later version.
#
# This program is distributed in the hope that it will be useful,
# but WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
# GNU General Public License for more details.
#
# You should have received a copy of the GNU General Public License
# along with this program; if not, write to the Free Software
# Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA 02111-1307, USA.
# # Functions
# ==========================================================================
#
# Mostra como se usa este programa
#
uso() {
echo -n "`basename $0`, v"
echo -n $version | awk '{printf $3}'
echo ". By Luis Palacios"
echo "Uso: update-geoip.sh [-h]"
echo " -h help"
echo " "
echo " "
exit -1 # Salimos
}

# Analisis de las opciones
while getopts "h" Option
do
case $Option in

# EOM, no comments
h ) uso;;

# Resto de argumentos, error.
* ) uso;;

esac
done

#
# ================================================================
#
echo

#
cd /usr/local/share/ntopng/httpdocs/geoip
wget -nc http://geolite.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
gunzip -f GeoLiteCity.dat.gz

#
cd /usr/local/share/ntopng/httpdocs/geoip
wget -nc http://geolite.maxmind.com/download/geoip/database/GeoLiteCityv6-beta/GeoLiteCityv6.dat.gz
gunzip -f GeoLiteCityv6.dat.gz

#
cd /usr/local/share/ntopng/httpdocs/geoip
wget -nc http://download.maxmind.com/download/geoip/database/asnum/GeoIPASNum.dat.gz
gunzip -f GeoIPASNum.dat.gz

#
cd /usr/local/share/ntopng/httpdocs/geoip
wget -nc http://download.maxmind.com/download/geoip/database/asnum/GeoIPASNumv6.dat.gz
gunzip -f GeoIPASNumv6.dat.gz

Ejecución:

# chmod 755 update-geoip.sh
# ./update-geoip.sh

Dependencias CentOS (Fedora, Red Hat)

 yum groupinstall ‘Development Tools’

 yum install autoconf automake autogen libpcap-devel GeoIP-devel hiredis-devel redis glib2-devel libxml2-devel sqlite-devel gcc-c++ libtool wget

yum install libpcap  libcap-devel  tclglib2.0

O listar las dependecias con yum:

yum deplist ntopng

En Ubuntu:

sudo apt-get install  libpcap-dev libgdbm-dev libevent-dev librrd-dev python-dev libgeoip-dev libxml2-dev
redis-server automake autoconf  checkinstall libtool libxml2-dev libsqlite3-dev

2) O compilar las fuentes:

cd
./configure
make
make install

Por defecto viene los módulo third-party vienen precompilados para 64 bits, hay que hacer un make clean para sistemas 32 bits

# make clean
# cd third-party/json-c
# make clean
# cd ..
# cd third-party/LuaJIT-2.0.2
# make clean
# cd ..
# cd third-party/rrdtool-1.4.7
# make clean
# cd ..
# cd third-party/zeromq-3.2.3
# make clean
# cd ..
# cd third-party/credis-0.2.3
# make clean
# cd ..

 3) Usar SVN (SubVersion)

# svn co https://svn.ntop.org/svn/ntop/trunk/ntopng/
# cd ntopng
# ./autogen.sh
# ./configure
# make
# make install

Iniciar ntopng

Recordemos que es necesario y obligatorio iniciar antes el servidor redis

service redis start 

Si hemos usado los paquetes rpm:

/etc/init.d/ntopng start

 Init script para CentOS:

#! /bin/bash
#
# (C) 2003-13 - ntop.org
#
# chkconfig: 2345 80 30
#
### BEGIN INIT INFO
# Provides:          ntopng
# Required-Start:    $local_fs $remote_fs $network $syslog $pf_ring
# Required-Stop:     $local_fs $remote_fs $network $syslog
# Default-Start:     2 3 4 5
# Default-Stop:      0 1 6
# Short-Description: Start/stop ntopng web
### END INIT INFO

start_ntopng() {
    FORCE=$1

    if [ ! -d "/etc/ntopng" ]; then
 echo "Configuration directory /etc/ntopng does not exist: quitting..."
 echo "This package is designed to be used from within the nBox package that"
 echo "configures ntopng using a web GUI. Please install the nBox package"
 echo "from http://packages.ntop.org"
 return 0
    fi

    if [ ! -f "/etc/ntopng/ntopng.conf" ]; then
 echo "Configuration file /etc/ntopng/ntopng.conf does not exist: quitting..."
 return 0
    fi

    NTOPNG_BINARY=/usr/local/bin/ntopng

    if [ -f /etc/ntopng/ntopng.start ] || [ $FORCE -eq 1 ]; then
 echo "Starting ntopng"

 PID_FILE=$(cat /etc/ntopng/ntopng.conf | grep '\-G='|cut -d '=' -f 2)
        if [ -f $PID_FILE ]; then
     PID=$(cat $PID_FILE)
            if [ $PID -gt 0 ]; then
  IS_EXISTING=$(ps auxw | grep -v grep| grep $PID|wc -l)
  if [ $IS_EXISTING -gt 0 ]; then
      echo "ntopng is already running [pid $PID]: not started"
      return 0
  fi
     fi
 fi
 $NTOPNG_BINARY /etc/ntopng/ntopng.conf > /dev/null &
    else
 echo "ntopng not started: missing /etc/ntopng/ntopng.start"
    fi
    return 1
}

stop_ntopng() {

    if [ ! -d "/etc/ntopng" ]; then
 echo "Configuration directory /etc/ntopng does not exist: quitting..."
 return 0
    fi

    if [ -f /etc/ntopng/ntopng.conf ]; then
 PID_FILE=$(cat /etc/ntopng/ntopng.conf | grep '\-G='|cut -d '=' -f 2)
 if [ -f "$PID_FILE" ]; then
     PID=$(cat $PID_FILE)
     if [ $PID -gt 0 ]; then
  echo "Stopping ntopng"
  kill -15 $PID > /dev/null
  /bin/rm $PID_FILE
     else
  echo "Unable to stop ntopng: invalid pid [$PID][$PID_FILE]"
     fi
 #else
 #    echo "Unable to stop ntopng: missing pid $PID_FILE"
 fi
    else
 echo "ntopng can't be stopped: missing /etc/ntopng/ntopng.conf"
    fi

    return 0
}

status_ntopng() {
    if [ ! -d "/etc/ntopng" ]; then
 echo "Configuration directory /etc/ntopng does not exist: quitting..."
 return 0
    fi

    PID_FILE=$(cat /etc/ntopng/ntopng.conf | grep '\-G='|cut -d '=' -f 2)
    if [ -f $PID_FILE ]; then
 PID=$(cat $PID_FILE)
 if [ $PID -gt 0 ]; then
     echo "ntopng running as ${PID}"
 else
     echo "No running ntopng pid [$PID] in [$PID_FILE]"
 fi
    fi
    
    return 0
}


########

logger "ntopng $1"

case "$1" in
  start)
 start_ntopng 0;
 ;;

  force-start) 
 if [ ! -f /etc/ntopng/ntopng.conf ]; then
     echo "ERROR: No configuration file found"
     exit 1
 fi
 start_ntopng 1;
 ;;

  stop)
        stop_ntopng;
 ;;

  status)
 status_ntopng;
 ;;

  restart)
        stop_ntopng;
 echo "Waiting ntopng to shutdown and flush data..."
 sleep 10
 start_ntopng 0;
 ;;

  *)
 echo "Usage: /etc/init.d/ntopng {start|force-start|stop|restart|status}]"
 exit 1
esac

exit 0

Init script para Ubuntu /etc/init/ntopng.conf:

# ntopng network flow analyzer
# by https://raymii.org

description "ntopng network flow analyzer"

start on virtual-filesystems
stop on runlevel [06]

respawn
respawn limit 5 30
limit nofile 65550 65550

setuid root
setgid root
console log

script
exec /usr/local/bin/ntopng /etc/ntopng/ntopng.conf
end script

Acceder vía web a ntopng

Por defecto ntopng usa el puerto 3000 y el usuario admin con contraseña admin

Sólo necesitamos un navegador compatible con HTML5 y Ajax.

• http://localhost:3000

Cambiar contraseña del usuario Admin

Formato:

 redis-cli SET user..password

 La contraseña se almacena en un hash md5 en el servidor redis

redis-cli SET user.admin.password ea847988ba59727dbf4e34ee75726dc3

 Podemos generar una nueva conraseña con:

echo -n "contraseña" | md5sum

O también se puede usar el Convertidor de elhacker.NET

• Convertidor/Conversor Algoritmos - Codificador Hexadecimal, Binario, Octal ASCII, Base64, MD5, SHA-1

 Opción 22 --> Ascii a MD5

Configuración

El fichero de configuración lo podemos encontrar en:

• /etc/ntopng/ntopng.start 
• /usr/local/etc/ntopng/ntopng.start

Usage:
ntopng
or
ntopng [-m ] [-d ] [-e] [-n mode] [-i ]
[-w ] [-p ] [-P] [-d ]
[-c ] [-r ]
[-l] [-U ] [-s] [-v] [-C]
[-F] [-D ] [-E ]
[-B ] [-A ] !Options:
[--dns-mode-n] DNS address resolution mode
0 - Decode DNS responses and resolve
local numeric IPs only (default)
1 - Decode DNS responses and resolve all
numeric IPs
2 - Decode DNS responses and don't
resolve numeric IPs
3 - Don't decode DNS responses and don't
resolve numeric IPs
[--interface-i] Input interface name (numeric/symbolic)
or pcap file path
[--data-dir-d] Data directory (must be writable).
Default: data
[--daemon-e] Daemonize ntopng
[--httpdocs-dir-1] HTTP documents root directory.
Default: httpdocs
[--scripts-dir-2] Scripts directory.
Default: scripts
[--callbacks-dir-3] Callbacks directory.
Default: scripts/callbacks
[--dump-timeline-C] Enable timeline dump.
[--categorization-key-c] Key used to access host categorization
services (default: disabled).
Please read README.categorization for
more info.
[--http-port-w] HTTP port. Default: 3000
[--local-networks-m] Local nets list (default: 192.168.1.0/24)
(e.g. -m "192.168.0.0/24,172.16.0.0/16")
[--ndpi-protocols-p] .protos Specify a nDPI protocol file
(eg. protos.txt)
[--disable-host-persistency-P] Disable host persistency
[--redis-r] Redis host[:port]
[--user-U] Run ntopng with the specified user
instead of nobody
[--dont-change-user-s] Do not change user (debug only)
[--disable-login-l] Disable user login authentication
[--max-num-flows-X] Max number of active flows
(default: 131072)
[--max-num-hosts-x] Max number of active hosts
(default: 65536)
[--users-file-u] Users configuration file path
Default: ntopng-users.conf
[--pid-G] Pid file path
[--packet-filter-B] Ingress packet filter (BPF filter)
[--enable-aggregations-A] Setup data aggregation:
0 - No aggregations (default)
1 - Enable aggregations, no timeline dump
2 - Enable aggregations, with timeline
dump (see -C)
[--dump-flows-F] Dump expired flows.
[--dump-hosts-D] Dump hosts policy (default: none).
Values:
all - Dump all hosts
local - Dump only local hosts
remote - Dump only remote hosts
[--dump-aggregations-E] Dump aggregations policy (default: none).
Values:
all - Dump all hosts
local - Dump only local hosts
remote - Dump only remote hosts
[--sticky-hosts-S] Dont flush hosts (default: none).
Values:
all - Keep all hosts in memory
local - Keep only local hosts
remote - Keep only remote hosts
none - Flush hosts when idle
[--verbose-v] Verbose tracing
[--help-h] Help

Por ejemplo:

--local-networks "192.168.0.0/24"
--dns-mode 0
--sticky-hosts all
--enable-aggregations 2

Accediendo a ntop vía Apache

Podemos configurar para accedir directamente a ntopng desde el servidor web tengamos instalado usando un ReverseProxy. Añadir al fichero httpd.conf de Apache:

# add here

Order deny,allow
Allow from all
ProxyRequests Off
RewriteEngine On
RewriteCond %{HTTP_REFERER} ns2.elhacker.net/ntop
RewriteCond %{REQUEST_URI} !^/ntop/
RewriteRule ^/(.*)$ http://ns2.elhacker.net/ntop/$1 [L,R=permanent] RewriteCond %{REQUEST_URI} ^/ntop/
RewriteRule ^/ntop/(.*)$ http://localhost:3000/$1 [L,P]


ProxyPass http://localhost:3000
ProxyPassReverse http://localhost:3000

O añadiendo en un virtualhost:


ServerAdmin webmaster@elhacker.net ServerName ntop.elhacker.net ServerAlias ntop
Order deny,allow Allow from all

ProxyRequests Off RewriteEngine On ProxyPass / http://localhost:3000/ retry=0 timeout=5 ProxyPassReverse / http://localhost:3000/
Order allow,deny Allow from all

Capturas de pantalla

Menús Disponibles:



Opciones interesantes

Opciones principales del menú:

• Dashboard
• Flows (Active Flows)
• Host List
• if_stats (haciendo click en el gráfico azul, dónde aparece tráfico + pps + hosts + flows)

Dashboard

Top Flow Talkers

 A la izquierda las conexiones entrantes (tráfico entrante), en medio el host (hwagm.elhacker.net) y a la derecha aparecerían las conexiones salientes (tráfico enviado):



Tráfico saliente (a la derecha)

Host List

Listado de hosts activos, se pueden ordenar por:

• Dirección Ip
• Localización (remoto o local)
• Por nombre (host)
• Visto desde (activo desde x tiempo)
• Por diferencia de tráfico enviado/recibido (breakdown)
• por ASN
• por caudal (Throughput), 
• por tráfico acumulado (Traffic)

Si hacemos click en una ip podremos ver detallado el tráfico de esa ip - host:

Pestaña Overview

• Router- Mac Address
• Dirección IP
• ASN
• Sistema operativo (por las cabeceras del navegador)
• Nombre (Name Host)
• Primera vez visto
• Última vez visto
• Gráfico Tráfico enviado - recibido
• Total tráfico enviado
• Total tráfico recibido
• JSON (descargar)
• Mapa de actividad por horas

Pestañas:

• Overview
• Traffic
• Packets
• Protocols
• Flows (Active Flows)
• Talkers
• Geomap
• Contacts (Gráfico diagrama de contactos más Client Contacts (Initiator) + Server Contacts (Receiver)
• Aggregations (si está habilitado)
• Historical (si es local Gráfico tráfico enviado recibido  5m 10m 1h 3h 6h 12h 1d 1w 2w 1m 6m 1y ) y ordenar por Timeseries:

Pestaña Protocols
Ordenar el tráfico de un host- ip por Protocolos:

Contacts

Historical

Aggregations

Por defecto no está activo (hay que añadir --enable-aggregations)

• Nombre
• Protocolo
• Visto desde
• Última vez visto
• Número de consultas

Si hacemos click sobre el nombre podremos ver en la pestaña "Contacts" la cantidad de ip's que coinciden.

Ejemplo ip's de bingbot

Active Flows

De nuevo podemos ordenar la actividad de red en tiempo real por

• Aplicación (HTTP, TeamSpeak, DNS, etc)
• Protocolo (TCP, UDP)
• Duración
• Velocidad sostenida - Rendimiento (throughput)
• Tráfico total

 De nuevo podemos hacer click en una ip para ver los detalles o en un puerto, por ejemplo 9987 del TeamSpeak

Diagrama Top Hosts Interaction

Estadísticas de Red (if_stats)

Si hacemos click encima del gráfico azul -->

Pestañas:

• Overview
• Packets
• Protocols
• Historial Activity 

En overview veremos el número total de paquetes y tráfico enviado y recibido

Protocols

En protocols tenemos un resumen en gráfico según el tráfico total recibido distribuido por protocolos:

Historical Activity

Veremos los datos históricos con gráficas:


Se puede hacer doble click para agrandar el gráfico (zoom) y te muestra los "Minute Top Talkers" en la selección de tiempo exacta (selection time)

También se pueden ver más de los 3  top talkers en formato json, se guardan en el directorio:

/var/tmp/ntopng

Ejemplo:

/var/tmp/ntopng/eth0/top_talkers/2014/07/08/16

Tarjeta de red eth0, año 2014, día 8 de julio a las 16h

Ejemplo fichero 50.json con hora 16:50

"senders": [
{ "label": "80.82.70.163", "value": 326664916 },
{ "label": "199.168.136.98", "value": 162867726 },
{ "label": "199.168.136.107", "value": 162545258 },
{ "label": "199.168.139.34", "value": 149454332 },
{ "label": "199.168.139.32", "value": 146850564 },
{ "label": "199.115.230.147", "value": 144568202 },
{ "label": "199.115.230.131", "value": 143944360 }

 Otras opciones interesantes son guardar (dump) todo el tráfico en el disco duro con las opciones:

--dump-timeline
--dump-flows
--dump-hosts all
--dump-aggregations all

timline - Guardará en formato rrd (/var/tmp/ntopng/eth0/rrd)
aggregations - Guardará en formato json (/var/tmp/ntopng/eth0/activities y /var/tmp/ntopng/eth0/top_talkers/)
flows - Guardará los flows en formato sqlite (base de datos)
hosts -Guardará los contactos con hosts en formato sqlite

Las bases de datos sqlite se guardan por defecto en: /var/tmp/ntopng/db
Ordenado por año, mes, día año

Ejemplo: /var/tmp/ntopng/db/14/07/10/14
Correspondería al año 2014, mes 7, día 10 hora 14h

Otros analizadores de tráfico de Red

En modo consola:

• vnstat
• iptraf
• iftop
• ifstat
• ipfm
• ipaudit
• iperf
• bwm-ng
• ibmonitor
• nload
• netperf
• dstat ( vmstat, iostat, netstat, nfsstat and ifstat)
• tcptrack
• ipband (IP Bandwidth Watchdog)
• tcpdump
• speedometer
• cbm
• bmon
• pktstat
   

Con interfaz web:

• Cacti
• Nagios
• Monitorix
• BandwidthD
• Darkstat

Ejecutables para Windows:

• Microsoft Network Monitor