Comments on: Script para contar requests por IP de un access_log de Apache http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html Noticias y recursos para sysadmins Unix Fri, 03 Feb 2012 05:08:40 +0000 hourly 1 http://wordpress.org/?v=3.2.1 By: elbarto http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-1268 elbarto Sun, 10 Oct 2010 15:52:20 +0000 http://www.tail-f.com.ar/?p=234#comment-1268 De hecho es lo que hice en el post que escribí después de este: http://www.tail-f.com.ar/programacion/bash/contar-requests-por-ip-de-un-access_log-de-apache-en-bash.html De hecho es lo que hice en el post que escribí después de este:
http://www.tail-f.com.ar/programacion/bash/contar-requests-por-ip-de-un-access_log-de-apache-en-bash.html

]]> By: David http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-1266 David Sun, 10 Oct 2010 10:58:53 +0000 http://www.tail-f.com.ar/?p=234#comment-1266 Otra forma de hacerlo sería con awk, sort y uniq, por ejemplo así: awk '{print $1}' access_log|sort|uniq -c|sort -nr Una ventaja que tiene este método es que tarda la mitad que con python en procesar el fichero. Un saludo :) Otra forma de hacerlo sería con awk, sort y uniq, por ejemplo así:

awk ‘{print $1}’ access_log|sort|uniq -c|sort -nr

Una ventaja que tiene este método es que tarda la mitad que con python en procesar el fichero.

Un saludo :)

]]> By: Contar requests por IP de un access_log de Apache en BASH | tail -f | sysadmin http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-55 Contar requests por IP de un access_log de Apache en BASH | tail -f | sysadmin Tue, 10 Feb 2009 23:15:41 +0000 http://www.tail-f.com.ar/?p=234#comment-55 [...] en mi último post publiqué un script muy sencillo en Python para contar la cantidad de requests por IP en un [...] [...] en mi último post publiqué un script muy sencillo en Python para contar la cantidad de requests por IP en un [...]

]]> By: elbarto http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-51 elbarto Mon, 09 Feb 2009 14:46:01 +0000 http://www.tail-f.com.ar/?p=234#comment-51 Habría que probarlo, pero creo que no sería igual de óptimo en términos de performance. Porque creo que eso lo podrías hacer de dos formas, hacer un script con la misma lógica que el mío (recorriendo cada línea y aplicando la regexp a la línea, e ir sumando), o aplicando una regexp a todo el log con la cual extraigas las IPs y luego contarlas. En este segundo caso el procedimiento implicaría lo siguiente: - Compilar la regexp - Leer todo el log y almacenarlo en una variable - Aplicar la regexp y obtener un array con todas las IPs - Recorrer el array para contar la cantidad de ocurrencias de cada IP distinta - Mostrar los resultados En los dos casos el hecho de compilar la regexp te agrega un overhead de procesador que yo evito asumiendo que sí o sí la primer palabra de cada línea es la IP. En el segundo caso además agregás el hecho de tener una variable enorme con todo el contenido del archivo en memoria (si el archivo es muy grande puede ser problemático), lo cual yo evito sobreescribiendo el buffer donde voy almacenando cada línea, en cada loop del while. A eso se sumaría después otro array bastante grande con todas las IPs matcheadas.Y luego se agrega el paso de recorrer el array para encontrar IPs repetidas, el cual yo evito al hacerlo mientras voy leyendo el archivo. Habría que probarlo, pero creo que no sería igual de óptimo en términos de performance. Porque creo que eso lo podrías hacer de dos formas, hacer un script con la misma lógica que el mío (recorriendo cada línea y aplicando la regexp a la línea, e ir sumando), o aplicando una regexp a todo el log con la cual extraigas las IPs y luego contarlas.
En este segundo caso el procedimiento implicaría lo siguiente:
- Compilar la regexp
- Leer todo el log y almacenarlo en una variable
- Aplicar la regexp y obtener un array con todas las IPs
- Recorrer el array para contar la cantidad de ocurrencias de cada IP distinta
- Mostrar los resultados

En los dos casos el hecho de compilar la regexp te agrega un overhead de procesador que yo evito asumiendo que sí o sí la primer palabra de cada línea es la IP. En el segundo caso además agregás el hecho de tener una variable enorme con todo el contenido del archivo en memoria (si el archivo es muy grande puede ser problemático), lo cual yo evito sobreescribiendo el buffer donde voy almacenando cada línea, en cada loop del while. A eso se sumaría después otro array bastante grande con todas las IPs matcheadas.Y luego se agrega el paso de recorrer el array para encontrar IPs repetidas, el cual yo evito al hacerlo mientras voy leyendo el archivo.

]]> By: Fran http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-50 Fran Mon, 09 Feb 2009 14:36:12 +0000 http://www.tail-f.com.ar/?p=234#comment-50 No es mas facil matchear las ips con una regexp y despues contarlas?:p No es mas facil matchear las ips con una regexp y despues contarlas?:p

]]> By: elbarto http://www.tail-f.com.ar/programacion/python/script-para-contar-requests-por-ip-de-un-access_log-de-apache.html/comment-page-1#comment-49 elbarto Mon, 09 Feb 2009 13:09:04 +0000 http://www.tail-f.com.ar/?p=234#comment-49 Por cierto, el script está pensado para contar la cantidad de requests por IP de un access_log de Apache, pero en realidad es bastante más genérico que eso. Lo que hace es tomar la primer palabra (primer conjunto de caracteres sin espacios) de cada línea del archivo e ir sumando la cantidad de ocurrencias de cada palabra nueva en un diccionario. Por lo tanto se puede usar para cualquier otro fin similar. Por cierto, el script está pensado para contar la cantidad de requests por IP de un access_log de Apache, pero en realidad es bastante más genérico que eso. Lo que hace es tomar la primer palabra (primer conjunto de caracteres sin espacios) de cada línea del archivo e ir sumando la cantidad de ocurrencias de cada palabra nueva en un diccionario. Por lo tanto se puede usar para cualquier otro fin similar.

]]>