sábado, 7 de septiembre de 2013

Python no encuentra funciones en modulo

El siguiente error me pareció bastante curiosos, que decidí compartirlo. Cree un pequeño programa en Python para hacer unas pruebas con sockets. Se me ocurrió llamarle a mi archivo socket.py. De hecho al inicio sólo tenía dos líneas:

import socket
s = socket.socket( socket.AF_PACKET , socket.SOCK_RAW , socket.ntohs(0x0003))

Pero al tratar de ejecutarlo me marcaba errores del siguiente tipo:

AttributeError: 'module' object has no attribute 'AF_PACKET'

Lo que está pasando es que Python primero busca los módulos en el directorio actual, en este caso como mi archivo se llama socket.py, se importaba a si mismo, en lugar de importar el módulo de las librerías de Python.

Simplemente renombré mi archivo a mi_socket.py y me aseguré de borrar el archivo socket.pyc que se había generado en el directorio actual.

Referencia: http://stackoverflow.com/questions/13422356/socket-isnt-working-in-python

Saludos.

martes, 3 de septiembre de 2013

Primeros pasos con Raspberry Pi

Iniciaremos una nueva serie para compartir nuestros experimentos con un recién adquirido Raspberry Pi. Decidimos comprar un kit que además del Raspberry, también trae su fuente que se conecta al micro USB, una tarjeta SD con un sistema operativo ya configurado, un estuche y cable HDMI. Se nos hizo una buena oferta. Además como el sistema operativo ya esta listo para usarse, es muy rápido empezar a jugar con el hardware. De cualquier forma, estamos planeando en futuros experimentos, el compilar directamente un sistema operativo.

Por el momento esta configuración nos permitió hacer nuestro primer experimento muy fácilmente. Definitivamente el lugar para iniciar son los tutoriales de Adafruit.

Inicialmente conectamos el Raspberry a un mouse, teclado y monitor, pero sólo lo hice para realizar la configuración inicial. La configuración más importante es habilitar SSH, para poder conectarnos remotamente.

Después de esto, nos conectamos remotamente usando SSH para instalar VNC. El Raspberry está conectado vía Ethernet al ruteador. Y listo, ya podemos utilizar remotamente nuestro Raspberry, el cual sólo esta conectado al ruteador y a su fuente.


Nuestro siguiente experimento será prender un LED.

Saludos.

Para ver los demás post de esta serie da clic en el tag Raspberry Pi.

domingo, 1 de septiembre de 2013

Procesando varias fotos con Phatch

Últimamente he estado subiendo algunas fotos a Facebook y mandando varias por correo; sin embargo, note que la resolución y tamaño de las fotos es muy grande, por ejemplo 3648 x 2736, y estas fotos usualmente sólo las verán en un celular. Aun cuando Facebook y Gmail hacen un muy trabajo reduciendo el tamaño de las fotos, no esta de más el reducir el tamaño de las fotos previamente.


El principal detalle, es que pasa si queremos redimensionar 100 fotos; hacerlo una por una, no es una tarea muy atractiva. Para ello podemos usar el programa llamado “Phatch”, que permite ejecutar una secuencia de operaciones a varias fotos.

Phatch lo pueden instalar en Ubuntu. El proceso es muy sencillo, sólo tienen que crear una lista de comandos que quieren aplicar a todas fotos de un folder. En la siguiente imagen, estoy indicando que quiero redimensionar cada foto a un máximo de 800x800 manteniendo las proporciones originales y guardarlas en mi escritorio en el folder nuevas.


También se pueden aplicar acciones como cambiar el contraste y el brillo. Una vez que tengamos la lista de comandos, seleccionamos ejecutar y Phatch nos pedirá el directorio fuente y nos mostrará todas las imágenes que procesará. Al finalizar el procesamiento presenta un resumen del número de imágenes y el tiempo empleado.



En este caso, las fotos originales miden alrededor de los 4MB, las fotos generadas miden alrededor de los 100KB



Algo muy útil, es que las listas de acciones se pueden guardar. Este script de Phatch para redimensionar fotos ya lo he usado varias veces.

Saludos.

domingo, 20 de enero de 2013

Métricas del grafo de hash tags

Tutorial de Grafos
Anterior        Índice       

El programa que extrae la información usando la API de Twitter está usando exploración aleatoria. Es decir, selecciona aleatoriamente el siguiente hash tag a solicitar. Este enfoque resulta muy práctico y nos permite descubrir muchos hash tags. Por ejemplo, después de haber ejecutado el programa algunas horas, este ha visitado alrededor de 3,000 nodos pero ha descubierto alrededor de 150,000. Esto nos da un grafo bastante incompleto, lo cual puede ser frustrante al momento de ejecutar algoritmos como el de encontrar la ruta más corta, ya que es muy probable que si seleccionamos dos nodos al azar sólo haya una ruta entre ellos. Lo ideal sería poder visitar la mayoría de los nodos que conocemos; el problema es que el realizar las peticiones de tweets es una operación costosa.

Por ello es que decidí modificar el programa para visitar sólo aquellos hash tags que luzcan más “relevantes”. La definición de relevancia es un tanto arbitraria y la definí intuitivamente. Obtuve algunas métricas con los nodos que he visitado hasta el momento para obtener un parámetro que no fuera del todo subjetivo.

NOTA: las siguientes conclusiones están basadas en los aproximadamente 3,000 hash tags que visite usando el programa descrito en secciones anteriores. Por lo que estás conclusiones pueden ser incompletas e incluso incorrectas, pero son un buen inicio para los propósitos de este tutorial.

El término hash tag y nodo son equivalentes en la siguiente discusión.

La primer métrica es el número de vecinos de un nodo: en promedio tienen 133 vecinos. En la siguiente gráfica observamos que más del 40% de los nodos tienen 90 o más vecinos. Esto concuerda con nuestros resultados (sólo 3,000 visitados pero ya llevamos 150.000 descubiertos); es decir, el universo de nodos descubiertos crece muy rápidamente conforme vamos visitando más nodos.

Es interesante ver como hay también un buen porcentaje de nodos con muy pocos vecinos, tal vez esto se deba a hash tags esporádicos.

Bueno, regresando a la pregunta de qué es un nodo relevante, decidí ver la fortaleza entre dos hash tags, y esto es simplemente cuantas veces aparece un hash tag en la búsqueda de otro. Por ejemplo, cuando buscamos #Toluca, de los 400 tweets obtenidos, el hash tag #futbol apareció 20 veces; en este caso digo que la fortaleza de #Toluca a #futbol es 20.

La siguiente gráfica muestra la distribución de las fortalezas de los enlaces. Noten como el 70% de los enlaces sólo tienen fortaleza 1, pareciera que la mayoría de las relaciones entre hash tags son esporádicas. Sin embargo, existe un porcentaje considerable de enlaces con fortaleza igual o mayor a 9.

Precisamente está es la métrica que utilicé para decidir que nodos visitar. Sólo visitaremos aquellos nodos que estén muy conectados a alguno de los nodos que hayamos visitado. Obviamente hay que cuidar no ser muy restrictivo que lleguemos al punto de no encontrar más nodos. Para ello obtuve la siguiente gráfica donde podemos ver que aproximadamente la mitad de los nodos están conectados a por lo menos otro nodo con fortaleza 9 o mayor. Lo cual es un buen indicador que aún cuando estamos reduciendo el espacio de búsqueda, seguiremos encontrando nuevos nodos.

Primero probé con enlaces de fortaleza 4, pero aún así el número de nodos conocidos crecía muy rápidamente. Así que ajuste este valor a 10.

El código lo pueden encontrar aquí. El archivo tweets_old.zip contiene la información usada para las métricas. El archivo tweet_graph.py calcula y despliega las métricas. Tweet_search.py es el programa de extracción de tweets con las modificaciones mencionadas.

Tutorial de Grafos
Anterior        Índice       

sábado, 12 de enero de 2013

Creación del grafo de hash tags

Tutorial de Grafos
Anterior        Índice        Siguiente

Ahora que ya tenemos datos podemos empezar a crear nuestro grafo. Existen dos formas principales de representar un grafo: matriz de adyacencia o lista de adyacencia. Aquí usaremos una lista de adyacencia, en particular, usaremos un diccionario de adyacencia.

El programa twitter_graph.py contiene un ciclo doble donde construye el grafo. Después entra a un cliclo donde podemos teclear un hash tag y despliega los 10 hash tags vecinos más frecuentes.

Nuestro grafo lo representamos con un diccionario de diccionarios. En el diccionario externo las llaves son los nodos del grafo y los valores son los vecinos de este nodo. Siendo más precisos, un valor es otro diccionario, donde las llaves son los vecinos y los valores representan el número de veces que un hash tag apareció.

Veamos un ejemplo de la variable que apunta al grafo en el programa usando los resultados de la imagen anterior.

  • graph["#cozumel"]
    : contiene los vecinos del hash tag #cozumel.
  • graph["#cozumel"]["#cancun"]
    : regresa el número de veces que #cancun apareció en la búsqueda de #cozumel, en este caso 10 veces.

Vale la pena mencionar dos funciones de los diccionarios en python que ayudan a hacer código más compacto. El siguiente fragmento de código agrega el hash tag al grafo en caso de ser necesario.

if hash_tag not in graph: 
  graph[hash_tag] = dict() 
links = graph[hash_tag]

Esto es equivalente a usar la función setdefault, la cual regresa el valor asociado con la llave (primer parámetro), en caso de no existir, inserta la llave con el segundo parámetro en el diccionario y por último regresa ese nuevo valor.

links = graph.setdefault(hash_tag, dict()) 

El siguiente código inicializa e incrementa el número de ocurrencias de un vecino.

if neighbor not in links: 
  links[neighbor] = 1 
else: 
  links[neighbor] = links[neighbor] + 1

Esto se puede reemplazar por la siguiente línea de código:

links[neighbor] = links.get(neighbor,0) + 1

La función get regresa el valor asociado con la llave o en caso de no existir regresa el segundo parámetro.

El código lo pueden encontrar aquí. Para ejecutarlo sólo recibe la carpeta donde están guardados los tweets:

python twitter_graph.py ./tweets

También incluí un archivo zip que contiene alrededor de 3,000 hash tags consultados, sólo tienen que descomprimir este archivo. AVISO: algunos de los hash tags pueden resultar ofensivos, pero eso es lo que encontró el programa.

En el siguiente post veremos algunas métricas de este grafo.

Tutorial de Grafos
Anterior        Índice        Siguiente

domingo, 9 de diciembre de 2012

Representación interna de un flotante

En este post vamos a hacer un pequeño experimento para desplegar la representación de un flotante, ya que a final de cuentas debe ser guardado como un conjunto de bits.

Primero, repasemos rápidamente uniones en C. En una unión todos sus miembros comparten la misma ubicación de memoria. Por ejemplo, en el siguiente programa, la unión contiene dos elementos, una estructura con cuatro enteros y un arreglo de cuatro enteros. Observen como inicializamos los valores de la estructura y posteriormente desplegamos esos valores usando los miembros del arreglo.

#include <stdio.h>

typedef struct {
  int byte1;
  int byte2;
  int byte3;
  int byte4;
} Mi_estructura;

typedef union {
  Mi_estructura estructura;
  int arreglo[4];
} Mi_union;

void main(void) {
  Mi_union u;
  int i;
  
  u.estructura.byte1 = 11;
  u.estructura.byte2 = 22;
  u.estructura.byte3 = 33;
  u.estructura.byte4 = 44;
  
  for(i = 0; i < 4; i++) {
    printf("%d\n",u.arreglo[i]);
  }
}

Este caso en específico puede ser útil cuando algunas partes del programa son más legibles usando los miembros de la estructura, por ejemplo al momento de asignar valores. Y otras veces es más eficiente usar un arreglo, como al querer copiar o desplegar los elementos.

Regresando al caso de un flotante. Usaremos una unión que contiene un float y un int, en la máquina que estoy usando ambos usan 4 bytes. Lo que haremos es modificar la unión usando el float y desplegar el contenido usando el int.

#include <stdio.h>

typedef union {
  int i;
  float f;
} Mi_union;

void main(void) {
  Mi_union u;
  printf("# bytes int: %zu\n",sizeof(int));
  printf("# bytes float: %zu\n",sizeof(float));
  
  u.f = 1234.5678f;
  printf("%.10f\n",u.f);
  printf("0x%x\n",u.i);
}

Podemos ver en la imagen anterior que el valor 1234.5678f es almacenado con el siguiente patrón de bits 0x449a522b. Este patrón sigue el estándar IEEE754, la siguiente página contiene una muy buena explicación.

Lo que haremos es extraer los bits de acuerdo a este formato y verificaremos que tengamos el valor 1234.5678f.

#include <stdio.h>

typedef union {
  unsigned int i;
  float f;
} Mi_union;

unsigned int extraer_bits(unsigned int valor, short inicio, 
                          short nbits);
void representacion_float(unsigned int valor);

void main(void) {
  Mi_union u;
  printf("# bytes int: %zu\n",sizeof(int));
  printf("# bytes float: %zu\n",sizeof(float));
  
  u.f = 1234.5678f;
  printf("%.10f\n",u.f);
  printf("0x%x\n",u.i);
  representacion_float(u.i);
}


void representacion_float(unsigned int valor){
  unsigned int signo = 0;
  unsigned int exponente_bias = 0;
  unsigned int exponente_unbias = 0;
  unsigned int mantisa = 0;
  unsigned int parte_entera = 0;
  unsigned int parte_decimal = 0;
  unsigned int parte_decimal_max = 0;
  
  signo = extraer_bits(valor, 31, 1);
  exponente_bias = extraer_bits(valor, 23, 8);
  exponente_unbias = exponente_bias - 127;
  mantisa = extraer_bits(valor, 0, 23);
  parte_decimal = extraer_bits(valor,0,23-exponente_unbias);
  parte_decimal_max = 1<<23-exponente_unbias;
  parte_entera = extraer_bits(valor,23-exponente_unbias,
                              exponente_unbias);
  // la parte entera tiene un bit 1 por default al inicio.
  parte_entera |= 1<<exponente_unbias;
  
  printf("Signo: %d\n", signo);
  printf("Exponente (bias): 0x%x (%d)\n", exponente_bias, 
                                          exponente_bias);
  printf("Exponente (unbias): %d\n", exponente_unbias);
  printf("Mantisa: 0x%x\n", mantisa);
  printf("Parte entera: 0x%x (%d)\n", parte_entera, 
                                      parte_entera);
  printf("Parte fraccional: 0x%x (%d) de 0x%x (%d)\n", 
    parte_decimal, parte_decimal, 
    parte_decimal_max, parte_decimal_max);
}


unsigned int extraer_bits(unsigned int valor, short inicio, 
                 short nbits){
  unsigned int mascara = 0;
  short i = 0;
  // primero recorremos el bit inicial al bit 0
  valor >>= inicio;
  // obtener mascara de los bits que deseamos
  for(i = 0; i < nbits; i++){
    mascara <<= 1;
    mascara |= 1;
  }
  // enmascaramos los bits que deseamos
  return valor & mascara;
}

Noten que el código no es muy robusto, ya que para números muy grandes (es decir, exponentes muy grandes) no funciona. Pero ayuda a ilustrar la representación de un flotante.

El programa obtiene los bits correspondientes al signo, el exponente y la mantisa. Además usa el exponente para extraer de la mantisa la parte entera y fraccionaria. La parte fraccionaria la podemos interpretar ya sea viendo los bit y calculando el valor. Por ejemplo, 0x122b en binario es 1 0010 0010 1011, lo cual lo podemos evaluar como 2^−1+2^−4+2^−8+2^−10+2^−12+2^−13 = 0.567749023. Otra forma de verlo, es que el máximo valor de la parte fraccionaria más uno es 0x2000 ó 8192 decimal (es decir esto equivale al valor 1). Por lo que nuestra parte fraccionaria es 4651/8192=0.567749023. Noten, que el valor que obtuvimos es ligeramente menor al valor inicial, esto es a lo que llamamos errores de precisión.

Espero que les haya resultado interesante ver de una forma práctica como guardamos número flotantes.

domingo, 2 de diciembre de 2012

Reiniciar peticiones de tweets

Tutorial de Grafos
Anterior        Índice        Siguiente

En este post volveremos a visitar el programa que obtiene la información de los hash tags. Agregué dos nuevas funcionalidades.

La primera mejora tiene que ver con qué pasa si queremos volver a ejecutar búsquedas y guárdalas en la misma carpeta de tweets de una ejecución anterior. Sin ninguna modificación al programa, lo que pasaría es que los nuevos archivos de salida se agregan sin problema aún cuando volvamos a visitar un mismo hash tag, ya que el nombre del archivo esta formado por un “timestamp” y el hash tag (por ejemplo: 1351987950#felicidad). Y tal vez ese sea un comportamiento deseado.

Sin embargo, decidí modificar el programa para evitar visitar hash tags que hayan sido visitados en ejecuciones anteriores. Esto es muy sencillo, ya que el nombre del archivo contiene el hash tag, por lo que sólo tuve que extraerlos y agregarlos al conjunto de hash tags visitados.

Un efecto secundario de este cambio es cuando nuestro hash tag inicial ya lo habíamos visitado anteriormente, el resultado es que el programa termina inmediatamente. Esto nos lleva a el segundo cambio, inicializar automáticamente la búsqueda cuando pasemos “##” como hash tag inicial en la línea de comandos.

En caso de que hayamos ejecutado el programa previamente, entonces tendremos un conjunto de archivos de los hash tags visitados. Los hash tags dentro de los archivos no necesariamente han sido visitados, por lo que inicializaré los hash tags a visitar con todos aquellos hash tags que no se visitaron en ejecuciones anteriores. El siguiente comando visitará otros 2,000 hash tags, tomando como base la información en "../tweets" de los hash tags visitados anteriormente.

python twitter_search.py "##" 100 5 2000 ../tweets

El código lo pueden encontrar en la siguiente liga.

Creo que por el momento el programa de extracción de datos está bastante completo, en el siguiente post veremos cómo construir nuestro grafo de hash tags con esta información.

Tutorial de Grafos
Anterior        Índice        Siguiente