domingo, 27 de abril de 2014

Cómo normalizar direcciones de empresas

Hace unos meses se incluyó en el directorio móvil de empresas un hiperenlace que desde la dirección de la empresa te lleva a Google Maps con un plano centrado en la. Pero muchas de las direcciones, ¡más de la mitad!, producen errores, ya sea porque solo proporcionan direcciones aproximadas, incluso solamente localizan el municipio o incluso son completamente erróneas.

Para mejorar la calidad del producto, estoy haciendo comprobaciones sobre las direcciones utilizando los servicios de geolocalización de Google. Este servicio recoge una dirección en forma de cadena, y devuelve una estructura JSON con la información estructurada, incluyendo distrito postal (que no aparece en las direcciones publicadas en el BORME), longitud y latitud, dirección normalizada, y un indicador de la calidad de la dirección - es decir de la precisión que Google piensa que tiene la respuesta que ofrece a la solicitud original de dirección.

Después de analizar miles de direcciones con baja calidad, parece que un algoritmo bastante sencillo es suprimir la parte de la dirección entre el número de calle y el municipio (es decir, toda referencia a Local, Piso, Bajo, Urbanización, etc.). Y los resultados parecen bastante prometedores. El porcentaje de direcciones con alta calidad (ROOFTOP - es decir, localización exacta y RANGE_INTERPOLATED - es decir, dirección interpolada al no conocerse exactamente el número) se ha incrementado de forma notable:



Calidad             Antes         Después
ROOFTOP 38,88% 59,33%
INTERPOLATED 10,93% 15,88%
APPROXIMATE 26,82% 6,44%
NOT FOUND 16,82% 12,73%
EMPTY 5,53% 5,62%

El porcentaje de direcciones utilizables se ha incrementado de casi el 50% a más del 75%, ¡más de un 50% de mejora!

Aún así quedan aproximadamente un 5% de direcciones que se extraen de forma incorrecta del BORME, para estos casos hay difícil solución - salvo mejora de la extracción original en PDF o corrección manual de los datos.

Tengo curiosidad por saber si la calidad de las direcciones es, desde un punto de vista estadístico, igual en todas las provincias o por el contrario hay diferencias significativas. Por ejemplo, a priori, podría suponerse que en Galicia, País Vasco, Baleares y Canarias puede haber mayor dificultad de identificación de direcciones, por la complejidad de su geografía.

Después de haber programado este sistema para comprobar y normalizar direcciones,  me parece que es posible que puede ser interesante para cualquier empresa un servicio online de chequeo, validación y corrección de direcciones. El sistema funcionaría más o menos así:

  1. Se prepara un fichero de texto con las direcciones, una dirección completa por línea.
  2. Se sube el fichero a un servicio web (o se envía por correo a una determinada dirección de e-mail)
  3. El sistema procesa el fichero de texto, dirección a dirección, y devuelve un fichero similar, con algunos campos añadidos: dirección normalizada, distrito postal, longitud y latitud, y un indicador de calidad de la dirección.

Si estás interesado en probar un servicio de este tipo, por favor ponte en contacto conmigo, a través de un comentario o del formulario de la lista de correo.

domingo, 6 de abril de 2014

Lista de empresas creadas en marzo de 2014

Ya está disponible la lista de empresas creadas en marzo de 2014 en España. Como es habitual, se trata de un fichero CSV con fecha de publicación, borme, razón social, fecha de constitución, actividad, dirección y código de provincia, de 9.394 empresas de toda España, incluyendo 1.955 de Madrid y 1.386 de Barcelona.

Puedes consultar el directorio online, a través de una aplicación que estoy desarrollando, pero que ya es funcional, el Buscador móvil de nuevas empresas. La aplicación permite realizar búsquedas por nombre, actividad  y dirección, y muestra un mapa con la ubicación de cada empresa en Google Maps, condicionada a que la dirección sea suficientemente fiable - tengo comprobado que más de un tercio de las direcciones publicadas en el Borme no son correctamente identificadas por Google Maps.

Empresas creadas en Barcelona en marzo 2014
Buscador móvil con empresas creadas en Barcelona en marzo de 2014


La lista de nuevas empresas se sigue publicando de forma gratuita, pero los enlaces a los ficheros sólo se envían a la lista de distribución. Si quieres recibir notificaciones con los enlaces a los ficheros, puedes registrarte en el formulario de la derecha. Nunca te enviaré spam, y nunca venderé la lista de correo. Sólo quiero mantenerte al día, con un correo electrónico mensual, con las mejoras introducidas en el producto, incluyendo un enlace al fichero CSV con los datos de las empresas creadas en el mes.

Todavía puedes bajarte, en formato CSV, la lista de empresas creadas en septiembre, octubre, noviembre y diciembre de 2013 y enero de 2014 desde Google Drive. Se trata de ficheros de unos 2 MB cada uno. Gratis total, sin necesidad de pagar, registrarte o comentar! Aunque si te agradecería que twitearas un enlace a esta entrada, o que lo comentaras en tu blog.

Si tienes problemas para convertir el fichero a formato XLS (Excel) u ODF (OpenOffice),  puedes consultar un post anterior, Lista de empresas creadas en mayo de 2013, donde se detallan los pasos a seguir para importar los ficheros CSV a una hoja de cálculo.