Para montar un directorio necesitas una base de negocios con nombre, web, teléfono, correo y horarios. Si no la tienes, hay dos fuentes públicas y gratuitas que, combinadas, cubren casi todo: OpenStreetMap y Common Crawl. Las usamos para un directorio de cafeterías, pero el método sirve para cualquier sector. Esto es lo que hay que saber.
Qué es Common Crawl
Es una organización sin ánimo de lucro que publica cada mes un rastreo de miles de millones de páginas web. Cada rastreo se ofrece en varios formatos: WARC (la respuesta HTTP completa, con el HTML), WAT (metadatos), WET (solo texto) y un índice (CDX) que dice qué URL está en qué archivo y en qué posición. Para extraer contactos nos interesan el índice y los WARC.
Se descarga por HTTPS sin cuenta de AWS. El endpoint público tiene un límite aproximado de 5 a 10 peticiones por segundo, y si lo superas te bloquean unos minutos. Para ir rápido se usa una máquina pequeña en la misma región donde está el archivo, y todo el proceso cuesta menos de un dólar.
El pipeline en seis pasos
- Elegir el rastreo más reciente de la lista pública de rastreos.
- Descargar el índice de bloques, un archivo de unos 95 MB donde cada línea apunta al inicio de un bloque del índice.
- Localizar los bloques de tus dominios. Hay dos estrategias. La A consiste en tomar todo un dominio de país (.es, .mx) y filtrar después por palabras del sector. La B parte de una lista de dominios candidatos, por ejemplo de OpenStreetMap, y los busca uno a uno con búsqueda binaria. La B es mucho más rápida y barata.
- Descargar y filtrar los bloques del índice, quedándote con las URL con código 200, tipo HTML y rutas útiles como la portada, contacto, nosotros, carta u horarios.
- Descargar cada página pidiendo solo el rango de bytes que necesitas, con 10 a 15 hilos desde fuera de AWS.
- Extraer y clasificar.
Qué se extrae
- Correos, validando que el dominio del correo coincide con el de la web.
- Teléfonos, con la región del país.
- Dirección, por códigos postales y provincias.
- Nombre, desde los datos estructurados (LocalBusiness, Restaurant) o, si no hay, desde el título de la página.
- Horarios y coordenadas, también desde los datos estructurados.
- Enlaces a redes sociales.
Cómo se decide si un negocio es del sector
Cada web suma puntos por palabras propias del sector. Para cafeterías, por ejemplo: café especialidad, tostador, brunch, espresso, barista, grano de origen. Se añaden puntos por señales fuertes, como datos estructurados del tipo correcto, y se descartan las webs por debajo de un umbral. Así el resultado es una lista de negocios reales del sector y no de cualquier página que mencione café.
OpenStreetMap, el universo geográfico
OpenStreetMap aporta el mapa de negocios por zona: nombre, categoría, coordenadas y, a veces, la web. Common Crawl aporta el detalle que sale de la propia web de cada negocio. Combinados dan una base completa sin coste de licencias.
Coste y tiempo
El software es gratuito. El coste real es una máquina pequeña durante unas horas, normalmente menos de un dólar, y tu tiempo para revisar una muestra. Un rastreo mensual completo de un país puede llevar un día entre descarga y extracción.
Qué correos sí y cuáles no
Un correo genérico de empresa, como info@ o contacto@, publicado en su propia web para recibir consultas, es un dato profesional. Un correo personal de una persona concreta no lo es, y conviene descartarlo. Revisa la normativa de protección de datos de cada país antes de usar la lista para enviar nada. Esto no es asesoramiento legal.
Límites honestos
Common Crawl no rastrea todas las webs cada mes, así que algunos negocios no aparecen. Las páginas hechas solo con JavaScript pueden salir vacías. Los datos tienen fecha y pueden estar desactualizados, por lo que cada ficha debería indicar su fuente. Y la clasificación automática se equivoca: una muestra manual de cada tanda es obligatoria.
Para qué sirve después
Con la base limpia, el directorio se enriquece con atributos reales y fotos, y cada ficha cita la fuente de sus datos. Sin esa honestidad, un directorio no se diferencia de los cientos que ya existen.
La guía completa, con el código y las preguntas frecuentes, está en directorio de negocios con Common Crawl y OpenStreetMap. La página para tu asistente es uniamos.com/playbooks/common-crawl y el resto de guías están en el índice de playbooks.
