LinkedInScrapingTutorial de API

Cómo extraer perfiles, empresas y empleos de LinkedIn con una API

Guía práctica para recopilar perfiles, páginas de empresa, publicaciones y ofertas de empleo públicos de LinkedIn con endpoints de API asíncronos y JSON normalizado.

SocQActualizado el 19 de julio de 20269 min de lectura

Los datos de LinkedIn se ven uniformes en un navegador, pero las entidades subyacentes no son intercambiables. Una persona tiene experiencia y educación, una empresa tiene industrias y ubicaciones, una publicación tiene métricas de interacción que cambian y un empleo tiene campos de contratación y de postulación.

Este tutorial construye un flujo de datos públicos mantenible con cuatro API de LinkedIn de SocQ: perfiles, empresas, publicaciones y empleos. Abarca la preparación de URL, las tareas asíncronas, los registros normalizados, el almacenamiento, la validación, los calendarios de actualización y el uso responsable.

Respuesta rápida: envíe URL públicas de LinkedIn al endpoint POST /v1/linkedin/{resource} correspondiente, guarde el ID de tarea devuelto, consulte el estado hasta que termine y luego valide y haga upsert de los registros normalizados. No envíe la URL de un perfil al endpoint de empleos ni suponga que un campo público faltante es un valor vacío.

¿API oficial de LinkedIn o una API de datos públicos?

Las API oficiales de LinkedIn son la opción correcta cuando un miembro autoriza su aplicación, cuando se tiene acceso a un producto de socio aprobado o cuando el flujo implica publicar contenido u otra acción con permisos. El acceso oficial usa OAuth, y muchos permisos y programas de socios requieren aprobación explícita. Los resultados de los perfiles también están sujetos a la configuración de privacidad de cada miembro y a las reglas contractuales de almacenamiento.

Los endpoints de SocQ de este tutorial aceptan URL públicas conocidas y realizan una recopilación de solo lectura. No se autentican como miembro de LinkedIn, no buscan en todo LinkedIn, no publican contenido ni otorgan derechos para usar los datos devueltos. Elija el modelo de acceso antes de elegir el endpoint: API oficiales para las acciones de cuentas autorizadas y una API de datos públicos compatible para lecturas públicas de alcance limitado.

Elegir el endpoint de LinkedIn correcto

Actualmente SocQ expone cuatro endpoints de lectura basados en URL:

RecursoEndpointURL pública aceptadaUso típico
Perfiles/v1/linkedin/profiles/in/{slug}Identidad pública, cargo, experiencia, educación
Empresas/v1/linkedin/companies/company/{slug}Datos firmográficos, sitio web, ubicaciones, audiencia visible
Publicaciones/v1/linkedin/posts/posts/, /pulse/, /feed/update/ compatiblesContenido e instantáneas de interacción
Empleos/v1/linkedin/jobs/jobs/view/{slug}Detalles del empleo, ubicación, contratación y campos de postulación

Son operaciones públicas de lectura. Use los productos oficiales de LinkedIn cuando necesite autorización de miembros, publicación, anuncios u otro flujo con permisos.

Normalizar y enrutar las URL de entrada

Guarde la URL enviada como registro de origen, pero canonice una copia antes de enrutarla:

  1. Exija HTTPS y un nombre de host de LinkedIn.
  2. Quite los parámetros de consulta de seguimiento.
  3. Normalice las variantes de idioma y de host móvil cuando sea seguro.
  4. Clasifique la ruta por tipo de entidad.
  5. Elimine duplicados de las URL canónicas dentro del lote.
  6. Rechace las rutas no compatibles antes de gastar una solicitud.

Un enrutador sencillo puede asignar /in/ a perfiles, /company/ a empresas, los patrones conocidos de publicaciones a publicaciones y /jobs/view/ a empleos. Mantenga las URL ambiguas en una cola de revisión en lugar de adivinar.

Enviar una tarea de recopilación de perfiles

curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": [
      "https://www.linkedin.com/in/satyanadella"
    ]
  }'

Use la misma estructura de solicitud para los demás recursos:

curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'

La respuesta crea una tarea asíncrona. Guarde su ID junto con el ID del lote interno y las entradas.

Consultar la tarea sin crear duplicados

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Considere esperados los estados queued y running. Consulte con retroceso exponencial y un retraso máximo. Cuando la tarea termina con éxito, procese data.results.items; si has_more es true, continúe con next_cursor.

Su tabla de trabajos debe registrar:

  • El ID del lote interno y el ID de la tarea de SocQ.
  • El tipo de recurso y las URL de entrada canónicas.
  • Las marcas de tiempo de envío, de la última consulta y de finalización.
  • El estado terminal y la categoría de error normalizada.
  • El último cursor de resultados confirmado.

No vuelva a enviar solo porque un worker se reinició. Primero reanude desde el estado de la tarea guardado.

Los cuatro esquemas

Todos los registros comparten campos de identidad normalizados como id, platform, resource, type, url, created_at, collected_at y extra. Los campos específicos de cada recurso se mantienen explícitos.

Un perfil incluye name, description, avatar_url, métricas visibles de seguidores y conexiones, además de cargo, empresa, ubicación, experiencia, educación y habilidades opcionales en extra.

Una empresa agrega website, el logotipo, los conteos visibles de seguidores y empleados, y opcionalmente la industria, el tamaño, la sede, el año de fundación, las ubicaciones y las especialidades.

Una publicación incluye text, un author normalizado, métricas visibles de Me gusta, comentarios y reposts, medios, la hora de publicación y, opcionalmente, el tipo de publicación o los hashtags.

Un empleo usa name para el título, text para la descripción, author para la empresa que contrata y extra para la ubicación, el nivel de seniority, el tipo de contratación, las industrias, la URL de postulación, el estado de Easy Apply y el salario cuando es público.

Los datos faltantes deben permanecer como null o ausentes. Un conteo de seguidores oculto no es cero, un salario desconocido no significa que no haya pago y una marca de tiempo no disponible no es la hora de recopilación.

Worker en Python para URL mixtas de LinkedIn

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, urls):
    created = requests.post(
        f"{BASE}/linkedin/{resource}",
        headers=HEADERS,
        json={"urls": urls},
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", [
    "https://www.linkedin.com/in/satyanadella"
])

En producción, agregue reintentos solo para las fallas transitorias, guarde la tarea antes de consultar su estado y pagine los resultados en lugar de suponer que una respuesta contiene todo el lote.

Modelar por separado los registros de origen y las instantáneas

Los perfiles y las empresas cambian lentamente; las métricas de las publicaciones y la disponibilidad de los empleos pueden cambiar rápido. Use dos capas:

linkedin_entity
  platform_id
  resource
  canonical_url
  stable public fields
  first_seen_at
  last_seen_at

linkedin_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Haga upsert de la entidad por resource + id cuando exista un ID. De lo contrario, use como alternativa de respaldo una URL canónica y mantenga una vía de fusión para cuando se descubra el ID más adelante. Agregue instantáneas solo después de una recopilación exitosa y de la validación del esquema.

Para los empleos, conserve first_seen_at, last_seen_at y un estado de disponibilidad inferido localmente. Una actualización fallida no prueba que un empleo se haya cerrado.

Validar antes de cargar en producción

Como mínimo, verifique que:

  • platform sea igual a linkedin.
  • resource coincida con el endpoint usado.
  • Las URL devueltas sigan un patrón público esperado de LinkedIn.
  • Los ID y las URL no colisionen entre tipos de recurso incompatibles.
  • Los conteos no sean negativos cuando estén presentes.
  • created_at y collected_at se interpreten como marcas de tiempo.
  • Los arreglos y los objetos anidados tengan el tipo esperado.
  • Cada registro pueda rastrearse hasta una entrada y una tarea.

Ponga en cuarentena los registros no válidos en lugar de forzar su conversión en silencio. La deriva del esquema es más fácil de diagnosticar cuando se conservan la respuesta sin procesar, el error de validación, la versión del proveedor y la hora de recopilación.

Elegir un calendario de actualización por entidad

No haga scraping de todas las entidades con la misma frecuencia:

EntidadFrecuencia inicial razonableMotivo
PerfilSemanal o mensualLos campos profesionales públicos cambian con relativa lentitud
EmpresaSemanal o mensualLos campos firmográficos no son datos que cambien minuto a minuto
PublicaciónDe cada hora a diaria mientras esté activaLa interacción cambia rápido después de la publicación
EmpleoDiaria mientras esté abiertoLa disponibilidad y los detalles de postulación pueden cambiar

Use la necesidad del negocio, el consentimiento, los límites contractuales y la minimización de datos para reducir la recopilación innecesaria.

Uso responsable de los datos de LinkedIn

Recopile solo los campos públicos necesarios para un propósito legítimo. No eluda la autenticación, los perfiles privados, los controles de acceso, los límites de solicitudes ni las restricciones técnicas. Evite las inferencias sensibles y las decisiones automatizadas que puedan afectar de manera material a una persona sin las salvaguardas adecuadas.

Los datos de LinkedIn pueden ser datos personales. Establezca una base legal cuando se requiera, defina procedimientos de retención y eliminación, proteja las claves de API y los registros almacenados, respete los derechos aplicables y revise los términos vigentes de LinkedIn y la legislación local con asesoría legal calificada.

Modos de falla comunes

El endpoint no devuelve ningún elemento

Confirme que la URL sea pública, canónica, siga disponible y esté enrutada al endpoint correcto. Conserve el error a nivel de la entrada en lugar de convertirlo en un registro vacío.

Un campo desapareció

La visibilidad pública y el renderizado de las páginas cambian. Mantenga los campos como valores que admiten null y compare las marcas de tiempo de recopilación antes de diagnosticar una deriva del parser.

La misma persona aparece dos veces

Canonice las URL y prefiera un ID de plataforma público estable. Mantenga una tabla de alias en lugar de eliminar un registro sin evidencia.

Las métricas no coinciden con las del navegador

Los conteos son instantáneas del momento de la recopilación y pueden estar redondeados, ocultos, almacenados en caché o actualizados entre solicitudes. Compare las marcas de tiempo y las definiciones de los campos.

Scraping de LinkedIn: preguntas frecuentes (FAQ)

No hay una respuesta universal. Depende de la jurisdicción, los datos, el método de acceso, el propósito, el contrato y las salvaguardas. Este tutorial no constituye asesoría legal.

¿La API puede buscar en todos los perfiles o empleos de LinkedIn?

Los cuatro endpoints actuales de SocQ son endpoints de recopilación basados en URL. No prometen una búsqueda exhaustiva en LinkedIn.

¿Puedo hacer scraping de perfiles privados?

No. No eluda los controles de privacidad ni de acceso.

¿Debería guardar la respuesta sin procesar?

Sí, con la seguridad y la retención adecuadas. Ayuda a auditar las transformaciones y a diagnosticar cambios de esquema.

¿Qué clave debo usar para eliminar duplicados?

Prefiera resource + id; use como alternativa de respaldo una URL canónica normalizada cuando el ID público no esté disponible.

LINKEDIN API

Probar el flujo de trabajo con una URL pública de LinkedIn

Envíe entradas públicas y reciba registros normalizados con contexto de origen rastreable.

Ver las API de LinkedIn