Los datos de LinkedIn se ven uniformes en un navegador, pero las entidades subyacentes no son intercambiables. Una persona tiene experiencia y educación, una empresa tiene industrias y ubicaciones, una publicación tiene métricas de interacción que cambian y un empleo tiene campos de contratación y de postulación.
Este tutorial construye un flujo de datos públicos mantenible con cuatro API de LinkedIn de SocQ: perfiles, empresas, publicaciones y empleos. Abarca la preparación de URL, las tareas asíncronas, los registros normalizados, el almacenamiento, la validación, los calendarios de actualización y el uso responsable.
Respuesta rápida: envíe URL públicas de LinkedIn al endpoint
POST /v1/linkedin/{resource}correspondiente, guarde el ID de tarea devuelto, consulte el estado hasta que termine y luego valide y haga upsert de los registros normalizados. No envíe la URL de un perfil al endpoint de empleos ni suponga que un campo público faltante es un valor vacío.
¿API oficial de LinkedIn o una API de datos públicos?
Las API oficiales de LinkedIn son la opción correcta cuando un miembro autoriza su aplicación, cuando se tiene acceso a un producto de socio aprobado o cuando el flujo implica publicar contenido u otra acción con permisos. El acceso oficial usa OAuth, y muchos permisos y programas de socios requieren aprobación explícita. Los resultados de los perfiles también están sujetos a la configuración de privacidad de cada miembro y a las reglas contractuales de almacenamiento.
Los endpoints de SocQ de este tutorial aceptan URL públicas conocidas y realizan una recopilación de solo lectura. No se autentican como miembro de LinkedIn, no buscan en todo LinkedIn, no publican contenido ni otorgan derechos para usar los datos devueltos. Elija el modelo de acceso antes de elegir el endpoint: API oficiales para las acciones de cuentas autorizadas y una API de datos públicos compatible para lecturas públicas de alcance limitado.
Elegir el endpoint de LinkedIn correcto
Actualmente SocQ expone cuatro endpoints de lectura basados en URL:
| Recurso | Endpoint | URL pública aceptada | Uso típico |
|---|---|---|---|
| Perfiles | /v1/linkedin/profiles | /in/{slug} | Identidad pública, cargo, experiencia, educación |
| Empresas | /v1/linkedin/companies | /company/{slug} | Datos firmográficos, sitio web, ubicaciones, audiencia visible |
| Publicaciones | /v1/linkedin/posts | /posts/, /pulse/, /feed/update/ compatibles | Contenido e instantáneas de interacción |
| Empleos | /v1/linkedin/jobs | /jobs/view/{slug} | Detalles del empleo, ubicación, contratación y campos de postulación |
Son operaciones públicas de lectura. Use los productos oficiales de LinkedIn cuando necesite autorización de miembros, publicación, anuncios u otro flujo con permisos.
Normalizar y enrutar las URL de entrada
Guarde la URL enviada como registro de origen, pero canonice una copia antes de enrutarla:
- Exija HTTPS y un nombre de host de LinkedIn.
- Quite los parámetros de consulta de seguimiento.
- Normalice las variantes de idioma y de host móvil cuando sea seguro.
- Clasifique la ruta por tipo de entidad.
- Elimine duplicados de las URL canónicas dentro del lote.
- Rechace las rutas no compatibles antes de gastar una solicitud.
Un enrutador sencillo puede asignar /in/ a perfiles, /company/ a empresas, los patrones conocidos de publicaciones a publicaciones y /jobs/view/ a empleos. Mantenga las URL ambiguas en una cola de revisión en lugar de adivinar.
Enviar una tarea de recopilación de perfiles
curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": [
"https://www.linkedin.com/in/satyanadella"
]
}'
Use la misma estructura de solicitud para los demás recursos:
curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'
La respuesta crea una tarea asíncrona. Guarde su ID junto con el ID del lote interno y las entradas.
Consultar la tarea sin crear duplicados
curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
-H "Authorization: Bearer $SOCQ_API_KEY"
Considere esperados los estados queued y running. Consulte con retroceso exponencial y un retraso máximo. Cuando la tarea termina con éxito, procese data.results.items; si has_more es true, continúe con next_cursor.
Su tabla de trabajos debe registrar:
- El ID del lote interno y el ID de la tarea de SocQ.
- El tipo de recurso y las URL de entrada canónicas.
- Las marcas de tiempo de envío, de la última consulta y de finalización.
- El estado terminal y la categoría de error normalizada.
- El último cursor de resultados confirmado.
No vuelva a enviar solo porque un worker se reinició. Primero reanude desde el estado de la tarea guardado.
Los cuatro esquemas
Todos los registros comparten campos de identidad normalizados como id, platform, resource, type, url, created_at, collected_at y extra. Los campos específicos de cada recurso se mantienen explícitos.
Un perfil incluye name, description, avatar_url, métricas visibles de seguidores y conexiones, además de cargo, empresa, ubicación, experiencia, educación y habilidades opcionales en extra.
Una empresa agrega website, el logotipo, los conteos visibles de seguidores y empleados, y opcionalmente la industria, el tamaño, la sede, el año de fundación, las ubicaciones y las especialidades.
Una publicación incluye text, un author normalizado, métricas visibles de Me gusta, comentarios y reposts, medios, la hora de publicación y, opcionalmente, el tipo de publicación o los hashtags.
Un empleo usa name para el título, text para la descripción, author para la empresa que contrata y extra para la ubicación, el nivel de seniority, el tipo de contratación, las industrias, la URL de postulación, el estado de Easy Apply y el salario cuando es público.
Los datos faltantes deben permanecer como null o ausentes. Un conteo de seguidores oculto no es cero, un salario desconocido no significa que no haya pago y una marca de tiempo no disponible no es la hora de recopilación.
Worker en Python para URL mixtas de LinkedIn
import time
import requests
BASE = "https://api.socq.ai/v1"
HEADERS = {
"Authorization": f"Bearer {SOCQ_API_KEY}",
"Content-Type": "application/json",
}
def collect(resource, urls):
created = requests.post(
f"{BASE}/linkedin/{resource}",
headers=HEADERS,
json={"urls": urls},
timeout=30,
)
created.raise_for_status()
task_id = created.json()["data"]["task_id"]
delay = 2
while True:
response = requests.get(
f"{BASE}/tasks/{task_id}",
headers=HEADERS,
timeout=30,
)
response.raise_for_status()
task = response.json()["data"]
if task["status"] == "succeeded":
return task["results"]["items"]
if task["status"] in {"failed", "cancelled"}:
raise RuntimeError(task)
time.sleep(delay)
delay = min(delay * 1.5, 15)
profiles = collect("profiles", [
"https://www.linkedin.com/in/satyanadella"
])
En producción, agregue reintentos solo para las fallas transitorias, guarde la tarea antes de consultar su estado y pagine los resultados en lugar de suponer que una respuesta contiene todo el lote.
Modelar por separado los registros de origen y las instantáneas
Los perfiles y las empresas cambian lentamente; las métricas de las publicaciones y la disponibilidad de los empleos pueden cambiar rápido. Use dos capas:
linkedin_entity
platform_id
resource
canonical_url
stable public fields
first_seen_at
last_seen_at
linkedin_snapshot
platform_id
collected_at
visible metrics
mutable public fields
source_task_id
Haga upsert de la entidad por resource + id cuando exista un ID. De lo contrario, use como alternativa de respaldo una URL canónica y mantenga una vía de fusión para cuando se descubra el ID más adelante. Agregue instantáneas solo después de una recopilación exitosa y de la validación del esquema.
Para los empleos, conserve first_seen_at, last_seen_at y un estado de disponibilidad inferido localmente. Una actualización fallida no prueba que un empleo se haya cerrado.
Validar antes de cargar en producción
Como mínimo, verifique que:
platformsea igual alinkedin.resourcecoincida con el endpoint usado.- Las URL devueltas sigan un patrón público esperado de LinkedIn.
- Los ID y las URL no colisionen entre tipos de recurso incompatibles.
- Los conteos no sean negativos cuando estén presentes.
created_atycollected_atse interpreten como marcas de tiempo.- Los arreglos y los objetos anidados tengan el tipo esperado.
- Cada registro pueda rastrearse hasta una entrada y una tarea.
Ponga en cuarentena los registros no válidos en lugar de forzar su conversión en silencio. La deriva del esquema es más fácil de diagnosticar cuando se conservan la respuesta sin procesar, el error de validación, la versión del proveedor y la hora de recopilación.
Elegir un calendario de actualización por entidad
No haga scraping de todas las entidades con la misma frecuencia:
| Entidad | Frecuencia inicial razonable | Motivo |
|---|---|---|
| Perfil | Semanal o mensual | Los campos profesionales públicos cambian con relativa lentitud |
| Empresa | Semanal o mensual | Los campos firmográficos no son datos que cambien minuto a minuto |
| Publicación | De cada hora a diaria mientras esté activa | La interacción cambia rápido después de la publicación |
| Empleo | Diaria mientras esté abierto | La disponibilidad y los detalles de postulación pueden cambiar |
Use la necesidad del negocio, el consentimiento, los límites contractuales y la minimización de datos para reducir la recopilación innecesaria.
Uso responsable de los datos de LinkedIn
Recopile solo los campos públicos necesarios para un propósito legítimo. No eluda la autenticación, los perfiles privados, los controles de acceso, los límites de solicitudes ni las restricciones técnicas. Evite las inferencias sensibles y las decisiones automatizadas que puedan afectar de manera material a una persona sin las salvaguardas adecuadas.
Los datos de LinkedIn pueden ser datos personales. Establezca una base legal cuando se requiera, defina procedimientos de retención y eliminación, proteja las claves de API y los registros almacenados, respete los derechos aplicables y revise los términos vigentes de LinkedIn y la legislación local con asesoría legal calificada.
Modos de falla comunes
El endpoint no devuelve ningún elemento
Confirme que la URL sea pública, canónica, siga disponible y esté enrutada al endpoint correcto. Conserve el error a nivel de la entrada en lugar de convertirlo en un registro vacío.
Un campo desapareció
La visibilidad pública y el renderizado de las páginas cambian. Mantenga los campos como valores que admiten null y compare las marcas de tiempo de recopilación antes de diagnosticar una deriva del parser.
La misma persona aparece dos veces
Canonice las URL y prefiera un ID de plataforma público estable. Mantenga una tabla de alias en lugar de eliminar un registro sin evidencia.
Las métricas no coinciden con las del navegador
Los conteos son instantáneas del momento de la recopilación y pueden estar redondeados, ocultos, almacenados en caché o actualizados entre solicitudes. Compare las marcas de tiempo y las definiciones de los campos.
Scraping de LinkedIn: preguntas frecuentes (FAQ)
¿Es legal hacer scraping de LinkedIn?
No hay una respuesta universal. Depende de la jurisdicción, los datos, el método de acceso, el propósito, el contrato y las salvaguardas. Este tutorial no constituye asesoría legal.
¿La API puede buscar en todos los perfiles o empleos de LinkedIn?
Los cuatro endpoints actuales de SocQ son endpoints de recopilación basados en URL. No prometen una búsqueda exhaustiva en LinkedIn.
¿Puedo hacer scraping de perfiles privados?
No. No eluda los controles de privacidad ni de acceso.
¿Debería guardar la respuesta sin procesar?
Sí, con la seguridad y la retención adecuadas. Ayuda a auditar las transformaciones y a diagnosticar cambios de esquema.
¿Qué clave debo usar para eliminar duplicados?
Prefiera resource + id; use como alternativa de respaldo una URL canónica normalizada cuando el ID público no esté disponible.
LINKEDIN API
Probar el flujo de trabajo con una URL pública de LinkedIn
Envíe entradas públicas y reciba registros normalizados con contexto de origen rastreable.
Ver las API de LinkedIn