LinkedInScrapingTutoriel API

Comment scraper les profils, entreprises et offres d’emploi LinkedIn avec une API

Guide pratique pour collecter des profils LinkedIn publics, des pages d’entreprise, des publications et des offres d’emploi avec des endpoints d’API asynchrones et du JSON normalisé.

SocQMis à jour le 19 juillet 20269 min de lecture

Les données LinkedIn paraissent homogènes dans un navigateur, mais les entités sous-jacentes ne sont pas interchangeables. Une personne a un parcours et une formation, une entreprise a des secteurs d’activité et des implantations, une publication a des métriques d’engagement qui évoluent, et une offre d’emploi a des champs de contrat et de candidature.

Ce tutoriel construit un workflow de données publiques maintenable avec quatre API LinkedIn de SocQ : profils, entreprises, publications et offres d’emploi. Il couvre la préparation des URL, les tâches asynchrones, les enregistrements normalisés, le stockage, la validation, les calendriers d’actualisation et l’usage responsable.

Réponse rapide : envoyez des URL LinkedIn publiques à l’endpoint POST /v1/linkedin/{resource} correspondant, conservez l’ID de tâche renvoyé, interrogez l’état de la tâche jusqu’à son terme, puis validez les enregistrements normalisés et faites un upsert. N’envoyez pas l’URL d’un profil à l’endpoint des offres d’emploi, et ne considérez pas un champ public manquant comme une valeur vide.

API LinkedIn officielle ou API de données publiques ?

Les API officielles de LinkedIn sont le bon choix lorsqu’un membre autorise votre application, lorsque vous avez accès à un produit partenaire approuvé, ou lorsque le workflow implique de publier ou d’effectuer une autre action soumise à autorisation. L’accès officiel passe par OAuth, et de nombreuses permissions et programmes partenaires exigent une approbation explicite. Les résultats de profils sont en outre soumis aux paramètres de confidentialité des membres et aux règles contractuelles de stockage.

Les endpoints SocQ de ce tutoriel acceptent des URL publiques connues et effectuent une collecte en lecture seule. Ils ne s’authentifient pas comme un membre LinkedIn, ne recherchent pas dans tout LinkedIn, ne publient pas de contenu et n’accordent aucun droit d’utiliser les données renvoyées. Choisissez le modèle d’accès avant l’endpoint : les API officielles pour les actions autorisées sur un compte, une API de données publiques prise en charge pour des lectures publiques à périmètre étroit.

Choisir le bon endpoint LinkedIn

SocQ expose actuellement quatre endpoints de lecture basés sur des URL :

RessourceEndpointURL publique acceptéeUsage typique
Profils/v1/linkedin/profiles/in/{slug}Identité publique, poste, parcours, formation
Entreprises/v1/linkedin/companies/company/{slug}Données firmographiques, site web, implantations, audience visible
Publications/v1/linkedin/posts/posts/, /pulse/, /feed/update/ pris en chargeContenu et instantanés d’engagement
Offres d’emploi/v1/linkedin/jobs/jobs/view/{slug}Détails de l’offre, lieu, contrat et champs de candidature

Ce sont des opérations de lecture publique. Utilisez les produits officiels de LinkedIn lorsque vous avez besoin de l’autorisation d’un membre, de publication, de publicité ou d’un autre workflow soumis à autorisation.

Normaliser et router les URL d’entrée

Conservez l’URL soumise comme preuve de provenance, mais canonisez une copie avant le routage :

  1. Exigez HTTPS et un nom d’hôte LinkedIn.
  2. Supprimez les paramètres de requête de suivi.
  3. Normalisez les variantes de langue et d’hôte mobile lorsque c’est sans risque.
  4. Classez le chemin par type d’entité.
  5. Dédupliquez les URL canoniques au sein du lot.
  6. Rejetez les chemins non pris en charge avant de dépenser une requête.

Un routeur simple peut associer /in/ aux profils, /company/ aux entreprises, les modèles de publications connus aux publications et /jobs/view/ aux offres d’emploi. Placez les URL ambiguës dans une file de revue plutôt que de deviner.

Soumettre une tâche de collecte de profils

curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": [
      "https://www.linkedin.com/in/satyanadella"
    ]
  }'

Utilisez la même forme de requête pour les autres ressources :

curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'

La réponse crée une tâche asynchrone. Conservez son ID à côté de l’ID de lot interne et des entrées.

Interroger la tâche sans créer de doublons

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Considérez queued et running comme des états attendus. Interrogez avec un backoff exponentiel et un délai maximal. Pour une tâche réussie, traitez data.results.items ; lorsque has_more vaut true, poursuivez avec next_cursor.

Votre table de tâches doit consigner :

  • L’ID de lot interne et l’ID de tâche SocQ.
  • Le type de ressource et les URL d’entrée canoniques.
  • Les horodatages de soumission, de dernière interrogation et de fin.
  • Le statut final et la catégorie d’erreur normalisée.
  • Le dernier curseur de résultats validé.

Ne soumettez pas de nouveau une tâche simplement parce qu’un worker a redémarré. Reprenez d’abord à partir de l’état de tâche conservé.

Comprendre les quatre schémas

Tous les enregistrements partagent des champs d’identité normalisés comme id, platform, resource, type, url, created_at, collected_at et extra. Les champs propres à chaque ressource restent explicites.

Un profil comprend name, description, avatar_url, les métriques visibles d’abonnés et de relations, ainsi que, en option, le poste, l’entreprise, le lieu, le parcours, la formation et les compétences dans extra.

Une entreprise ajoute website, le logo, les nombres visibles d’abonnés et de salariés, ainsi que, en option, le secteur, la taille, le siège, la date de création, les implantations et les spécialités.

Une publication comprend text, un author normalisé, les métriques visibles de mentions « J’aime », de commentaires et de reposts, les médias, la date de publication, ainsi que, en option, le type de publication ou les hashtags.

Une offre d’emploi utilise name pour l’intitulé, text pour la description, author pour l’entreprise qui recrute et extra pour le lieu, le niveau d’ancienneté, le type de contrat, les secteurs, l’URL de candidature, le statut Easy Apply et le salaire lorsqu’il est public.

Les données manquantes doivent rester null ou absentes. Un nombre d’abonnés masqué n’est pas égal à zéro, un salaire inconnu ne signifie pas un poste non rémunéré, et un horodatage indisponible n’est pas l’heure de collecte.

Worker Python pour des URL LinkedIn mixtes

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, urls):
    created = requests.post(
        f"{BASE}/linkedin/{resource}",
        headers=HEADERS,
        json={"urls": urls},
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", [
    "https://www.linkedin.com/in/satyanadella"
])

En production, ajoutez des nouvelles tentatives uniquement pour les échecs transitoires, conservez la tâche avant de l’interroger, et paginez les résultats au lieu de supposer qu’une seule réponse contient tout le lot.

Modéliser séparément les enregistrements source et les instantanés

Les profils et les entreprises changent lentement ; les métriques des publications et la disponibilité des offres d’emploi peuvent changer rapidement. Utilisez deux couches :

linkedin_entity
  platform_id
  resource
  canonical_url
  stable public fields
  first_seen_at
  last_seen_at

linkedin_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Faites un upsert de l’entité par resource + id lorsqu’un ID existe. Sinon, utilisez l’URL canonique en solution de repli et prévoyez un chemin de fusion pour la découverte ultérieure de l’ID. N’ajoutez des instantanés qu’après une collecte réussie et une validation du schéma.

Pour les offres d’emploi, conservez first_seen_at, last_seen_at et un état de disponibilité déduit localement. L’échec d’une actualisation ne prouve pas qu’une offre est clôturée.

Valider avant de charger en production

Vérifiez au minimum que :

  • platform est égal à linkedin.
  • resource correspond à l’endpoint utilisé.
  • Les URL renvoyées respectent un modèle d’URL LinkedIn publique attendu.
  • Les ID et les URL n’entrent pas en collision entre types de ressources incompatibles.
  • Les compteurs sont positifs ou nuls lorsqu’ils sont présents.
  • created_at et collected_at peuvent être interprétés comme des horodatages.
  • Les tableaux et les objets imbriqués ont le type attendu.
  • Chaque enregistrement peut être relié à une entrée et à une tâche.

Placez les enregistrements invalides en quarantaine plutôt que de les convertir silencieusement. La dérive de schéma se diagnostique plus facilement si vous conservez la réponse brute, l’erreur de validation, la version du fournisseur et l’heure de collecte.

Choisir un calendrier d’actualisation par entité

Ne scrapez pas toutes les entités à la même fréquence :

EntitéCadence de départ raisonnableRaison
ProfilHebdomadaire ou mensuelleLes champs de carrière publics évoluent relativement lentement
EntrepriseHebdomadaire ou mensuelleLes champs firmographiques ne sont pas des données à la minute
PublicationHoraire à quotidienne tant qu’elle est activeL’engagement évolue vite après la publication
Offre d’emploiQuotidienne tant qu’elle est ouverteLa disponibilité et les détails de candidature peuvent changer

Appuyez-vous sur le besoin métier, le consentement, les limites contractuelles et la minimisation des données pour réduire la collecte inutile.

Usage responsable des données LinkedIn

Ne collectez que les champs publics nécessaires à une finalité légitime. Ne contournez ni l’authentification, ni les profils privés, ni les contrôles d’accès, ni les limites de débit, ni les restrictions techniques. Évitez les déductions sensibles et les décisions automatisées susceptibles d’affecter sensiblement une personne sans garanties appropriées.

Les données LinkedIn peuvent être des données personnelles. Établissez une base légale lorsque c’est requis, définissez des procédures de conservation et de suppression, sécurisez les clés API et les enregistrements stockés, respectez les droits applicables, et faites examiner les conditions actuelles de LinkedIn et la législation locale par des conseillers qualifiés.

Modes de défaillance courants

L’endpoint ne renvoie aucun élément

Vérifiez que l’URL est publique, canonique, toujours disponible et dirigée vers le bon endpoint. Conservez l’erreur au niveau de l’entrée plutôt que de la transformer en enregistrement vide.

Un champ a disparu

La visibilité publique et le rendu des pages changent. Gardez les champs nullables et comparez les horodatages de collecte avant de diagnostiquer une dérive du parseur.

La même personne apparaît deux fois

Canonisez les URL et privilégiez un ID de plateforme public stable. Tenez une table d’alias plutôt que de supprimer un enregistrement sans preuve.

Les métriques ne correspondent pas à celles du navigateur

Les compteurs sont des instantanés pris au moment de la collecte ; ils peuvent être arrondis, masqués, mis en cache ou mis à jour entre deux requêtes. Comparez les horodatages et les définitions des champs.

FAQ

Le scraping de LinkedIn est-il légal ?

Il n’existe pas de réponse universelle. Cela dépend de la juridiction, des données, de la méthode d’accès, de la finalité, du contrat et des garanties mises en place. Ce tutoriel ne constitue pas un avis juridique.

L’API peut-elle rechercher tous les profils ou toutes les offres d’emploi LinkedIn ?

Les quatre endpoints SocQ actuels collectent à partir d’URL. Ils ne promettent pas une recherche exhaustive dans LinkedIn.

Puis-je scraper des profils privés ?

Non. Ne contournez pas les contrôles de confidentialité ou d’accès.

Dois-je stocker la réponse brute ?

Oui, avec une sécurité et une conservation appropriées. Elle aide à auditer les transformations et à diagnostiquer les changements de schéma.

Quelle clé utiliser pour la déduplication ?

Privilégiez resource + id ; repliez-vous sur une URL canonique normalisée lorsque l’ID public n’est pas disponible.

LINKEDIN API

Tester le workflow avec une URL publique LinkedIn

Envoyez des entrées publiques et recevez des enregistrements normalisés, avec un contexte de source traçable.

Découvrir les API LinkedIn