Les données LinkedIn paraissent homogènes dans un navigateur, mais les entités sous-jacentes ne sont pas interchangeables. Une personne a un parcours et une formation, une entreprise a des secteurs d’activité et des implantations, une publication a des métriques d’engagement qui évoluent, et une offre d’emploi a des champs de contrat et de candidature.
Ce tutoriel construit un workflow de données publiques maintenable avec quatre API LinkedIn de SocQ : profils, entreprises, publications et offres d’emploi. Il couvre la préparation des URL, les tâches asynchrones, les enregistrements normalisés, le stockage, la validation, les calendriers d’actualisation et l’usage responsable.
Réponse rapide : envoyez des URL LinkedIn publiques à l’endpoint
POST /v1/linkedin/{resource}correspondant, conservez l’ID de tâche renvoyé, interrogez l’état de la tâche jusqu’à son terme, puis validez les enregistrements normalisés et faites un upsert. N’envoyez pas l’URL d’un profil à l’endpoint des offres d’emploi, et ne considérez pas un champ public manquant comme une valeur vide.
API LinkedIn officielle ou API de données publiques ?
Les API officielles de LinkedIn sont le bon choix lorsqu’un membre autorise votre application, lorsque vous avez accès à un produit partenaire approuvé, ou lorsque le workflow implique de publier ou d’effectuer une autre action soumise à autorisation. L’accès officiel passe par OAuth, et de nombreuses permissions et programmes partenaires exigent une approbation explicite. Les résultats de profils sont en outre soumis aux paramètres de confidentialité des membres et aux règles contractuelles de stockage.
Les endpoints SocQ de ce tutoriel acceptent des URL publiques connues et effectuent une collecte en lecture seule. Ils ne s’authentifient pas comme un membre LinkedIn, ne recherchent pas dans tout LinkedIn, ne publient pas de contenu et n’accordent aucun droit d’utiliser les données renvoyées. Choisissez le modèle d’accès avant l’endpoint : les API officielles pour les actions autorisées sur un compte, une API de données publiques prise en charge pour des lectures publiques à périmètre étroit.
Choisir le bon endpoint LinkedIn
SocQ expose actuellement quatre endpoints de lecture basés sur des URL :
| Ressource | Endpoint | URL publique acceptée | Usage typique |
|---|---|---|---|
| Profils | /v1/linkedin/profiles | /in/{slug} | Identité publique, poste, parcours, formation |
| Entreprises | /v1/linkedin/companies | /company/{slug} | Données firmographiques, site web, implantations, audience visible |
| Publications | /v1/linkedin/posts | /posts/, /pulse/, /feed/update/ pris en charge | Contenu et instantanés d’engagement |
| Offres d’emploi | /v1/linkedin/jobs | /jobs/view/{slug} | Détails de l’offre, lieu, contrat et champs de candidature |
Ce sont des opérations de lecture publique. Utilisez les produits officiels de LinkedIn lorsque vous avez besoin de l’autorisation d’un membre, de publication, de publicité ou d’un autre workflow soumis à autorisation.
Normaliser et router les URL d’entrée
Conservez l’URL soumise comme preuve de provenance, mais canonisez une copie avant le routage :
- Exigez HTTPS et un nom d’hôte LinkedIn.
- Supprimez les paramètres de requête de suivi.
- Normalisez les variantes de langue et d’hôte mobile lorsque c’est sans risque.
- Classez le chemin par type d’entité.
- Dédupliquez les URL canoniques au sein du lot.
- Rejetez les chemins non pris en charge avant de dépenser une requête.
Un routeur simple peut associer /in/ aux profils, /company/ aux entreprises, les modèles de publications connus aux publications et /jobs/view/ aux offres d’emploi. Placez les URL ambiguës dans une file de revue plutôt que de deviner.
Soumettre une tâche de collecte de profils
curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": [
"https://www.linkedin.com/in/satyanadella"
]
}'
Utilisez la même forme de requête pour les autres ressources :
curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'
La réponse crée une tâche asynchrone. Conservez son ID à côté de l’ID de lot interne et des entrées.
Interroger la tâche sans créer de doublons
curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
-H "Authorization: Bearer $SOCQ_API_KEY"
Considérez queued et running comme des états attendus. Interrogez avec un backoff exponentiel et un délai maximal. Pour une tâche réussie, traitez data.results.items ; lorsque has_more vaut true, poursuivez avec next_cursor.
Votre table de tâches doit consigner :
- L’ID de lot interne et l’ID de tâche SocQ.
- Le type de ressource et les URL d’entrée canoniques.
- Les horodatages de soumission, de dernière interrogation et de fin.
- Le statut final et la catégorie d’erreur normalisée.
- Le dernier curseur de résultats validé.
Ne soumettez pas de nouveau une tâche simplement parce qu’un worker a redémarré. Reprenez d’abord à partir de l’état de tâche conservé.
Comprendre les quatre schémas
Tous les enregistrements partagent des champs d’identité normalisés comme id, platform, resource, type, url, created_at, collected_at et extra. Les champs propres à chaque ressource restent explicites.
Un profil comprend name, description, avatar_url, les métriques visibles d’abonnés et de relations, ainsi que, en option, le poste, l’entreprise, le lieu, le parcours, la formation et les compétences dans extra.
Une entreprise ajoute website, le logo, les nombres visibles d’abonnés et de salariés, ainsi que, en option, le secteur, la taille, le siège, la date de création, les implantations et les spécialités.
Une publication comprend text, un author normalisé, les métriques visibles de mentions « J’aime », de commentaires et de reposts, les médias, la date de publication, ainsi que, en option, le type de publication ou les hashtags.
Une offre d’emploi utilise name pour l’intitulé, text pour la description, author pour l’entreprise qui recrute et extra pour le lieu, le niveau d’ancienneté, le type de contrat, les secteurs, l’URL de candidature, le statut Easy Apply et le salaire lorsqu’il est public.
Les données manquantes doivent rester null ou absentes. Un nombre d’abonnés masqué n’est pas égal à zéro, un salaire inconnu ne signifie pas un poste non rémunéré, et un horodatage indisponible n’est pas l’heure de collecte.
Worker Python pour des URL LinkedIn mixtes
import time
import requests
BASE = "https://api.socq.ai/v1"
HEADERS = {
"Authorization": f"Bearer {SOCQ_API_KEY}",
"Content-Type": "application/json",
}
def collect(resource, urls):
created = requests.post(
f"{BASE}/linkedin/{resource}",
headers=HEADERS,
json={"urls": urls},
timeout=30,
)
created.raise_for_status()
task_id = created.json()["data"]["task_id"]
delay = 2
while True:
response = requests.get(
f"{BASE}/tasks/{task_id}",
headers=HEADERS,
timeout=30,
)
response.raise_for_status()
task = response.json()["data"]
if task["status"] == "succeeded":
return task["results"]["items"]
if task["status"] in {"failed", "cancelled"}:
raise RuntimeError(task)
time.sleep(delay)
delay = min(delay * 1.5, 15)
profiles = collect("profiles", [
"https://www.linkedin.com/in/satyanadella"
])
En production, ajoutez des nouvelles tentatives uniquement pour les échecs transitoires, conservez la tâche avant de l’interroger, et paginez les résultats au lieu de supposer qu’une seule réponse contient tout le lot.
Modéliser séparément les enregistrements source et les instantanés
Les profils et les entreprises changent lentement ; les métriques des publications et la disponibilité des offres d’emploi peuvent changer rapidement. Utilisez deux couches :
linkedin_entity
platform_id
resource
canonical_url
stable public fields
first_seen_at
last_seen_at
linkedin_snapshot
platform_id
collected_at
visible metrics
mutable public fields
source_task_id
Faites un upsert de l’entité par resource + id lorsqu’un ID existe. Sinon, utilisez l’URL canonique en solution de repli et prévoyez un chemin de fusion pour la découverte ultérieure de l’ID. N’ajoutez des instantanés qu’après une collecte réussie et une validation du schéma.
Pour les offres d’emploi, conservez first_seen_at, last_seen_at et un état de disponibilité déduit localement. L’échec d’une actualisation ne prouve pas qu’une offre est clôturée.
Valider avant de charger en production
Vérifiez au minimum que :
platformest égal àlinkedin.resourcecorrespond à l’endpoint utilisé.- Les URL renvoyées respectent un modèle d’URL LinkedIn publique attendu.
- Les ID et les URL n’entrent pas en collision entre types de ressources incompatibles.
- Les compteurs sont positifs ou nuls lorsqu’ils sont présents.
created_atetcollected_atpeuvent être interprétés comme des horodatages.- Les tableaux et les objets imbriqués ont le type attendu.
- Chaque enregistrement peut être relié à une entrée et à une tâche.
Placez les enregistrements invalides en quarantaine plutôt que de les convertir silencieusement. La dérive de schéma se diagnostique plus facilement si vous conservez la réponse brute, l’erreur de validation, la version du fournisseur et l’heure de collecte.
Choisir un calendrier d’actualisation par entité
Ne scrapez pas toutes les entités à la même fréquence :
| Entité | Cadence de départ raisonnable | Raison |
|---|---|---|
| Profil | Hebdomadaire ou mensuelle | Les champs de carrière publics évoluent relativement lentement |
| Entreprise | Hebdomadaire ou mensuelle | Les champs firmographiques ne sont pas des données à la minute |
| Publication | Horaire à quotidienne tant qu’elle est active | L’engagement évolue vite après la publication |
| Offre d’emploi | Quotidienne tant qu’elle est ouverte | La disponibilité et les détails de candidature peuvent changer |
Appuyez-vous sur le besoin métier, le consentement, les limites contractuelles et la minimisation des données pour réduire la collecte inutile.
Usage responsable des données LinkedIn
Ne collectez que les champs publics nécessaires à une finalité légitime. Ne contournez ni l’authentification, ni les profils privés, ni les contrôles d’accès, ni les limites de débit, ni les restrictions techniques. Évitez les déductions sensibles et les décisions automatisées susceptibles d’affecter sensiblement une personne sans garanties appropriées.
Les données LinkedIn peuvent être des données personnelles. Établissez une base légale lorsque c’est requis, définissez des procédures de conservation et de suppression, sécurisez les clés API et les enregistrements stockés, respectez les droits applicables, et faites examiner les conditions actuelles de LinkedIn et la législation locale par des conseillers qualifiés.
Modes de défaillance courants
L’endpoint ne renvoie aucun élément
Vérifiez que l’URL est publique, canonique, toujours disponible et dirigée vers le bon endpoint. Conservez l’erreur au niveau de l’entrée plutôt que de la transformer en enregistrement vide.
Un champ a disparu
La visibilité publique et le rendu des pages changent. Gardez les champs nullables et comparez les horodatages de collecte avant de diagnostiquer une dérive du parseur.
La même personne apparaît deux fois
Canonisez les URL et privilégiez un ID de plateforme public stable. Tenez une table d’alias plutôt que de supprimer un enregistrement sans preuve.
Les métriques ne correspondent pas à celles du navigateur
Les compteurs sont des instantanés pris au moment de la collecte ; ils peuvent être arrondis, masqués, mis en cache ou mis à jour entre deux requêtes. Comparez les horodatages et les définitions des champs.
FAQ
Le scraping de LinkedIn est-il légal ?
Il n’existe pas de réponse universelle. Cela dépend de la juridiction, des données, de la méthode d’accès, de la finalité, du contrat et des garanties mises en place. Ce tutoriel ne constitue pas un avis juridique.
L’API peut-elle rechercher tous les profils ou toutes les offres d’emploi LinkedIn ?
Les quatre endpoints SocQ actuels collectent à partir d’URL. Ils ne promettent pas une recherche exhaustive dans LinkedIn.
Puis-je scraper des profils privés ?
Non. Ne contournez pas les contrôles de confidentialité ou d’accès.
Dois-je stocker la réponse brute ?
Oui, avec une sécurité et une conservation appropriées. Elle aide à auditer les transformations et à diagnostiquer les changements de schéma.
Quelle clé utiliser pour la déduplication ?
Privilégiez resource + id ; repliez-vous sur une URL canonique normalisée lorsque l’ID public n’est pas disponible.
LINKEDIN API
Tester le workflow avec une URL publique LinkedIn
Envoyez des entrées publiques et recevez des enregistrements normalisés, avec un contexte de source traçable.
Découvrir les API LinkedIn