LinkedInScrapingTutorial sulle API

Come estrarre profili, aziende e offerte di lavoro di LinkedIn con un’API

Guida pratica per raccogliere profili, pagine aziendali, post e offerte di lavoro pubblici di LinkedIn con endpoint API asincroni e JSON normalizzato.

SocQAggiornato il 19 luglio 20268 min di lettura

I dati di LinkedIn sembrano coerenti in un browser, ma le entità sottostanti non sono intercambiabili. Una persona ha esperienze e formazione, un’azienda ha settori e sedi, un post ha metriche di engagement che cambiano e un’offerta di lavoro ha campi su contratto e candidatura.

Questo tutorial costruisce un flusso di lavoro manutenibile per i dati pubblici con quattro API di LinkedIn di SocQ: profili, aziende, post e offerte di lavoro. Copre la preparazione degli URL, le attività asincrone, i record normalizzati, l’archiviazione, la convalida, le pianificazioni di aggiornamento e l’uso responsabile.

Risposta rapida: invia gli URL pubblici di LinkedIn all’endpoint POST /v1/linkedin/{resource} corrispondente, salva l’ID dell’attività restituito, interroga lo stato fino al completamento, poi convalida e fai l’upsert dei record normalizzati. Non inviare l’URL di un profilo all’endpoint delle offerte di lavoro e non dare per scontato che un campo pubblico mancante sia un valore vuoto.

API ufficiale di LinkedIn o API di dati pubblici?

Le API ufficiali di LinkedIn sono la scelta giusta quando un membro autorizza la tua applicazione, quando hai accesso a un prodotto partner approvato o quando il flusso di lavoro prevede pubblicazione o un’altra azione basata su permessi. L’accesso ufficiale usa OAuth e molti permessi e programmi partner richiedono un’approvazione esplicita. I risultati dei profili sono inoltre soggetti alle impostazioni di privacy dei membri e alle regole contrattuali sull’archiviazione.

Gli endpoint SocQ di questo tutorial accettano URL pubblici noti ed eseguono una raccolta in sola lettura. Non si autenticano come membro di LinkedIn, non cercano in tutto LinkedIn, non pubblicano contenuti e non concedono diritti sull’uso dei dati restituiti. Scegli il modello di accesso prima di scegliere l’endpoint: API ufficiali per le azioni autorizzate sugli account, un’API di dati pubblici supportata per letture pubbliche con ambito ristretto.

Scegliere l’endpoint LinkedIn corretto

SocQ espone attualmente quattro endpoint di lettura basati su URL:

RisorsaEndpointURL pubblico accettatoUso tipico
Profili/v1/linkedin/profiles/in/{slug}Identità pubblica, ruolo, esperienza, formazione
Aziende/v1/linkedin/companies/company/{slug}Dati firmografici, sito web, sedi, pubblico visibile
Post/v1/linkedin/posts/posts/, /pulse/, /feed/update/ supportatoIstantanee di contenuti ed engagement
Offerte di lavoro/v1/linkedin/jobs/jobs/view/{slug}Dettagli dell’offerta, sede, contratto e campi di candidatura

Sono operazioni di lettura pubblica. Usa i prodotti ufficiali di LinkedIn quando ti servono l’autorizzazione dei membri, la pubblicazione, gli annunci o un altro flusso di lavoro basato su permessi.

Normalizzare e instradare gli URL di input

Conserva l’URL inviato come provenienza, ma canonicalizza una copia prima dell’instradamento:

  1. Richiedi HTTPS e un hostname di LinkedIn.
  2. Rimuovi i parametri di query di tracciamento.
  3. Normalizza le varianti di lingua e di host mobile dove è sicuro farlo.
  4. Classifica il percorso in base al tipo di entità.
  5. Deduplica gli URL canonici all’interno del batch.
  6. Rifiuta i percorsi non supportati prima di spendere una richiesta.

Un semplice router può associare /in/ ai profili, /company/ alle aziende, i pattern noti dei post ai post e /jobs/view/ alle offerte di lavoro. Metti gli URL ambigui in una coda di revisione invece di tirare a indovinare.

Inviare un’attività di raccolta dei profili

curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": [
      "https://www.linkedin.com/in/satyanadella"
    ]
  }'

Usa la stessa struttura di richiesta per le altre risorse:

curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'

La risposta crea un’attività asincrona. Salva il suo ID accanto all’ID del batch interno e agli input.

Interrogare lo stato dell’attività senza creare duplicati

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Considera queued e running come stati attesi. Interroga con un backoff esponenziale e un ritardo massimo. Per un’attività riuscita, elabora data.results.items; quando has_more è true, continua con next_cursor.

La tabella dei job dovrebbe registrare:

  • ID del batch interno e ID dell’attività SocQ.
  • Tipo di risorsa e URL di input canonici.
  • Timestamp di invio, dell’ultima interrogazione e di completamento.
  • Stato finale e categoria dell’errore normalizzata.
  • Ultimo cursore dei risultati salvato.

Non reinviare solo perché un worker si è riavviato. Riparti prima dallo stato dell’attività salvato.

Capire i quattro schemi

Tutti i record condividono campi di identità normalizzati come id, platform, resource, type, url, created_at, collected_at e extra. I campi specifici di ogni risorsa restano espliciti.

Un profilo include name, description, avatar_url, metriche visibili di follower e collegamenti, oltre a ruolo, azienda, sede, esperienza, formazione e competenze facoltativi in extra.

Un’azienda aggiunge website, logo, conteggi visibili di follower e dipendenti, oltre a settore, dimensione, sede centrale, anno di fondazione, sedi e specializzazioni facoltativi.

Un post include text, author normalizzato, metriche visibili di like, commenti e repost, media, orario di pubblicazione e, facoltativamente, tipo di post o hashtag.

Un’offerta di lavoro usa name per il titolo, text per la descrizione, author per l’azienda che assume e extra per sede, livello di seniority, tipo di contratto, settori, URL di candidatura, stato di Easy Apply e retribuzione quando è pubblica.

I dati mancanti devono restare null o assenti. Un conteggio di follower nascosto non è zero, una retribuzione sconosciuta non significa lavoro non retribuito e un timestamp non disponibile non coincide con il momento della raccolta.

Worker Python per URL LinkedIn misti

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, urls):
    created = requests.post(
        f"{BASE}/linkedin/{resource}",
        headers=HEADERS,
        json={"urls": urls},
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", [
    "https://www.linkedin.com/in/satyanadella"
])

In produzione, aggiungi nuovi tentativi solo per i guasti transitori, salva l’attività prima di interrogarne lo stato e pagina i risultati invece di presumere che una singola risposta contenga l’intero batch.

Modellare separatamente record di origine e istantanee

Profili e aziende cambiano lentamente; le metriche dei post e la disponibilità delle offerte di lavoro possono cambiare rapidamente. Usa due livelli:

linkedin_entity
  platform_id
  resource
  canonical_url
  stable public fields
  first_seen_at
  last_seen_at

linkedin_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Fai l’upsert dell’entità per resource + id quando esiste un ID. Altrimenti usa come alternativa di riserva l’URL canonico e conserva un percorso di unione per quando l’ID verrà scoperto. Aggiungi le istantanee solo dopo una raccolta riuscita e la convalida dello schema.

Per le offerte di lavoro, conserva first_seen_at, last_seen_at e uno stato di disponibilità dedotto localmente. Un aggiornamento fallito non dimostra che un’offerta sia stata chiusa.

Convalidare prima del caricamento in produzione

Come minimo, verifica che:

  • platform sia uguale a linkedin.
  • resource corrisponda all’endpoint usato.
  • Gli URL restituiti seguano un pattern pubblico di LinkedIn previsto.
  • ID e URL non collidano tra tipi di risorsa incompatibili.
  • I conteggi, quando presenti, non siano negativi.
  • created_at e collected_at siano interpretabili come timestamp.
  • Array e oggetti annidati abbiano il tipo previsto.
  • Ogni record sia riconducibile a un input e a un’attività.

Metti in quarantena i record non validi invece di forzarne silenziosamente i tipi. La deriva dello schema è più facile da diagnosticare quando conservi la risposta grezza, l’errore di validazione, la versione del provider e il momento della raccolta.

Scegliere la pianificazione di aggiornamento per entità

Non estrarre ogni entità con la stessa frequenza:

EntitàCadenza iniziale sensataMotivo
ProfiloSettimanale o mensileI campi pubblici di carriera cambiano in modo relativamente lento
AziendaSettimanale o mensileI campi firmografici non sono dati da aggiornare al minuto
PostDa oraria a giornaliera finché è attivoL’engagement cambia rapidamente dopo la pubblicazione
Offerta di lavoroGiornaliera finché è apertaDisponibilità e dettagli della candidatura possono cambiare

Usa esigenze di business, consenso, limiti contrattuali e minimizzazione dei dati per ridurre la raccolta non necessaria.

Uso responsabile dei dati di LinkedIn

Raccogli solo i campi pubblici necessari per uno scopo legittimo. Non aggirare autenticazione, profili privati, controlli di accesso, limiti di frequenza o restrizioni tecniche. Evita deduzioni su aspetti sensibili e decisioni automatizzate che potrebbero incidere in modo significativo su una persona senza adeguate garanzie.

I dati di LinkedIn possono essere dati personali. Stabilisci una base giuridica dove richiesto, definisci procedure di conservazione ed eliminazione, proteggi le chiavi API e i record archiviati, rispetta i diritti applicabili e verifica i termini attuali di LinkedIn e la normativa locale con una consulenza legale qualificata.

Problemi più comuni

L’endpoint non restituisce alcun elemento

Verifica che l’URL sia pubblico, canonico, ancora disponibile e instradato all’endpoint corretto. Conserva l’errore a livello di input invece di trasformarlo in un record vuoto.

Un campo è sparito

La visibilità pubblica e il rendering delle pagine cambiano. Mantieni i campi nullable e confronta i timestamp di raccolta prima di diagnosticare una deriva del parser.

La stessa persona compare due volte

Canonicalizza gli URL e preferisci un ID pubblico stabile della piattaforma. Mantieni una tabella di alias invece di eliminare un record senza prove.

Le metriche non corrispondono a quelle del browser

I conteggi sono istantanee del momento della raccolta e possono essere arrotondati, nascosti, in cache o aggiornati tra una richiesta e l’altra. Confronta timestamp e definizioni dei campi.

Domande frequenti (FAQ)

Fare scraping di LinkedIn è legale?

Non esiste una risposta universale. Dipende da giurisdizione, dati, metodo di accesso, scopo, contratto e garanzie adottate. Questo tutorial non è una consulenza legale.

L’API può cercare tra tutti i profili o le offerte di lavoro di LinkedIn?

I quattro endpoint SocQ attuali sono endpoint di raccolta basati su URL. Non promettono una ricerca esaustiva su LinkedIn.

Posso estrarre i profili privati?

No. Non aggirare i controlli di privacy o di accesso.

Devo archiviare la risposta grezza?

Sì, con sicurezza e conservazione adeguate. Aiuta a verificare le trasformazioni e a diagnosticare i cambiamenti di schema.

Quale chiave devo usare per la deduplicazione?

Preferisci resource + id; usa come alternativa di riserva un URL canonico normalizzato quando l’ID pubblico non è disponibile.

LINKEDIN API

Prova il flusso di lavoro con un URL pubblico di LinkedIn

Invia input pubblici e ricevi record normalizzati con un contesto di origine tracciabile.

Scopri le API di LinkedIn