LinkedInScrapingAPI-Anleitung

LinkedIn-Profile, Unternehmen und Jobs per API scrapen: Anleitung

Praxisleitfaden zur Erfassung öffentlicher LinkedIn-Profile, Unternehmensseiten, Beiträge und Stellenanzeigen mit asynchronen API-Endpunkten und normalisiertem JSON.

SocQAktualisiert am 19. Juli 20268 Min. Lesezeit

LinkedIn-Daten wirken im Browser einheitlich, die zugrunde liegenden Entitäten sind aber nicht austauschbar. Eine Person hat Berufserfahrung und Ausbildung, ein Unternehmen hat Branchen und Standorte, ein Beitrag hat sich ändernde Interaktionskennzahlen, und ein Job hat Felder zu Beschäftigung und Bewerbung.

Diese Anleitung baut einen wartbaren Workflow für öffentliche Daten mit vier SocQ-LinkedIn-APIs auf: Profile, Unternehmen, Beiträge und Jobs. Sie behandelt die Aufbereitung von URLs, asynchrone Aufgaben, normalisierte Datensätze, Speicherung, Validierung, Aktualisierungspläne und verantwortungsvolle Nutzung.

Kurze Antwort: Senden Sie öffentliche LinkedIn-URLs an den passenden Endpunkt POST /v1/linkedin/{resource}, speichern Sie die zurückgegebene Aufgaben-ID, fragen Sie bis zum Abschluss ab und validieren Sie die normalisierten Datensätze, bevor Sie sie per Upsert speichern. Senden Sie keine Profil-URL an den Jobs-Endpunkt und gehen Sie nicht davon aus, dass ein fehlendes öffentliches Feld ein leerer Wert ist.

Offizielle LinkedIn API oder API für öffentliche Daten?

Die offiziellen APIs von LinkedIn sind die richtige Wahl, wenn ein Mitglied Ihre Anwendung autorisiert, wenn Sie Zugang zu einem genehmigten Partnerprodukt haben oder wenn der Workflow Veröffentlichung oder eine andere berechtigungspflichtige Aktion umfasst. Der offizielle Zugang nutzt OAuth, und viele Berechtigungen und Partnerprogramme erfordern eine ausdrückliche Genehmigung. Profilergebnisse unterliegen außerdem den Datenschutzeinstellungen der Mitglieder und vertraglichen Regeln zur Speicherung.

Die SocQ-Endpunkte in dieser Anleitung akzeptieren bekannte öffentliche URLs und erfassen rein lesend. Sie authentifizieren sich nicht als LinkedIn-Mitglied, durchsuchen nicht ganz LinkedIn, veröffentlichen keine Inhalte und gewähren keine Rechte zur Nutzung der zurückgegebenen Daten. Wählen Sie das Zugriffsmodell, bevor Sie den Endpunkt wählen: offizielle APIs für autorisierte Kontoaktionen, eine unterstützte API für öffentliche Daten für eng begrenzte lesende Zugriffe auf öffentliche Inhalte.

Den richtigen LinkedIn-Endpunkt wählen

SocQ bietet derzeit vier URL-basierte lesende Endpunkte:

RessourceEndpunktAkzeptierte öffentliche URLTypische Nutzung
Profile/v1/linkedin/profiles/in/{slug}Öffentliche Identität, Rolle, Berufserfahrung, Ausbildung
Unternehmen/v1/linkedin/companies/company/{slug}Firmendaten, Website, Standorte, sichtbare Zielgruppe
Beiträge/v1/linkedin/posts/posts/, /pulse/, unterstützte /feed/update/Inhalte und Momentaufnahmen der Interaktion
Jobs/v1/linkedin/jobs/jobs/view/{slug}Jobdetails, Standort, Felder zu Beschäftigung und Bewerbung

Das sind lesende Operationen auf öffentlichen Daten. Nutzen Sie die offiziellen Produkte von LinkedIn, wenn Sie die Autorisierung durch Mitglieder, Veröffentlichung, Werbung oder einen anderen berechtigungspflichtigen Workflow brauchen.

Eingabe-URLs normalisieren und weiterleiten

Speichern Sie die übermittelte URL als Herkunftsnachweis, kanonisieren Sie aber vor der Weiterleitung eine Kopie:

  1. Verlangen Sie HTTPS und einen LinkedIn-Hostnamen.
  2. Entfernen Sie Tracking-Parameter aus der Query.
  3. Normalisieren Sie Varianten für Sprache und mobilen Host, wo dies sicher ist.
  4. Ordnen Sie den Pfad einem Entitätstyp zu.
  5. Entfernen Sie Duplikate kanonischer URLs innerhalb des Batches.
  6. Weisen Sie nicht unterstützte Pfade zurück, bevor Sie eine Anfrage verbrauchen.

Ein einfacher Router kann /in/ Profilen zuordnen, /company/ Unternehmen, bekannte Beitragsmuster Beiträgen und /jobs/view/ Jobs. Legen Sie mehrdeutige URLs in eine Warteschlange zur Prüfung, statt zu raten.

Eine Aufgabe zur Profilerfassung übermitteln

curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": [
      "https://www.linkedin.com/in/satyanadella"
    ]
  }'

Für die anderen Ressourcen verwenden Sie dieselbe Struktur der Anfrage:

curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'

Die Antwort erzeugt eine asynchrone Aufgabe. Speichern Sie deren ID zusammen mit Ihrer internen Batch-ID und den Eingaben.

Die Aufgabe abfragen, ohne Duplikate zu erzeugen

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Behandeln Sie queued und running als erwartete Zustände. Fragen Sie mit exponentiellem Backoff und einer maximalen Verzögerung ab. Verarbeiten Sie bei einer erfolgreichen Aufgabe data.results.items; ist has_more true, fahren Sie mit next_cursor fort.

Ihre Job-Tabelle sollte Folgendes festhalten:

  • Interne Batch-ID und SocQ-Aufgaben-ID.
  • Ressourcentyp und kanonische Eingabe-URLs.
  • Zeitstempel für Übermittlung, letzte Abfrage und Abschluss.
  • Endstatus und normalisierte Fehlerkategorie.
  • Zuletzt übernommenen Cursor der Ergebnisse.

Übermitteln Sie nicht erneut, nur weil ein Worker neu gestartet wurde. Setzen Sie zuerst mit dem gespeicherten Zustand der Aufgabe fort.

Die vier Schemas verstehen

Alle Datensätze teilen normalisierte Identitätsfelder wie id, platform, resource, type, url, created_at, collected_at und extra. Ressourcenspezifische Felder bleiben explizit.

Ein Profil enthält name, description, avatar_url, sichtbare Kennzahlen zu Followern und Kontakten sowie optional Rolle, Unternehmen, Standort, Berufserfahrung, Ausbildung und Skills in extra.

Ein Unternehmen ergänzt website, Logo, sichtbare Zahlen zu Followern und Mitarbeitern sowie optional Branche, Größe, Hauptsitz, Gründung, Standorte und Spezialgebiete.

Ein Beitrag enthält text, den normalisierten author, sichtbare Kennzahlen zu Likes, Kommentaren und Reposts, Medien, Veröffentlichungszeitpunkt sowie optional Beitragstyp oder Hashtags.

Ein Job nutzt name für den Titel, text für die Beschreibung, author für das einstellende Unternehmen und extra für Standort, Karrierestufe, Beschäftigungsart, Branchen, Bewerbungs-URL, Easy-Apply-Status und – wenn öffentlich – Gehalt.

Fehlende Daten müssen null bleiben oder fehlen. Eine verborgene Follower-Zahl ist nicht null, ein unbekanntes Gehalt bedeutet nicht unbezahlt, und ein nicht verfügbarer Zeitstempel ist nicht der Zeitpunkt der Erfassung.

Python-Worker für gemischte LinkedIn-URLs

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, urls):
    created = requests.post(
        f"{BASE}/linkedin/{resource}",
        headers=HEADERS,
        json={"urls": urls},
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", [
    "https://www.linkedin.com/in/satyanadella"
])

Ergänzen Sie im Produktivbetrieb Wiederholungen nur für vorübergehende Fehler, speichern Sie die Aufgabe vor dem Abfragen und paginieren Sie die Ergebnisse, statt davon auszugehen, dass eine Antwort den ganzen Batch enthält.

Quelldatensätze und Momentaufnahmen getrennt modellieren

Profile und Unternehmen ändern sich langsam; Kennzahlen von Beiträgen und die Verfügbarkeit von Jobs können sich schnell ändern. Verwenden Sie zwei Ebenen:

linkedin_entity
  platform_id
  resource
  canonical_url
  stable public fields
  first_seen_at
  last_seen_at

linkedin_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Führen Sie für die Entität ein Upsert nach resource + id durch, wenn eine ID existiert. Andernfalls nutzen Sie die kanonische URL als Ausweichwert und halten einen Pfad für das spätere Zusammenführen bereit, wenn die ID bekannt wird. Hängen Sie Momentaufnahmen erst nach einer erfolgreichen Erfassung und Schema-Validierung an.

Behalten Sie bei Jobs first_seen_at, last_seen_at und einen lokal abgeleiteten Verfügbarkeitsstatus. Eine fehlgeschlagene Aktualisierung beweist nicht, dass ein Job geschlossen wurde.

Vor dem Laden in die Produktion validieren

Prüfen Sie mindestens:

  • platform entspricht linkedin.
  • resource passt zum verwendeten Endpunkt.
  • Zurückgegebene URLs folgen einem erwarteten öffentlichen LinkedIn-Muster.
  • IDs und URLs kollidieren nicht zwischen inkompatiblen Ressourcentypen.
  • Zähler sind, sofern vorhanden, nicht negativ.
  • created_at und collected_at lassen sich als Zeitstempel parsen.
  • Arrays und verschachtelte Objekte haben den erwarteten Typ.
  • Jeder Datensatz lässt sich einer Eingabe und einer Aufgabe zuordnen.

Stellen Sie ungültige Datensätze in Quarantäne, statt sie stillschweigend umzuwandeln. Schema-Änderungen lassen sich leichter diagnostizieren, wenn Sie die rohe Antwort, den Validierungsfehler, die Version des Anbieters und den Zeitpunkt der Erfassung aufbewahren.

Den Aktualisierungsplan je Entität wählen

Scrapen Sie nicht jede Entität mit derselben Frequenz:

EntitätSinnvoller AusgangstaktGrund
ProfilWöchentlich oder monatlichÖffentliche Karrierefelder ändern sich relativ langsam
UnternehmenWöchentlich oder monatlichFirmendaten sind keine Minutendaten
BeitragStündlich bis täglich, solange aktivDie Interaktion ändert sich nach der Veröffentlichung schnell
JobTäglich, solange offenVerfügbarkeit und Bewerbungsdetails können sich ändern

Nutzen Sie Geschäftsbedarf, Einwilligung, vertragliche Grenzen und Datenminimierung, um unnötige Erfassung zu verringern.

Verantwortungsvolle Nutzung von LinkedIn-Daten

Erfassen Sie nur öffentliche Felder, die für einen legitimen Zweck nötig sind. Umgehen Sie weder Authentifizierung noch private Profile, Zugriffskontrollen, Ratenbegrenzungen oder technische Beschränkungen. Vermeiden Sie sensible Rückschlüsse und automatisierte Entscheidungen, die eine Person ohne angemessene Schutzmaßnahmen wesentlich betreffen könnten.

LinkedIn-Daten können personenbezogene Daten sein. Schaffen Sie, wo erforderlich, eine Rechtsgrundlage, definieren Sie Verfahren für Aufbewahrung und Löschung, sichern Sie API-Schlüssel und gespeicherte Datensätze, achten Sie die geltenden Rechte und prüfen Sie die aktuellen Bedingungen von LinkedIn sowie das örtliche Recht gemeinsam mit qualifizierter Rechtsberatung.

Typische Fehlerbilder

Der Endpunkt liefert kein Element

Prüfen Sie, ob die URL öffentlich, kanonisch und weiterhin verfügbar ist und an den richtigen Endpunkt weitergeleitet wurde. Behalten Sie den Fehler auf Ebene der Eingabe, statt ihn in einen leeren Datensatz zu verwandeln.

Ein Feld ist verschwunden

Öffentliche Sichtbarkeit und Darstellung der Seiten ändern sich. Halten Sie Felder nullbar und vergleichen Sie die Zeitstempel der Erfassung, bevor Sie eine Änderung des Parsers vermuten.

Dieselbe Person erscheint doppelt

Kanonisieren Sie URLs und bevorzugen Sie eine stabile öffentliche Plattform-ID. Pflegen Sie eine Alias-Tabelle, statt einen Datensatz ohne Beleg zu löschen.

Kennzahlen stimmen nicht mit dem Browser überein

Zähler sind Momentaufnahmen zum Zeitpunkt der Erfassung und können gerundet, verborgen, zwischengespeichert oder zwischen Anfragen aktualisiert sein. Vergleichen Sie Zeitstempel und Felddefinitionen.

Häufig gestellte Fragen (FAQ)

Eine allgemeingültige Antwort gibt es nicht. Es hängt von Rechtsordnung, Daten, Zugriffsmethode, Zweck, Vertrag und Schutzmaßnahmen ab. Diese Anleitung ist keine Rechtsberatung.

Kann die API alle LinkedIn-Profile oder Jobs durchsuchen?

Die derzeitigen vier SocQ-Endpunkte sind URL-basierte Endpunkte zur Erfassung. Sie sichern keine erschöpfende LinkedIn-Suche zu.

Kann ich private Profile scrapen?

Nein. Umgehen Sie keine Datenschutz- oder Zugriffskontrollen.

Sollte ich die rohe Antwort speichern?

Ja, mit angemessener Sicherheit und Aufbewahrung. Sie hilft, Transformationen zu prüfen und Schema-Änderungen zu diagnostizieren.

Welchen Schlüssel sollte ich für die Deduplizierung verwenden?

Bevorzugen Sie resource + id; greifen Sie auf eine normalisierte kanonische URL zurück, wenn die öffentliche ID nicht verfügbar ist.

LINKEDIN API

Workflow mit einer öffentlichen LinkedIn-URL testen

Senden Sie öffentliche Eingaben und erhalten Sie normalisierte Datensätze mit nachvollziehbarem Quellkontext.

LinkedIn-APIs ansehen