XTwitterScrapingAPI-Anleitung

Posts von X/Twitter per API suchen und erfassen

Öffentliche X-Profile, Posts, Timelines, Suche, Antworten und Zitat-Posts mit asynchronen Endpunkten und normalisiertem JSON erfassen.

SocQAktualisiert am 10. September 20269 Min. Lesezeit

Im Browser sieht X immer noch wie eine Timeline aus. Der Vertrag für öffentliche Daten ist enger gefasst: Ein Benutzername ist keine Post-URL, ein Zitat ist kein Repost, eine Antwort ist kein Zitat, und ein gelöschter oder geschützter Post soll sauber fehlschlagen, statt zu einem leeren Datensatz zu werden.

Diese Anleitung baut mit den SocQ-X-APIs einen Workflow für den Produktivbetrieb auf. Sie behandelt offiziellen gegenüber öffentlichem Zugriff, die Wahl des Endpunkts, saubere Eingaben, asynchrone Aufgaben, die Bedeutung der Felder, den Aktualisierungsrhythmus und verantwortungsvolle Nutzung.

Kurze Antwort: Senden Sie Benutzernamen, Status-URLs von x.com oder twitter.com oder eine Suchanfrage an POST /v1/x/{resource}, speichern Sie die Aufgaben-ID und fragen Sie /v1/tasks/{id} ab. Führen Sie Zitate, Reposts und Antworten nicht ohne Unterscheidungsmerkmal für die Ressource in einer Tabelle zusammen.

Offizielle X-API oder eine API für öffentliche Daten?

Die offizielle X-API ist kostenpflichtig und berechtigungsgebunden. Sie ist das richtige Produkt, wenn Sie veröffentlichen, Direktnachrichten senden, Werbung verwalten, als Nutzer folgen oder liken oder Streams und andere durch das Konto autorisierte Oberflächen nutzen müssen. Zugang und Preise ändern sich; betrachten Sie die aktuelle Entwicklerdokumentation als maßgebliche Quelle für Schreibzugriffe und Partnerprodukte.

SocQ ist eine Schicht für öffentliche Lesezugriffe auf unterstützte Profile, bekannte Posts, Zeitfenster mit Posts eines Nutzers, Suche, Gesprächsverbindungen und Trends. Es authentifiziert sich nicht als X-Nutzer und ersetzt weder das offizielle Veröffentlichen noch Werbung. Zu Preisen und zur Einordnung der Anbieter lesen Sie die Twitter-API-Alternativen, die Twitter-Scraper-APIs und die TwitterAPI.io-Alternativen. Wählen Sie das Zugriffsmodell, bevor Sie einen Endpunkt wählen.

Den richtigen X-Endpunkt wählen

RessourceEndpunktAkzeptierte öffentliche EingabeTypische Nutzung
Profile/v1/x/profilesBenutzernamen, mit oder ohne @Öffentliche Identität und sichtbare Zahlen
Posts/v1/x/postsStatus-URLs von x.com oder twitter.comEin bekannter Post
Posts eines Nutzers/v1/x/user-postsBenutzernamenAktuelle öffentliche Posts eines Kontos
Suche/v1/x/searchSuchanfrageEntdeckung öffentlicher Posts nach Neueste oder Top
Antworten/v1/x/post-repliesStatus-URLsAntworten auf einen bekannten Post
Zitate/v1/x/post-quotesStatus-URLsZitat-Posts zu einem bekannten Post

Außerdem verfügbar:

Zitate, Reposts und Antworten sind unterschiedliche Ressourcen. Ein Zitat hat einen eigenen Posttext. Eine Liste von Repostern ist eine Menge von Profilen. Eine Antwort ist ein Post, der zu einem Gespräch gehört. Führen Sie sie nicht per Upsert zusammen, als wären sie dasselbe Objekt.

Benutzernamen, URLs und Suchanfragen normalisieren

Behalten Sie den übermittelten Wert und bereinigen Sie eine Kopie:

  1. Akzeptieren Sie Benutzernamen mit oder ohne @ und speichern Sie dann einen kanonischen Benutzernamen.
  2. Akzeptieren Sie die Hosts x.com und twitter.com. Verlangen Sie für Endpunkte mit Bezug zu Posts einen Pfad /status/{id} mit numerischer ID.
  3. Entfernen Sie Tracking-Parameter aus der URL. Verlangen Sie keinen bestimmten mobilen Host oder Host für eine Sprachvariante, wenn die Status-ID intakt ist.
  4. Deduplizieren Sie Benutzernamen ohne Beachtung der Groß- und Kleinschreibung und Posts anhand der Status-ID.
  5. Lehnen Sie leere Suchanfragen und Benutzernamen vor dem Einreichen ab.
  6. Halten Sie Suchausdrücke in der Herkunftszeile fest, damit Analysten erklären können, warum ein Post in den Datensatz gelangt ist.

user-posts und search akzeptieren results_limit von 20 bis 2.000 in Schritten von 20. Bei der Suche ist sort_by entweder latest oder top. post-replies akzeptiert für sort_by außerdem relevance, latest oder likes.

Eine Aufgabe zur Erfassung einreichen

Profile erfassen:

curl -X POST "https://api.socq.ai/v1/x/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"usernames":["openai","@github"]}'

Bekannte Posts von einem der beiden Hostnamen erfassen:

curl -X POST "https://api.socq.ai/v1/x/posts" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://x.com/X/status/2073395918011789670"]}'

Ein Zeitfenster mit Posts eines Nutzers erfassen:

curl -X POST "https://api.socq.ai/v1/x/user-posts" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"usernames":["openai","github"],"results_limit":40}'

Öffentliche Posts suchen:

curl -X POST "https://api.socq.ai/v1/x/search" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"AI lang:en","results_limit":100,"sort_by":"latest"}'

Antworten und Zitate als getrennte Jobs erfassen:

curl -X POST "https://api.socq.ai/v1/x/post-replies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://x.com/X/status/2073395918011789670"],"results_limit":20,"sort_by":"latest"}'
curl -X POST "https://api.socq.ai/v1/x/post-quotes" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://x.com/X/status/2073395918011789670"],"results_limit":20}'

Speichern Sie die zurückgegebene Aufgaben-ID zusammen mit dem Namen der Ressource und den kanonischen Eingaben.

Die Aufgabe abfragen, ohne Duplikate zu erzeugen

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Betrachten Sie queued und running als normal. Nutzen Sie exponentielles Backoff. Ist die Aufgabe erfolgreich, lesen Sie data.results.items und folgen Sie next_cursor, solange has_more wahr ist.

Ein robuster Worker sollte speichern:

  • Batch-ID und SocQ-Aufgaben-ID.
  • Ressource und kanonische Benutzernamen, URLs oder Suchanfrage.
  • Zeitpunkte von Einreichung und Abschluss.
  • Endstatus und Fehlerkategorie.
  • Zuletzt verarbeiteten Cursor des Ergebnisses.

Ein Neustart des Workers ist kein Grund, dieselbe Suche erneut einzureichen.

Die zurückgegebenen Felder verstehen

Datensätze teilen sich id, platform, resource, type, url, created_at, collected_at und extra.

Ein Profil enthält username, name, description, avatar_url, cover_url, is_verified, is_private und sichtbare Kennzahlen. Geschützte Konten sind kein Ziel für öffentliche Daten.

Ein Post enthält text, language, author, sichtbare Kennzahlen, media, hashtags und mentions, sofern öffentlich. Nutzen Sie id als bevorzugten Schlüssel der Entität und die Status-URL als Herkunftsnachweis.

Antworten und Zitate verwenden die Form eines Posts wieder. Reposter verwenden die Form eines Profils wieder. Trends sind auf einen Ort bezogene Zeilen zur Entdeckung, keine Posts.

Gelöschte und private Posts sollten an der Grenze der Eingabe oder der Aufgabe fehlschlagen. Legen Sie keinen leeren Post an, erfinden Sie keine Engagement-Nullen und verwenden Sie collected_at nicht als created_at.

Suchergebnisse sind eine nach Ranking sortierte Entdeckung. latest und top sind unterschiedliche Sortierungen eines begrenzten Fensters, kein vollständiges historisches Archiv.

Python-Worker für Profile, Posts und Suche

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, payload):
    created = requests.post(
        f"{BASE}/x/{resource}",
        headers=HEADERS,
        json=payload,
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", {"usernames": ["openai"]})
hits = collect("search", {
    "query": "AI lang:en",
    "results_limit": 40,
    "sort_by": "latest",
})

Ergänzen Sie Cursor-Paginierung, begrenzte Wiederholungen bei Zeitüberschreitungen und wiederholbaren 5xx-Antworten sowie idempotente Upserts, bevor das in den Produktivbetrieb geht.

Posts und Momentaufnahmen der Kennzahlen getrennt modellieren

Die Identität eines Posts und seine Kennzahlen ändern sich unterschiedlich schnell.

x_entity
  resource
  platform_id
  canonical_url_or_username
  text_or_description
  author_id
  created_at
  first_seen_at
  last_seen_at

x_snapshot
  resource
  platform_id
  collected_at
  likes_count
  replies_count
  reposts_count
  quotes_count
  source_task_id

Führen Sie Upserts über resource + id aus. Speichern Sie Zitate, Antworten und Quell-Posts nur dann in derselben Post-Tabelle, wenn resource eine Pflichtspalte bleibt. Halten Sie Reposter in einer Tabelle für Profile oder Kanten.

Berechnen Sie das Wachstum von Zitaten nicht aus einer Momentaufnahme von Repostern. Die Kennzahlen sind nicht austauschbar.

Vor dem Speichern validieren

  • platform muss x entsprechen.
  • resource muss zum Endpunkt passen.
  • Status-URLs müssen eine numerische ID nach /status/ enthalten, wenn die Ressource auf Posts bezogen ist.
  • Benutzernamen von Autoren sollten zum eingereichten Konto passen, wenn die Ressource user-posts ist und das Feld vorhanden ist.
  • Zähler müssen nichtnegative Zahlen oder null sein.
  • Zeitstempel müssen sich parsen lassen.
  • Eine fehlgeschlagene private oder gelöschte Eingabe darf nicht zu einem erfolgreichen leeren Post werden.

Halten Sie ungültige Zeilen mit der rohen Nutzlast der Aufgabe in Quarantäne.

Einen Aktualisierungsplan je Entität wählen

EntitätSinnvoller AusgangsrhythmusGrund
ProfilWöchentlich oder monatlichBio und Identitätsfelder ändern sich langsam
Bekannter PostStündlich bis täglich, solange aktivÖffentliche Kennzahlen ändern sich schnell
Zeitfenster mit Posts eines NutzersStündlich bis täglich beim MonitoringTimelines sind begrenzt und nach Ranking sortiert
SucheNach einem Plan, der zur Suchanfrage passtlatest und top sind keine Archive
Antworten / ZitateStündlich, solange ein Post aktiv istGesprächsverbindungen kommen in Schüben
Follower / GefolgteWöchentlichListen sind groß und werden in Schritten von 200 abgerufen
TrendsStündlich oder mehrmals täglichMengen von WOEIDs rotieren

Erfassen Sie seltener, wenn die fachliche Frage keine aktuellere Momentaufnahme braucht.

Häufige Fehlerbilder

Eine Post-URL liefert nichts

Prüfen Sie, ob die URL öffentlich ist, der Post noch verfügbar ist und /status/{id} enthält. Gelöschte und geschützte Posts sollten sauber fehlschlagen. Bewahren Sie den Fehler auf Ebene der Eingabe auf.

Die Suche wirkt unvollständig

results_limit begrenzt die Anfrage. Ranking, Indexierung und der Wechsel zwischen latest und top verändern jeweils die Seite. Speichern Sie Suchanfrage und Sortierung zusammen mit den Datensätzen.

Zitate wurden als Reposts gespeichert

Es sind unterschiedliche Endpunkte und unterschiedliche Objekte. Behalten Sie resource im Primärschlüssel.

Jobs für Follower lehnen das Limit ab

Follower und Gefolgte akzeptieren 200 bis 2.000 in Schritten von 200. User-Posts und Suche verwenden Schritte von 20.

Kennzahlen weichen vom Browser ab

Öffentliche Zahlen sind Momentaufnahmen. Sie können verzögert, gerundet oder verborgen sein. Vergleichen Sie collected_at, bevor Sie dem Parser die Schuld geben.

Derselbe Nutzer erscheint doppelt

Kanonisieren Sie Benutzernamen und bevorzugen Sie eine stabile öffentliche ID. Führen Sie eine Tabelle mit Aliasen, wenn ein Konto umbenannt wird.

Verantwortungsvolle Nutzung von X-Daten

Erfassen Sie nur öffentliche Felder, die für einen legitimen Zweck nötig sind. Umgehen Sie keine geschützten Konten, Blockierungen, Login-Wände oder andere Zugriffskontrollen. Vermeiden Sie sensibles Profiling einzelner Personen und automatisierte Entscheidungen, die ohne Schutzvorkehrungen erhebliche Auswirkungen auf eine Person haben könnten.

X-Daten können personenbezogene Daten sein. Schaffen Sie, wo erforderlich, eine Rechtsgrundlage, legen Sie Regeln für Aufbewahrung und Löschung fest, schützen Sie API-Schlüssel und Exporte und prüfen Sie die aktuellen Bedingungen von X mit qualifizierter rechtlicher Beratung. Eine API für öffentliche Daten gewährt keine Lizenz, Posts oder Medien erneut zu veröffentlichen.

Häufig gestellte Fragen (FAQ)

Eine allgemeingültige Antwort gibt es nicht. Es hängt von Rechtsordnung, Daten, Methode, Zweck, Vertrag und Schutzvorkehrungen ab. Diese Anleitung ist keine Rechtsberatung.

Ersetzt das die offizielle X-API?

Nein. Der offizielle Zugang bleibt für Veröffentlichung, Direktnachrichten, Werbung, Streams und andere berechtigungsgebundene Aktionen nötig. SocQ deckt unterstützte öffentliche Lesezugriffe ab.

Kann ich private oder gelöschte Posts erfassen?

Nein. Solche Eingaben sollten sauber fehlschlagen. Umgehen Sie den Schutz nicht.

Sind Zitate dasselbe wie Reposts?

Nein. Zitate sind Posts. Reposter sind Profile. Antworten sind eine dritte Ressource.

Liefert die Suche einen vollständigen Verlauf?

Nein. Sie liefert ein begrenztes, sortiertes Fenster für eine Suchanfrage.

Welchen Schlüssel sollte ich für die Deduplizierung verwenden?

Bevorzugen Sie resource + id. Weichen Sie auf eine normalisierte Status-URL oder einen Benutzernamen aus, wenn die öffentliche ID fehlt.

X API

Workflow mit einer öffentlichen X-URL testen

Senden Sie öffentliche Eingaben und erhalten Sie normalisierte Datensätze mit nachvollziehbarem Quellkontext.

X-APIs ansehen