TikTokScrapingAPI-Anleitung

TikTok-Videos, Profile und Kommentare per API scrapen: Anleitung

Öffentliche TikTok-Profile, Videos, Kommentare, Suche und Hashtags mit asynchronen Endpunkten, sauberer Eingabe und normalisiertem JSON erfassen.

SocQAktualisiert am 10. September 202610 Min. Lesezeit

Eine öffentliche TikTok-Seite wirkt einfach: ein Benutzername, ein Video, ein Kommentar-Thread. Der Vertrag zur Erfassung ist es nicht. Profile sind kein Video-Feed. Kommentare sind kein vollständiger Baum der Antworten. Die Suche liefert nur Videos. Die Abfrage eines Livestream-Raums entdeckt keine Livestreams.

Diese Anleitung baut einen wartbaren Workflow für öffentliche Daten mit den SocQ-TikTok-APIs auf. Sie behandelt die Auswahl der Endpunkte, saubere Eingaben, asynchrone Aufgaben, normalisierte Datensätze, den Takt der Aktualisierung und verantwortungsvolle Nutzung.

SocQ TikTok API

Kurze Antwort: Leiten Sie jede öffentliche Eingabe an POST /v1/tiktok/{resource}, speichern Sie die zurückgegebene Aufgaben-ID und fragen Sie /v1/tasks/{id} bis zum Abschluss ab. Senden Sie keinen Profil-Benutzernamen an den Videos-Endpunkt und behandeln Sie ein fehlendes öffentliches Feld nicht als null.

Offizielle TikTok API oder API für öffentliche Daten?

Die offiziellen Produkte Research, Display und Content Posting von TikTok sind die richtige Wahl, wenn Sie eine genehmigte Forschungsanwendung haben, einen per Login autorisierten Workflow für Creator oder Werbetreibende betreiben oder veröffentlichen müssen. Diese Produkte setzen auf App-Prüfung, OAuth und vertragliche Scopes. Sie sind kein allgemeines Scraping beliebiger öffentlicher Videos.

Die SocQ-Endpunkte in dieser Anleitung akzeptieren bekannte öffentliche Benutzernamen, Video-URLs, Suchanfragen oder Hashtags und erfassen rein lesend. Sie authentifizieren sich nicht als TikTok-Nutzer, gewähren keine Rechte zur Wiederverwendung der zurückgegebenen Medien und ersetzen nicht die offiziellen Produkte zum Veröffentlichen und für Forschung. Wählen Sie zuerst das Zugriffsmodell: offizielle APIs für autorisierte oder genehmigte Arbeit, eine unterstützte API für öffentliche Daten für eng begrenzte lesende Zugriffe auf öffentliche Inhalte.

Commerce-Anzeigen liegen auf einer anderen Oberfläche. Für Produktsuche und Bewertungen nutzen Sie die TikTok-Shop-APIs, nicht die unten beschriebenen Social-Media-Endpunkte.

Den richtigen TikTok-Endpunkt wählen

SocQ bietet derzeit zwölf TikTok-Ressourcen. Diese Anleitung konzentriert sich auf die sechs häufigsten Aufgaben der Erfassung. Die übrigen gibt es ebenfalls, und Sie sollten sie bei Bedarf ausdrücklich ansteuern.

RessourceEndpunktAkzeptierte öffentliche EingabeTypische Nutzung
Profile/v1/tiktok/profilesBenutzernamen, mit oder ohne @Identität, Bio, sichtbare Zähler
Videos/v1/tiktok/videosDirekte Video-URLsEin bekanntes Video und seine Kennzahlen
Videos eines Nutzers/v1/tiktok/user-videosBenutzernamenEin Zeitfenster im öffentlichen Feed eines Creators
Kommentare/v1/tiktok/commentsVideo-URLsNur Kommentare der obersten Ebene
Suche/v1/tiktok/searchSuchanfrageEntdeckung nur von Videos
Hashtags/v1/tiktok/hashtagsTags, mit oder ohne #Zeitfenster von Videos zu einem Hashtag

Ebenfalls verfügbar und leicht falsch zu nutzen, wenn Sie raten:

Das sind lesende Operationen auf öffentlichen Daten. Vergleichen Sie Anbietermodelle in TikTok-Scraper-APIs und TikTok-API-Alternativen, wenn es um die Auswahl eines Anbieters statt um die Umsetzung geht.

Eingaben normalisieren, bevor Sie eine Anfrage verbrauchen

Speichern Sie die rohe Eingabe als Herkunftsnachweis und kanonisieren Sie dann eine Kopie:

  1. Entfernen Sie ein führendes @ bei Benutzernamen und ein führendes # bei Hashtags, oder behalten Sie sie – beide Formen werden akzeptiert, aber Ihre Registry sollte eine kanonische Form verwenden.
  2. Schneiden Sie Leerraum ab und weisen Sie leere Werte zurück.
  3. Wandeln Sie Profil-URLs in Ihrer Eingabeschicht in Benutzernamen um. Wandeln Sie Hosts für Teilen und Mobilgeräte in eine URL der Form www.tiktok.com/@user/video/{id} um, wenn die Video-ID vorhanden ist.
  4. Entfernen Sie Duplikate bei Benutzernamen ohne Beachtung der Groß- und Kleinschreibung und bei URLs nach kanonischem Pfad.
  5. Leiten Sie nach Entitätstyp weiter. Ein Benutzername ist keine Video-URL. Ein Hashtag ist keine Suchanfrage.
  6. Behandeln Sie results_limit als Obergrenze der Anfrage, nicht als Garantie für Vollständigkeit.

user-videos akzeptiert results_limit von 20 bis 2000, sort_by mit latest oder popular und optional eine region. Die Suche liefert nur Videos und akzeptiert sort_by mit relevance, date oder likes sowie published_within mit day, week, month, three_months oder six_months.

Eine Aufgabe zur Erfassung übermitteln

Öffentliche Profile erfassen:

curl -X POST "https://api.socq.ai/v1/tiktok/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"usernames":["tiktok","@natgeo"]}'

Bekannte Videos erfassen:

curl -X POST "https://api.socq.ai/v1/tiktok/videos" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.tiktok.com/@tiktok/video/7234567890123456789"]}'

Ein Zeitfenster im Feed eines Creators erfassen:

curl -X POST "https://api.socq.ai/v1/tiktok/user-videos" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"usernames":["@tiktok"],"results_limit":20,"sort_by":"latest","region":"US"}'

Kommentare der obersten Ebene erfassen und Antworten nur dann, wenn Sie bereits eine Kommentar-ID haben:

curl -X POST "https://api.socq.ai/v1/tiktok/comments" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.tiktok.com/@tiktok/video/7234567890123456789"],"results_limit":100}'
curl -X POST "https://api.socq.ai/v1/tiktok/comment-replies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"url":"https://www.tiktok.com/@scout2015/video/6718335390845095173","comment_id":"6718335906996502534","results_limit":20}'

Suche und Hashtag-Entdeckung nutzen dieselbe Authentifizierung und denselben Rahmen für Aufgaben:

curl -X POST "https://api.socq.ai/v1/tiktok/search" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"query":"python tutorial","results_limit":50,"sort_by":"relevance","published_within":"month"}'

Die Antwort erzeugt eine asynchrone Aufgabe. Speichern Sie deren ID zusammen mit Ihrer internen Batch-ID und den Eingaben.

Die Aufgabe abfragen, ohne Duplikate zu erzeugen

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Behandeln Sie queued und running als erwartete Zustände. Fragen Sie mit exponentiellem Backoff und einer maximalen Verzögerung ab. Verarbeiten Sie bei einer erfolgreichen Aufgabe data.results.items; ist has_more true, fahren Sie mit next_cursor fort.

Ihre Job-Tabelle sollte Folgendes festhalten:

  • Interne Batch-ID und SocQ-Aufgaben-ID.
  • Ressourcentyp und kanonische Eingaben.
  • Zeitstempel für Übermittlung, letzte Abfrage und Abschluss.
  • Endstatus und normalisierte Fehlerkategorie.
  • Zuletzt übernommenen Cursor der Ergebnisse.

Übermitteln Sie nicht erneut, nur weil ein Worker neu gestartet wurde. Setzen Sie zuerst mit dem gespeicherten Zustand der Aufgabe fort.

Die zurückgegebenen Felder verstehen

Alle Datensätze teilen normalisierte Identitätsfelder wie id, platform, resource, type, url, created_at, collected_at und extra. Ressourcenspezifische Felder bleiben explizit.

Ein Profil enthält username, name, description, avatar_url, is_verified, is_private und sichtbare Kennzahlen. Es ist keine Liste der Videos dieses Creators.

Ein Video enthält caption, author, sichtbare Kennzahlen zu Wiedergaben, Likes, Kommentaren und Shares, media, duration_seconds, hashtags, mentions und – wenn öffentlich – music. Medien-URLs sind Quellverweise, keine dauerhaften Downloads.

Ein Kommentar enthält text, author, metrics.likes_count und oft metrics.replies_count. Antwortzahlen sind kein Antworttext. Der Text von Antworten erfordert comment-replies und eine comment_id aus demselben Video.

Ergebnisse von Suche und Hashtags nutzen dieselbe Struktur wie Videos. Es sind gerankte Ergebnisse oder Ergebnisse in Zeitfenstern, kein erschöpfendes Archiv.

Fehlende Daten müssen null bleiben oder fehlen. Eine verborgene Wiedergabezahl ist nicht null. Ein nicht verfügbares Transkript ist kein leerer String, den Sie als „keine Sprache“ werten können.

Python-Worker für gemischte TikTok-Eingaben

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, payload):
    created = requests.post(
        f"{BASE}/tiktok/{resource}",
        headers=HEADERS,
        json=payload,
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", {"usernames": ["tiktok"]})
videos = collect("user-videos", {
    "usernames": ["tiktok"],
    "results_limit": 20,
    "sort_by": "latest",
})

Speichern Sie im Produktivbetrieb die Aufgabe vor dem Abfragen, paginieren Sie mit next_cursor und wiederholen Sie nur bei vorübergehenden Fehlern.

Entitäten und Momentaufnahmen getrennt modellieren

Profile ändern sich langsam. Kennzahlen von Videos und das Volumen der Kommentare ändern sich schnell.

tiktok_entity
  platform_id
  resource
  canonical_url_or_username
  stable public fields
  first_seen_at
  last_seen_at

tiktok_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Führen Sie für die Entität ein Upsert nach resource + id durch, wenn eine ID existiert. Greifen Sie sonst auf eine kanonische URL oder einen Benutzernamen zurück und halten Sie einen Pfad für das spätere Zusammenführen bereit, wenn die ID bekannt wird. Hängen Sie Momentaufnahmen erst nach einer erfolgreichen Erfassung und Schema-Validierung an.

Berechnen Sie kein Wachstum, wenn in einer der beiden Momentaufnahmen die Kennzahl fehlt. Ein verborgener Zähler ist nicht null.

Vor dem Laden in die Produktion validieren

Prüfen Sie mindestens:

  • platform entspricht tiktok.
  • resource passt zum verwendeten Endpunkt.
  • Profildatensätze werden nicht als Video-Feed behandelt.
  • Kommentardatensätze gehören zur obersten Ebene, sofern sie nicht von comment-replies stammen.
  • Suchergebnisse sind Videos, keine Nutzer oder Sounds.
  • Zähler sind, sofern vorhanden, nicht negativ.
  • created_at und collected_at lassen sich als Zeitstempel parsen.
  • Jeder Datensatz lässt sich einer Eingabe und einer Aufgabe zuordnen.

Stellen Sie ungültige Datensätze in Quarantäne, statt sie stillschweigend umzuwandeln. Bewahren Sie die rohe Antwort, den Validierungsfehler und den Zeitpunkt der Erfassung auf.

Den Aktualisierungsplan je Entität wählen

EntitätSinnvoller AusgangstaktGrund
ProfilWöchentlich oder monatlichÖffentliche Bio und Identitätsfelder ändern sich langsam
Bekanntes VideoStündlich bis täglich, solange aktivDie Interaktion ändert sich nach der Veröffentlichung schnell
Zeitfenster der Videos eines NutzersTäglich für das MonitoringFeeds sind gerankt und unvollständig
KommentareStündlich bis täglich, solange ein Video aktiv istNeue Kommentare der obersten Ebene kommen in Schüben
Suche / HashtagsTäglich oder bei BedarfRanking und Zeitfenster ändern sich
Follower / FolgtWöchentlichBeziehungslisten sind groß und unvollständig
Livestream-RaumNur, solange Sie den Raum bereits kennenDer Endpunkt entdeckt keine Livestreams

Nutzen Sie Geschäftsbedarf und Datenminimierung, um unnötige Erfassung zu verringern.

Typische Fehlerbilder

Der Endpunkt liefert kein Element

Prüfen Sie, ob der Benutzername oder die URL öffentlich und weiterhin verfügbar ist und an die richtige Ressource weitergeleitet wurde. Ein privates oder gelöschtes Video sollte ein Fehler auf Ebene der Eingabe bleiben, kein leeres Profil.

Profile wirken „leer“, was Videos betrifft

Das ist erwartet. profiles liefert nur Profildatensätze. Nutzen Sie user-videos für ein Zeitfenster im Feed.

Kommentare haben eine Antwortzahl, aber keinen Antworttext

Der Kommentare-Endpunkt erfasst Kommentare der obersten Ebene. Rufen Sie den Antworttext mit url plus comment_id ab. Der Endpunkt für Antworten ermittelt die comment_id nicht allein aus der Video-URL.

Die Suche hat einen Sound oder Nutzer verfehlt

Die Suche liefert nur Videos. Behandeln Sie sie nicht als Verzeichnis für Nutzer, Sounds oder LIVE.

Kennzahlen stimmen nicht mit dem Browser überein

Zähler sind Momentaufnahmen zum Zeitpunkt der Erfassung und können gerundet, verborgen, zwischengespeichert oder zwischen Anfragen aktualisiert sein. Vergleichen Sie Zeitstempel und Felddefinitionen.

Medien-URLs schlagen später fehl

Behandeln Sie URLs von Videos, Covern und Avataren als temporäre Quellverweise. Aktualisieren Sie nur, wenn Anwendungsfall und Bedingungen es erlauben.

Verantwortungsvolle Nutzung von TikTok-Daten

Erfassen Sie nur öffentliche Felder, die für einen legitimen Zweck nötig sind. Umgehen Sie weder Login-Schranken noch private Konten, Altersprüfungen oder technische Beschränkungen. Vermeiden Sie sensible Rückschlüsse und automatisierte Entscheidungen, die eine Person ohne angemessene Schutzmaßnahmen wesentlich betreffen könnten.

TikTok-Daten können personenbezogene Daten sein. Schaffen Sie, wo erforderlich, eine Rechtsgrundlage, definieren Sie Verfahren für Aufbewahrung und Löschung, sichern Sie API-Schlüssel und gespeicherte Datensätze, achten Sie die geltenden Rechte und prüfen Sie die aktuellen Bedingungen von TikTok sowie das örtliche Recht gemeinsam mit qualifizierter Rechtsberatung. Eine API für öffentliche Daten gewährt keine zusätzlichen Rechte an Musik, Abbildern oder Videodateien.

Dasselbe Katalogmuster beschreibt der Leitfaden zur einheitlichen Social-Media-API, wenn TikTok eine Quelle unter vielen ist.

Häufig gestellte Fragen (FAQ)

Eine allgemeingültige Antwort gibt es nicht. Es hängt von Rechtsordnung, Daten, Zugriffsmethode, Zweck, Vertrag und Schutzmaßnahmen ab. Diese Anleitung ist keine Rechtsberatung.

Sind die offiziellen APIs von TikTok kostenlos?

Der offizielle Zugang zu Research, Display und Content Posting ist antragsbasiert oder berechtigungspflichtig. Diese Anleitung beschreibt einen lesenden Workflow auf öffentlichen Daten und ersetzt diese Produkte nicht.

Kann ich private oder gelöschte Videos scrapen?

Nein. Umgehen Sie keine Datenschutz- oder Zugriffskontrollen. Gelöschte und private Eingaben sollten sauber fehlschlagen.

Liefert der Kommentare-Endpunkt den Text von Antworten?

Nein. Er liefert Kommentare der obersten Ebene. Antwortzahlen können vorhanden sein. Der Text von Antworten erfordert comment-replies und eine comment_id.

Kann ich eine Profil-URL an den Videos-Endpunkt senden?

Nein. Videos akzeptieren direkte Video-URLs. Profile und user-videos akzeptieren Benutzernamen.

Liefert die Suche Nutzer oder Sounds?

Nein. Die aktuelle Suche liefert nur Videos.

Welchen Schlüssel sollte ich für die Deduplizierung verwenden?

Bevorzugen Sie resource + id; greifen Sie auf eine normalisierte kanonische URL oder einen Benutzernamen zurück, wenn die öffentliche ID nicht verfügbar ist.

TIKTOK API

Workflow mit einer öffentlichen TikTok-URL testen

Senden Sie öffentliche Eingaben und erhalten Sie normalisierte Datensätze mit nachvollziehbarem Quellkontext.

TikTok-APIs ansehen