Erfassen Sie Diskussionen in Twitter/X-Communities mit SocQ und behalten Sie Text, Autoren, Veröffentlichungszeitpunkte und Quellen der Posts zusammen. Machen Sie aus wiederkehrenden Fragen Themenideen, wobei jedem Befund die ursprünglichen Posts zur späteren Prüfung beiliegen.
Diese Anleitung nutzt SocQ X Community Posts, um Posts zu erfassen, und X Community, um Beschreibung und Regeln abzufragen. Die Beispiele erzeugen JSON, das die Quellen erhält, und einen CSV-Export pro Community.
Kurze Antwort: Senden Sie Links der Form
x.com/i/communities/{id}anPOST /v1/x/community-posts, speichern Sie die Aufgaben-ID und lesen Sie nach dem Erfolg alle Ergebnisseiten. Fragen Sie die Metadaten überPOST /v1/x/communitymit demselben Link ab. Ordnen Sie jedem Post die Eingabe-Community zu, um Metadaten und Diskussionen zu verbinden.
Eine öffentliche Community-URL als Eingabe verwenden
Verwenden Sie eine URL in dieser Form und ersetzen Sie sie durch die öffentliche Community, die Sie recherchieren möchten:
https://x.com/i/communities/1493446837214187523
Das numerische Segment ist die Community-ID. Beide Community-Endpunkte erwarten eine vollständige URL der Form /i/communities/{numeric_id}.
Wenn Sie nur den Namen der Community kennen, ermitteln Sie zuerst ihre öffentliche URL und senden Sie den Link in urls.
Speichern Sie die übermittelte URL, die numerische Community-ID, den Veröffentlichungszeitpunkt (published_at) und den Zeitpunkt der Erfassung (collected_at). Ordnen Sie x.com und unterstützte Varianten mit twitter.com anhand der Community-ID zu und halten Sie Communities mit unterschiedlichen IDs getrennt, auch wenn ihre Namen übereinstimmen.
Posts aus dem Feed einer Twitter/X-Community erfassen
Setzen Sie SOCQ_API_KEY und übermitteln Sie eine Aufgabe, die auf 40 Posts pro Community begrenzt ist:
curl -X POST "https://api.socq.ai/v1/x/community-posts" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": ["https://x.com/i/communities/1493446837214187523"],
"results_limit": 40
}'
Die Antwort enthält data.task_id. Speichern Sie sie und fragen Sie dann die bestehende Aufgabe ab:
curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
-H "Authorization: Bearer $SOCQ_API_KEY"
Warten Sie zwischen den Anfragen, solange die Aufgabe queued, running oder retrying ist. Eine Aufgabe mit failed liefert data.error_message. Sobald sie succeeded ist, liegen die Post-Datensätze in data.results.items.
Community Posts liefert Datensätze in der Reihenfolge ihrer Erstellung. Für einen Bericht, der nach Likes oder Kommentaren sortiert ist, sortieren Sie die erfassten Datensätze lokal und kennzeichnen Sie die Ausgabe als Ranking einer Stichprobe.
Limits pro Community verstehen
results_limit hat den Standardwert 100 und akzeptiert Vielfache von 20 von 20 bis 2000, etwa 20, 40, 60 und 100.
Die Obergrenze gilt für jede Eingabe-Community. Zwei URLs mit results_limit=40 fordern jeweils bis zu 40 Posts an; die tatsächliche Anzahl bestimmen die gespeicherten, deduplizierten Ergebnisse.
Das limit der Abfrage der Aufgabe legt fest, wie viele gespeicherte Datensätze pro Seite gelesen werden, und next_cursor bezeichnet die nächste Seite. Das übermittelte results_limit legt die Obergrenze der Erfassung fest.
Wissen, welche Community-Daten Sie erhalten
| Ressource | Standardfelder | Forschungsfrage |
|---|---|---|
| Community | name, text, rules, join_policy, invites_policy | Welche Beschreibung, Regeln und Teilnahmerichtlinien wurden erfasst? |
| Zähler der Community | metrics.members_count, metrics.moderators_count | Wie viele Mitglieder und Moderatoren meldet die Quelle? |
| Community Posts | id, text, author, published_at, media | Welche Diskussionen liegen im erfassten Zeitfenster? |
| Kennzahlen der Posts | Verfügbare Zahlen zu Likes, Kommentaren, Shares und Aufrufen | Wie schneiden die Posts der Stichprobe zum Zeitpunkt der Erfassung im Vergleich ab? |
Die Anfrage nach Metadaten ist getrennt:
curl -X POST "https://api.socq.ai/v1/x/community" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://x.com/i/communities/1493446837214187523"]}'
Rufen Sie die Metadaten über ihre eigene Aufgaben-ID ab. Die Gesamtzahlen von Mitgliedern und Moderatoren beschreiben die Größe der Community, während die Aufrufzahl eines Posts die Aufrufe dieses Posts erfasst. Zahlen aktiver Autoren und eindeutige Reichweite erfordern eigene Messungen.
Null bedeutet, dass die Quelle eine Messung ausgelassen hat; 0 ist ein zurückgegebener Zähler mit dem Wert null. Halten Sie beide Werte in Ihrem Export getrennt.
Community-Posts mit Python nach JSON und CSV exportieren
Der folgende Workflow nutzt die Standardbibliothek von Python. Speichern Sie diesen Helfer für Aufgaben als socq_collect.py:
import json
import os
import time
from urllib.parse import urlencode
from urllib.request import Request, urlopen
BASE = "https://api.socq.ai/v1"
PENDING = {"queued", "running", "retrying"}
def api(method, path, payload=None):
body = json.dumps(payload).encode("utf-8") if payload is not None else None
request = Request(
BASE + path, data=body, method=method,
headers={
"Authorization": "Bearer " + os.environ["SOCQ_API_KEY"],
"Content-Type": "application/json",
},
)
with urlopen(request, timeout=60) as response:
result = json.load(response)
if result.get("code") != 200:
raise RuntimeError(result)
return result["data"]
def collect(endpoint, payload):
task_id = api("POST", "/" + endpoint, payload)["task_id"]
print("Task:", task_id, flush=True)
path = "/tasks/" + task_id
deadline = time.monotonic() + 600
data = api("GET", path + "?limit=100")
while data["status"] in PENDING:
if time.monotonic() >= deadline:
raise TimeoutError("Resume GET " + path + "; do not resubmit automatically")
time.sleep(2)
data = api("GET", path + "?limit=100")
if data["status"] != "succeeded":
raise RuntimeError(data.get("error_message") or data["status"])
items, seen_cursors = [], set()
while True:
if time.monotonic() >= deadline:
raise TimeoutError("Resume pagination for " + task_id)
page = data["results"]
items.extend(page["items"])
if not page["has_more"]:
return task_id, items
cursor = page.get("next_cursor")
if not cursor or cursor in seen_cursors:
raise RuntimeError("Missing or repeated result cursor")
seen_cursors.add(cursor)
data = api("GET", path + "?" + urlencode({"limit": 100, "cursor": cursor}))
if data["status"] != "succeeded":
raise RuntimeError("Task is not ready for result pagination")
Der Helfer gibt jede Aufgaben-ID aus, wartet bis zu zehn Minuten und liest jede gespeicherte Ergebnisseite. Behalten Sie nach einer Zeitüberschreitung des Clients die ID und setzen Sie die Abfrage dieser Aufgabe fort.
Speichern Sie als Nächstes export_communities.py daneben:
import csv
import json
import sys
from urllib.parse import urlparse
from socq_collect import collect
urls = list(dict.fromkeys(sys.argv[1:]))
if not urls:
raise SystemExit("Usage: python3 export_communities.py COMMUNITY_URL [COMMUNITY_URL...]")
def cell(value):
text = "" if value is None else str(value)
return "'" + text if text.lstrip().startswith(("=", "+", "-", "@")) else text
fields = ["community_id", "community_url", "post_id", "post_url", "text",
"author_id", "author_username", "published_at", "collected_at",
"likes_count", "comments_count", "shares_count", "views_count"]
bundles, seen = [], set()
with open("community-posts.csv", "w", newline="", encoding="utf-8-sig") as output:
writer = csv.DictWriter(output, fieldnames=fields)
writer.writeheader()
for url in urls:
metadata_task, communities = collect("x/community", {"urls": [url]})
posts_task, posts = collect("x/community-posts", {
"urls": [url], "results_limit": 40,
})
bundles.append({
"input_url": url, "metadata_task_id": metadata_task,
"posts_task_id": posts_task, "communities": communities, "posts": posts,
})
# Save completed collections before processing another community.
with open("community-results.json", "w", encoding="utf-8") as saved:
json.dump(bundles, saved, ensure_ascii=False, indent=2)
community_id = urlparse(url).path.rstrip("/").split("/")[-1]
for post in posts:
post_id = post.get("id")
key = (community_id, post_id)
if post_id and key in seen:
continue
if post_id:
seen.add(key)
author = post.get("author") or {}
metrics = post.get("metrics") or {}
row = {
"community_id": community_id, "community_url": url,
"post_id": post_id, "post_url": post.get("url"), "text": post.get("text"),
"author_id": author.get("id"), "author_username": author.get("username"),
"published_at": post.get("published_at"),
"collected_at": post.get("collected_at"),
**{name: metrics.get(name) for name in
("likes_count", "comments_count", "shares_count", "views_count")},
}
writer.writerow({key: cell(value) for key, value in row.items()})
Führen Sie das Skript mit einer oder mehreren öffentlichen Community-URLs aus:
python3 export_communities.py \
"https://x.com/i/communities/1493446837214187523"
Sie erhalten zwei Ausgaben:
community-results.jsonbewahrt jede Eingabe-URL, beide Aufgaben-IDs, Metadaten der Community und Post-Datensätze.community-posts.csventhält eine Zeile pro zurückgegebenem Post innerhalb jeder Community, mit Quelle, Autor, Zeitstempeln und verfügbaren Kennzahlen.
Das Beispiel erstellt für jede Community getrennte Aufgaben für Metadaten und Posts und ordnet die Eingabe-Community ihren Posts zu. So ist die Erfassungsquelle jedes Datensatzes eindeutig. Nutzen Sie einen Batch für kombinierten Abruf oder das hier gezeigte Muster mit einer Aufgabe pro Community, wenn Sie die Quelle jedes einzelnen Posts angeben müssen.
Die Deduplizierung nutzt community_id + post_id. Sie führt wiederholte Zeilen innerhalb einer Community zusammen und hält Beobachtungen desselben Posts aus verschiedenen Communities getrennt. Datensätze ohne Post-ID bleiben einzeln erhalten.
Das Programm aktualisiert die Dateien, nachdem jede Community abgeschlossen ist. Schlägt eine spätere Anfrage fehl, behalten die Dateien die zuvor abgeschlossenen Communities. Prüfen Sie vor der Verwendung der Ausgabe in einem Bericht die abgeschlossenen Eingaben und die erfassten Fehler.
JSON als Quelle für Tabellenkalkulations-Exporte behalten
CSV ist für Prüfer bequem, flacht die Daten aber ab. Verschachtelte Regeln, Medien und Autorenfelder bleiben in JSON verfügbar. Erzeugen Sie aus diesem gespeicherten JSON eine andere Tabelle neu, wenn sich Ihre Spalten ändern.
Das Beispiel nutzt den CSV-Writer aus der Standardbibliothek von Python, der Anführungszeichen, Kommas und mehrzeiligen Text behandelt. UTF-8 mit Byte-Order-Mark erleichtert gängige Importe in Tabellenkalkulationen. Öffentlicher Text, der wie eine Formel aussieht, wird in CSV maskiert; JSON bewahrt den ursprünglichen Inhalt. Importieren Sie lange numerische IDs als Text, um Genauigkeitsverluste in der Tabellenkalkulation zu vermeiden.
Community-Diskussionen für die Themenrecherche nutzen
Fragen Sie zum Beispiel, welche Fragen zum Onboarding in diesen erfassten Diskussionen wiederkehren. Gruppieren Sie sie nach Frage und behalten Sie für jede Kategorie die Post-IDs als Beleg.
Lesen Sie zuerst Beschreibung und Regeln der Community. Prüfen Sie dann Text, Veröffentlichungszeitpunkt und Quell-Links der Posts gemeinsam. Gruppieren Sie wiederkehrende Fragen, Produktbeschwerden oder Bitten um Ressourcen und behalten Sie die belegenden Post-IDs neben Ihren Labels.
Nutzen Sie den Workflow für Community-Details, um Beschreibungen und Regeln zu speichern, und führen Sie dann in Ihrer Anwendung die Klassifizierung nach Themen oder die Zusammenfassung aus.
Kennzeichnen Sie eine lokale Sortierung nach Likes oder Kommentaren als „Ranking innerhalb dieser Erfassung“ mit Zeitpunkt der Erfassung und Anzahl der Datensätze. Markieren Sie einen Post, der in einer späteren Erfassung fehlt, als „in dieser Erfassung nicht beobachtet“; fragen Sie diesen Post gesondert ab, um eine Löschung zu untersuchen.
In eine einzelne Diskussion hineinschauen
Um eine Diskussion zu erweitern, senden Sie die zurückgegebene Post-URL an X Thread Context und lesen Sie das Ziel, frühere Posts der Antwortkette und die Beziehungen zwischen Antworten.
Für diesen nächsten Schritt lesen Sie die Anleitung zum Thread-Kontext bei Twitter. Wenn Sie nur Antworten auf einen bekannten Post brauchen, nutzen Sie X Post Replies. Wenn Ihr Ausgangspunkt ein Konto statt einer Community ist, nutzen Sie X User Posts.
Die ursprünglichen Posts hinter Ihren Inhaltsentscheidungen behalten
Die Endpunkte von SocQ für Community-Metadaten und Posts verbinden die Identifizierung von Communities, die Erfassung von Diskussionen und die Prüfung von Themen. Der Code behält die Community-Quelle jedes Posts und exportiert JSON und CSV, sodass Content-Teams Fragen prüfen, Beispiele ordnen und Eingaben für Zusammenfassungen vorbereiten können.
Community Posts öffnen und Ihre Ziel-Community erfassen.
Quellen und weiterführende Lektüre
- SocQ-Dokumentation zu Community Posts – akzeptierte Links, Limits pro Community und Standardfelder der Posts.
- SocQ-Dokumentation zu Community – Metadaten, Regeln und Zähler.
Häufig gestellte Fragen (FAQ)
Kann ich Posts aus mehreren X-Communities erfassen?
Ja. Senden Sie mehrere Community-URLs in urls. Die Obergrenze für Ergebnisse gilt für jede URL. Das Python-Beispiel für den Export nutzt getrennte Aufgaben, um für jeden Post die Eingabe-Community klar als Quelle zu erhalten.
Liefert das jeden jemals in einer Community veröffentlichten Post?
Eine Aufgabe liest eine Auswahl von Posts aus der angegebenen Community, begrenzt durch results_limit. Die zurückgegebenen Datensätze legen den Umfang dieser Erfassung fest. Speichern Sie für historische Analysen getrennte Erfassungen und geben Sie den Umfang jeder einzelnen an.
Kann ich neben Posts auch Community-Mitglieder exportieren?
Community liefert Metadaten sowie Zahlen zu Mitgliedern und Moderatoren; Community Posts liefert Posts. Verzeichnisse einzelner Mitglieder sind eigene Daten und werden von diesen Endpunkten nicht zurückgegeben.
Wie unterscheidet sich ein Community-Feed von der Timeline eines Nutzers?
Ein Community-Feed gruppiert Posts in einem Diskussionsraum; eine Nutzer-Timeline gruppiert die Posts eines Kontos. Nutzen Sie Community-Links für Community Posts und Benutzernamen für User Posts.
Kann ich nach Top oder Likes sortieren?
Der Endpunkt liefert die Reihenfolge nach Erstellungszeit. Sortieren Sie die Stichprobe in Ihrer Anwendung nach Likes oder Kommentaren, um ein Ranking nach Kennzahlen für diese Erfassung zu erzeugen.
Erfasst die Paginierung neue Posts?
Der Cursor liest die nächste Seite, die von der ursprünglichen Aufgabe gespeichert wurde. Übermitteln Sie für eine frische Beobachtung eine neue Aufgabe und behandeln Sie überlappende Datensätze anhand der Post-ID.
Wie erfasse ich Posts nach der Ankündigung zur Migration der Communities?
X hat eine Ankündigung zur Migration von Communities zu XChat veröffentlicht. Senden Sie die URL der Ziel-Community an Community Posts und lesen Sie nach dem Erfolg die zurückgegebenen Posts. Erfassen Sie leere Ergebnisse und Fehler getrennt und behalten Sie die Zeitpunkte der Erfassung, um gespeicherten Verlauf von jeder neuen Abfrage zu unterscheiden.
X API
Workflow mit einer öffentlichen X-URL testen
Senden Sie öffentliche Eingaben und erhalten Sie normalisierte Datensätze mit nachvollziehbarem Quellkontext.
X-APIs ansehen