Собирайте обсуждения в сообществах Twitter/X с помощью SocQ, сохраняя вместе текст постов, авторов, время публикации и источники. Превращайте повторяющиеся вопросы в идеи для тем, прикрепляя к каждому выводу исходные посты для последующей проверки.
В этом руководстве SocQ X Community Posts используется для сбора постов, а X Community — для запроса описания и правил. Примеры дают JSON с сохранением источников и выгрузку в CSV с привязкой к сообществу.
Коротко: отправляйте ссылки вида
x.com/i/communities/{id}наPOST /v1/x/community-posts, сохраняйте ID задачи и после успешного завершения читайте все страницы результатов. Метаданные запрашивайте черезPOST /v1/x/communityпо той же ссылке. Привязывайте к каждому посту входное сообщество, чтобы связать метаданные и обсуждения.
Публичный URL сообщества как входные данные
Используйте URL такого вида, подставив публичное сообщество, которое хотите исследовать:
https://x.com/i/communities/1493446837214187523
Числовой сегмент — это ID сообщества. Оба эндпоинта сообществ принимают полный URL вида /i/communities/{numeric_id}.
Если вам известно только название сообщества, сначала найдите его публичный URL и передайте ссылку в urls.
Сохраняйте отправленный URL, числовой ID сообщества, время публикации (published_at) и время сбора (collected_at). Сопоставляйте варианты x.com и поддерживаемые варианты twitter.com по ID сообщества, а сообщества с разными ID храните раздельно, даже если их названия совпадают.
Сбор постов из ленты сообщества Twitter/X
Задайте SOCQ_API_KEY и отправьте задачу с ограничением в 40 постов на сообщество:
curl -X POST "https://api.socq.ai/v1/x/community-posts" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": ["https://x.com/i/communities/1493446837214187523"],
"results_limit": 40
}'
Ответ содержит data.task_id. Сохраните его, затем запрашивайте созданную задачу:
curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
-H "Authorization: Bearer $SOCQ_API_KEY"
Делайте паузы между запросами, пока задача находится в статусе queued, running или retrying. Задача со статусом failed возвращает data.error_message. Когда статус станет succeeded, записи постов будут в data.results.items.
Community Posts возвращает записи в порядке времени создания. Для отчета с сортировкой по лайкам или комментариям отсортируйте собранные записи локально и пометьте результат как рейтинг по выборке.
Лимиты на одно сообщество
results_limit по умолчанию равен 100 и принимает значения, кратные 20, от 20 до 2 000, например 20, 40, 60 и 100.
Ограничение действует для каждого входного сообщества. Два URL с results_limit=40 запрашивают до 40 постов каждый; фактическое количество определяется сохраненными результатами после удаления дубликатов.
Параметр limit в запросе задачи задает, сколько сохраненных записей читать на одной странице, а next_cursor указывает следующую страницу. Отправленный results_limit задает ограничение сбора.
Какие данные сообщества вы получаете
| Ресурс | Стандартные поля | Исследовательский вопрос |
|---|---|---|
| Community | name, text, rules, join_policy, invites_policy | Какие описание, правила и политики участия были зафиксированы? |
| Счетчики сообщества | metrics.members_count, metrics.moderators_count | Сколько участников и модераторов сообщает источник? |
| Community Posts | id, text, author, published_at, media | Какие обсуждения попали в собранное окно? |
| Метрики постов | Доступные счетчики лайков, комментариев, репостов и просмотров | Как соотносятся посты из выборки на момент сбора? |
Запрос метаданных выполняется отдельно:
curl -X POST "https://api.socq.ai/v1/x/community" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://x.com/i/communities/1493446837214187523"]}'
Получайте метаданные по их собственному ID задачи. Общее число участников и модераторов описывает масштаб сообщества, а число просмотров поста отражает просмотры именно этого поста. Для числа активных авторов и уникального охвата нужны отдельные измерения.
Null означает, что источник не передал значение; 0 — это возвращенный нулевой счетчик. Сохраняйте эти значения в выгрузке раздельно.
Выгрузка постов сообщества в JSON и CSV на Python
Следующий процесс использует стандартную библиотеку Python. Сохраните этот вспомогательный модуль для задач как socq_collect.py:
import json
import os
import time
from urllib.parse import urlencode
from urllib.request import Request, urlopen
BASE = "https://api.socq.ai/v1"
PENDING = {"queued", "running", "retrying"}
def api(method, path, payload=None):
body = json.dumps(payload).encode("utf-8") if payload is not None else None
request = Request(
BASE + path, data=body, method=method,
headers={
"Authorization": "Bearer " + os.environ["SOCQ_API_KEY"],
"Content-Type": "application/json",
},
)
with urlopen(request, timeout=60) as response:
result = json.load(response)
if result.get("code") != 200:
raise RuntimeError(result)
return result["data"]
def collect(endpoint, payload):
task_id = api("POST", "/" + endpoint, payload)["task_id"]
print("Task:", task_id, flush=True)
path = "/tasks/" + task_id
deadline = time.monotonic() + 600
data = api("GET", path + "?limit=100")
while data["status"] in PENDING:
if time.monotonic() >= deadline:
raise TimeoutError("Resume GET " + path + "; do not resubmit automatically")
time.sleep(2)
data = api("GET", path + "?limit=100")
if data["status"] != "succeeded":
raise RuntimeError(data.get("error_message") or data["status"])
items, seen_cursors = [], set()
while True:
if time.monotonic() >= deadline:
raise TimeoutError("Resume pagination for " + task_id)
page = data["results"]
items.extend(page["items"])
if not page["has_more"]:
return task_id, items
cursor = page.get("next_cursor")
if not cursor or cursor in seen_cursors:
raise RuntimeError("Missing or repeated result cursor")
seen_cursors.add(cursor)
data = api("GET", path + "?" + urlencode({"limit": 100, "cursor": cursor}))
if data["status"] != "succeeded":
raise RuntimeError("Task is not ready for result pagination")
Модуль выводит ID каждой задачи, ждет до десяти минут и читает все сохраненные страницы результатов. После тайм-аута на стороне клиента сохраните ID и продолжите запрашивать эту задачу.
Затем сохраните рядом export_communities.py:
import csv
import json
import sys
from urllib.parse import urlparse
from socq_collect import collect
urls = list(dict.fromkeys(sys.argv[1:]))
if not urls:
raise SystemExit("Usage: python3 export_communities.py COMMUNITY_URL [COMMUNITY_URL...]")
def cell(value):
text = "" if value is None else str(value)
return "'" + text if text.lstrip().startswith(("=", "+", "-", "@")) else text
fields = ["community_id", "community_url", "post_id", "post_url", "text",
"author_id", "author_username", "published_at", "collected_at",
"likes_count", "comments_count", "shares_count", "views_count"]
bundles, seen = [], set()
with open("community-posts.csv", "w", newline="", encoding="utf-8-sig") as output:
writer = csv.DictWriter(output, fieldnames=fields)
writer.writeheader()
for url in urls:
metadata_task, communities = collect("x/community", {"urls": [url]})
posts_task, posts = collect("x/community-posts", {
"urls": [url], "results_limit": 40,
})
bundles.append({
"input_url": url, "metadata_task_id": metadata_task,
"posts_task_id": posts_task, "communities": communities, "posts": posts,
})
# Save completed collections before processing another community.
with open("community-results.json", "w", encoding="utf-8") as saved:
json.dump(bundles, saved, ensure_ascii=False, indent=2)
community_id = urlparse(url).path.rstrip("/").split("/")[-1]
for post in posts:
post_id = post.get("id")
key = (community_id, post_id)
if post_id and key in seen:
continue
if post_id:
seen.add(key)
author = post.get("author") or {}
metrics = post.get("metrics") or {}
row = {
"community_id": community_id, "community_url": url,
"post_id": post_id, "post_url": post.get("url"), "text": post.get("text"),
"author_id": author.get("id"), "author_username": author.get("username"),
"published_at": post.get("published_at"),
"collected_at": post.get("collected_at"),
**{name: metrics.get(name) for name in
("likes_count", "comments_count", "shares_count", "views_count")},
}
writer.writerow({key: cell(value) for key, value in row.items()})
Запустите его с одним или несколькими публичными URL сообществ:
python3 export_communities.py \
"https://x.com/i/communities/1493446837214187523"
Вы получите два файла:
community-results.jsonсохраняет каждый входной URL, оба ID задач, метаданные сообщества и записи постов.community-posts.csvсодержит по одной строке на каждый возвращенный пост в каждом сообществе с источником, автором, временными метками и доступными метриками.
Пример создает отдельные задачи метаданных и постов для каждого сообщества и привязывает входное сообщество к его постам. Благодаря этому источник сбора каждой записи явно указан. Используйте пакетный запрос для совместного получения данных или показанный здесь шаблон «одна задача на сообщество», когда нужно указание источника для каждого поста.
Удаление дубликатов выполняется по community_id + post_id. Повторяющиеся строки внутри сообщества объединяются, а наблюдения одного и того же поста в разных сообществах хранятся раздельно. Записи без ID поста сохраняются по отдельности.
Программа обновляет файлы после завершения обработки каждого сообщества. Если более поздний запрос завершится ошибкой, в файлах останутся ранее обработанные сообщества. Прежде чем использовать результат в отчете, проверьте завершенные входные данные и зафиксированные ошибки.
JSON как источник для выгрузок в таблицы
CSV удобен для проверяющих, но делает данные плоскими. Вложенные правила, медиа и поля автора остаются доступными в JSON. Если меняется набор столбцов, сгенерируйте другую таблицу из сохраненного JSON.
В примере используется CSV-writer из стандартной библиотеки Python, который корректно обрабатывает кавычки, запятые и многострочный текст. Кодировка UTF-8 с меткой порядка байтов (BOM) помогает при импорте в распространенные табличные редакторы. Публичный текст, похожий на формулы, экранируется в CSV; JSON сохраняет исходное содержимое. Импортируйте длинные числовые ID как текст, чтобы избежать потери точности в таблицах.
Обсуждения в сообществах для исследования тем
Например, выясните, какие вопросы о начале работы повторяются в собранных обсуждениях. Сгруппируйте их по вопросам и сохраните для каждой категории ID подтверждающих постов.
Сначала прочитайте описание и правила сообщества. Затем просматривайте вместе текст постов, время публикации и ссылки на источники. Группируйте повторяющиеся вопросы, жалобы на продукт или запросы ресурсов и храните ID подтверждающих постов рядом со своими метками.
Используйте процесс получения сведений о сообществе, чтобы сохранять описания и правила, а затем выполняйте классификацию тем или суммаризацию в своем приложении.
Помечайте локальную сортировку по лайкам или комментариям как «рейтинг в пределах этого снимка» с указанием времени сбора и числа записей. Пост, отсутствующий в более позднем снимке, помечайте как «не обнаружен в этом снимке»; чтобы проверить, удален ли он, запросите этот пост отдельно.
Подробнее об отдельном обсуждении
Чтобы развернуть одно обсуждение, отправьте URL возвращенного поста на X Thread Context и прочитайте целевой пост, предшествующие посты в цепочке ответов и связи между ответами.
Для этого следующего шага прочитайте руководство по контексту веток Twitter. Если нужны только ответы на известный пост, используйте X Post Replies. Если отправная точка — аккаунт, а не сообщество, используйте X User Posts.
Опирайте контентные решения на исходные посты
Эндпоинты SocQ для метаданных сообществ и постов связывают идентификацию сообщества, сбор обсуждений и анализ тем. Код сохраняет источник-сообщество каждого поста и выгружает JSON и CSV, чтобы контент-команды могли разбирать вопросы, систематизировать примеры и готовить входные данные для сводок.
Откройте Community Posts и соберите данные нужного сообщества.
Источники и дополнительные материалы
- Документация SocQ Community Posts — принимаемые ссылки, лимиты на сообщество и стандартные поля постов.
- Документация SocQ Community — метаданные, правила и счетчики.
Часто задаваемые вопросы
Можно ли собирать посты из нескольких сообществ X?
Да. Передайте несколько URL сообществ в urls. Ограничение результатов действует для каждого URL. Пример выгрузки на Python использует отдельные задачи, чтобы у каждого поста был однозначный источник — входное сообщество.
Возвращает ли это все посты, когда-либо опубликованные в сообществе?
Задача читает выборку постов из указанного сообщества с ограничением results_limit. Возвращенные записи определяют охват этого снимка. Для исторического анализа сохраняйте отдельные снимки и указывайте охват каждого.
Можно ли выгрузить участников сообщества, а не только посты?
Community возвращает метаданные и число участников и модераторов; Community Posts возвращает посты. Списки отдельных участников — это другие данные, и эти эндпоинты их не возвращают.
Чем лента сообщества отличается от ленты пользователя?
Лента сообщества объединяет посты в пространстве обсуждения; лента пользователя объединяет посты одного аккаунта. Для Community Posts используйте ссылки на сообщества, для User Posts — имена пользователей.
Можно ли выбрать сортировку Top или Likes?
Эндпоинт возвращает записи в порядке времени создания. Чтобы получить рейтинг по метрике для этого снимка, отсортируйте выборку по лайкам или комментариям в своем приложении.
Собирает ли пагинация новые посты?
Курсор читает следующую страницу, сохраненную исходной задачей. Для нового наблюдения отправьте новую задачу, а пересекающиеся записи обработайте по ID поста.
Как собирать посты после объявления о миграции сообществ?
X опубликовала объявление о миграции Communities в XChat. Отправьте URL нужного сообщества в Community Posts и после успешного завершения прочитайте возвращенные посты. Фиксируйте пустые результаты и сбои раздельно и сохраняйте время сбора, чтобы отличать сохраненную историю от каждого нового запроса.
X API
Проверить сценарий на публичном URL X
Отправляйте публичные входные данные и получайте нормализованные записи с отслеживаемым источником.
API для X