LinkedInпарсингруководство по API

Как парсить профили, компании и вакансии LinkedIn через API

Практическое руководство по сбору публичных профилей, страниц компаний, публикаций и вакансий LinkedIn через асинхронные API-эндпоинты с нормализованным JSON.

SocQОбновлено 19 июля 2026 г.7 мин чтения

В браузере данные LinkedIn выглядят единообразно, но стоящие за ними сущности не взаимозаменяемы. У человека есть опыт работы и образование, у компании — отрасли и местоположения, у публикации — меняющиеся метрики вовлеченности, у вакансии — поля о занятости и подаче заявки.

В этом руководстве строится поддерживаемый процесс работы с публичными данными на основе четырех API SocQ для LinkedIn: профили, компании, публикации и вакансии. Рассматриваются подготовка URL, асинхронные задачи, нормализованные записи, хранение, проверка, расписания обновления и ответственное использование.

Коротко: отправляйте публичные URL LinkedIn на соответствующий эндпоинт POST /v1/linkedin/{resource}, сохраняйте возвращенный ID задачи, опрашивайте до завершения, затем проверяйте нормализованные записи и выполняйте для них upsert. Не отправляйте URL профиля на эндпоинт вакансий и не считайте отсутствующее публичное поле пустым значением.

Официальный API LinkedIn или API публичных данных?

Официальные API LinkedIn — правильный выбор, когда участник сети авторизует ваше приложение, когда у вас есть доступ к одобренному партнерскому продукту или когда сценарий включает публикацию или другое действие, требующее разрешений. Официальный доступ использует OAuth, а многие разрешения и партнерские программы требуют явного одобрения. Результаты по профилям также зависят от настроек конфиденциальности участников и договорных правил хранения.

Эндпоинты SocQ из этого руководства принимают известные публичные URL и выполняют сбор только для чтения. Они не аутентифицируются как участник LinkedIn, не ищут по всему LinkedIn, не публикуют контент и не дают прав на использование возвращенных данных. Выберите модель доступа до выбора эндпоинта: официальные API — для авторизованных действий с аккаунтом, поддерживаемый API публичных данных — для узко ограниченного чтения публичных данных.

Выбор правильного эндпоинта LinkedIn

Сейчас SocQ предоставляет четыре эндпоинта чтения на основе URL:

РесурсЭндпоинтПринимаемый публичный URLТипичное применение
Профили/v1/linkedin/profiles/in/{slug}Публичная идентичность, должность, опыт, образование
Компании/v1/linkedin/companies/company/{slug}Фирмографика, сайт, местоположения, видимая аудитория
Публикации/v1/linkedin/posts/posts/, /pulse/, поддерживаемые /feed/update/Снимки контента и вовлеченности
Вакансии/v1/linkedin/jobs/jobs/view/{slug}Детали вакансии, местоположение, поля о занятости и подаче заявки

Это операции чтения публичных данных. Используйте официальные продукты LinkedIn, когда нужны авторизация участника, публикация, реклама или другой сценарий, требующий разрешений.

Нормализация и маршрутизация входных URL

Сохраняйте отправленный URL как сведения о происхождении, но перед маршрутизацией приводите его копию к каноническому виду:

  1. Требуйте HTTPS и домен LinkedIn.
  2. Удаляйте параметры запроса для отслеживания.
  3. Нормализуйте варианты с локалью и мобильным доменом, где это безопасно.
  4. Классифицируйте путь по типу сущности.
  5. Удаляйте дубликаты канонических URL внутри пакета.
  6. Отклоняйте неподдерживаемые пути до того, как потратить запрос.

Простой маршрутизатор может направлять /in/ к профилям, /company/ — к компаниям, известные шаблоны публикаций — к публикациям, а /jobs/view/ — к вакансиям. Неоднозначные URL держите в очереди на проверку, а не угадывайте.

Отправка задачи сбора профилей

curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "urls": [
      "https://www.linkedin.com/in/satyanadella"
    ]
  }'

Для остальных ресурсов используйте ту же структуру запроса:

curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
  -H "Authorization: Bearer $SOCQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'

Ответ создает асинхронную задачу. Сохраните ее ID рядом с внутренним ID пакета и входными данными.

Опрос задачи без создания дубликатов

curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
  -H "Authorization: Bearer $SOCQ_API_KEY"

Статусы queued и running — ожидаемые состояния. Опрашивайте с экспоненциальной задержкой и максимальным интервалом. Для успешной задачи обработайте data.results.items; если has_more равно true, продолжайте с next_cursor.

Таблица заданий должна фиксировать:

  • Внутренний ID пакета и ID задачи SocQ.
  • Тип ресурса и канонические входные URL.
  • Временные метки отправки, последнего опроса и завершения.
  • Конечный статус и нормализованную категорию ошибки.
  • Последний зафиксированный курсор результатов.

Не отправляйте задачу повторно только потому, что воркер перезапустился. Сначала продолжите работу с сохраненного состояния задачи.

Четыре схемы

У всех записей есть общие нормализованные поля идентичности, например id, platform, resource, type, url, created_at, collected_at и extra. Поля, специфичные для ресурса, остаются явными.

Профиль включает name, description, avatar_url, видимые метрики подписчиков и контактов, а также необязательные должность, компанию, местоположение, опыт, образование и навыки в extra.

Компания добавляет website, логотип, видимые числа подписчиков и сотрудников, а также необязательные отрасль, размер, штаб-квартиру, год основания, местоположения и специализации.

Публикация включает text, нормализованного author, видимые метрики лайков, комментариев и репостов, медиа, время публикации и необязательные тип публикации или хештеги.

Вакансия использует name для названия, text для описания, author для нанимающей компании и extra для местоположения, уровня должности, типа занятости, отраслей, URL подачи заявки, статуса Easy Apply и зарплаты, если она публична.

Отсутствующие данные должны оставаться null или вовсе отсутствовать. Скрытое число подписчиков — это не ноль, неизвестная зарплата не означает неоплачиваемую работу, а недоступная временная метка — это не время сбора.

Python-воркер для смешанных URL LinkedIn

import time
import requests

BASE = "https://api.socq.ai/v1"
HEADERS = {
    "Authorization": f"Bearer {SOCQ_API_KEY}",
    "Content-Type": "application/json",
}

def collect(resource, urls):
    created = requests.post(
        f"{BASE}/linkedin/{resource}",
        headers=HEADERS,
        json={"urls": urls},
        timeout=30,
    )
    created.raise_for_status()
    task_id = created.json()["data"]["task_id"]

    delay = 2
    while True:
        response = requests.get(
            f"{BASE}/tasks/{task_id}",
            headers=HEADERS,
            timeout=30,
        )
        response.raise_for_status()
        task = response.json()["data"]

        if task["status"] == "succeeded":
            return task["results"]["items"]
        if task["status"] in {"failed", "cancelled"}:
            raise RuntimeError(task)

        time.sleep(delay)
        delay = min(delay * 1.5, 15)

profiles = collect("profiles", [
    "https://www.linkedin.com/in/satyanadella"
])

В продакшене добавляйте повторные попытки только для временных сбоев, сохраняйте задачу до начала опроса и используйте пагинацию результатов, а не рассчитывайте, что один ответ содержит весь пакет.

Разделяйте исходные записи и снимки

Профили и компании меняются медленно; метрики публикаций и доступность вакансий могут меняться быстро. Используйте два уровня:

linkedin_entity
  platform_id
  resource
  canonical_url
  stable public fields
  first_seen_at
  last_seen_at

linkedin_snapshot
  platform_id
  collected_at
  visible metrics
  mutable public fields
  source_task_id

Выполняйте upsert сущности по resource + id, если ID есть. В противном случае используйте канонический URL как резервный вариант и предусмотрите путь слияния на случай, если ID будет обнаружен позже. Добавляйте снимки только после успешного сбора и проверки схемы.

Для вакансий храните first_seen_at, last_seen_at и локально вычисленное состояние доступности. Неудачное обновление не доказывает, что вакансия закрыта.

Проверка перед загрузкой в продакшен

Как минимум проверяйте:

  • platform равно linkedin.
  • resource соответствует использованному эндпоинту.
  • Возвращенные URL соответствуют ожидаемому шаблону публичных URL LinkedIn.
  • ID и URL не пересекаются между несовместимыми типами ресурсов.
  • Счетчики неотрицательны, если присутствуют.
  • created_at и collected_at разбираются как временные метки.
  • Массивы и вложенные объекты имеют ожидаемый тип.
  • Каждую запись можно проследить до входных данных и задачи.

Помещайте невалидные записи в карантин, а не приводите их молча к нужному виду. Дрейф схемы проще диагностировать, если сохранены исходный ответ, ошибка проверки, версия поставщика и время сбора.

Расписание обновления по типу сущности

Не парсите все сущности с одинаковой частотой:

СущностьРазумная начальная частотаПричина
ПрофильРаз в неделю или в месяцПубличные карьерные поля меняются относительно медленно
КомпанияРаз в неделю или в месяцФирмографические поля не меняются поминутно
ПубликацияОт раза в час до раза в день, пока активнаВовлеченность быстро меняется после публикации
ВакансияЕжедневно, пока открытаДоступность и детали подачи заявки могут меняться

Учитывайте бизнес-потребность, согласие, договорные ограничения и минимизацию данных, чтобы сократить лишний сбор.

Ответственное использование данных LinkedIn

Собирайте только публичные поля, необходимые для законной цели. Не обходите аутентификацию, закрытые профили, механизмы контроля доступа, лимиты запросов или технические ограничения. Избегайте выводов о чувствительных характеристиках и автоматизированных решений, которые могут существенно повлиять на человека, без надлежащих мер защиты.

Данные LinkedIn могут быть персональными данными. Определите правовое основание, где это требуется, задайте процедуры хранения и удаления, защищайте API-ключи и сохраненные записи, соблюдайте применимые права и изучите текущие условия LinkedIn и местное законодательство с квалифицированным юристом.

Типичные сбои

Эндпоинт не возвращает ни одного элемента

Убедитесь, что URL публичный, канонический, по-прежнему доступен и направлен на правильный эндпоинт. Сохраняйте ошибку на уровне входных данных, а не превращайте ее в пустую запись.

Поле исчезло

Публичная видимость и отображение страниц меняются. Делайте поля допускающими null и сравнивайте временные метки сбора, прежде чем диагностировать дрейф парсера.

Один и тот же человек встречается дважды

Приводите URL к каноническому виду и отдавайте предпочтение стабильному публичному ID платформы. Ведите таблицу псевдонимов, а не удаляйте одну из записей без доказательств.

Метрики не совпадают с браузером

Счетчики — это снимки на момент сбора; они могут быть округлены, скрыты, закешированы или обновиться между запросами. Сравнивайте временные метки и определения полей.

Часто задаваемые вопросы

Законен ли парсинг LinkedIn?

Универсального ответа нет. Это зависит от юрисдикции, данных, способа доступа, цели, договора и мер защиты. Это руководство не является юридической консультацией.

Может ли API искать по всем профилям или вакансиям LinkedIn?

Текущие четыре эндпоинта SocQ — это эндпоинты сбора на основе URL. Они не обещают исчерпывающего поиска по LinkedIn.

Можно ли парсить закрытые профили?

Нет. Не обходите механизмы конфиденциальности и контроля доступа.

Стоит ли хранить исходный ответ?

Да, с надлежащей защитой и сроками хранения. Это помогает проверять преобразования и диагностировать изменения схемы.

Какой ключ использовать для удаления дубликатов?

Предпочтительно resource + id; если публичный ID недоступен, используйте нормализованный канонический URL.

LINKEDIN API

Проверить сценарий на публичном URL LinkedIn

Отправляйте публичные входные данные и получайте нормализованные записи с отслеживаемым источником.

API для LinkedIn