LinkedIn 데이터는 브라우저에서 보면 비슷해 보이지만, 그 밑에 있는 엔티티는 서로 바꿔 쓸 수 없습니다. 사람에게는 경력과 학력이 있고, 회사에는 업종과 위치가 있으며, 게시물에는 계속 변하는 참여 지표가 있고, 채용 공고에는 고용 형태와 지원 필드가 있습니다.
이 튜토리얼에서는 프로필, 회사, 게시물, 채용 공고의 SocQ LinkedIn API 네 가지로 유지보수하기 쉬운 공개 데이터 워크플로를 만듭니다. URL 준비, 비동기 작업, 정규화된 레코드, 저장, 검증, 갱신 주기, 책임 있는 사용까지 다룹니다.
빠른 답변: 공개 LinkedIn URL을 해당하는
POST /v1/linkedin/{resource}엔드포인트로 보내고, 반환된 작업 ID를 저장한 뒤, 완료될 때까지 폴링하고, 정규화된 레코드를 검증해서 Upsert하세요. 프로필 URL을 채용 공고 엔드포인트로 보내지 말고, 공개 필드가 없다고 해서 빈 값이라고 가정하지 마세요.
공식 LinkedIn API와 공개 데이터 API 중 무엇을 쓸까요?
회원이 애플리케이션을 승인했거나, 승인된 파트너 제품을 이용할 수 있거나, 게시처럼 권한이 필요한 작업을 하는 워크플로라면 LinkedIn 공식 API가 올바른 선택입니다. 공식 접근은 OAuth를 사용하며, 많은 권한과 파트너 프로그램은 명시적인 승인이 필요합니다. 프로필 결과는 회원의 개인정보 설정과 계약상의 저장 규칙도 따릅니다.
이 튜토리얼의 SocQ 엔드포인트는 알고 있는 공개 URL을 받아 읽기 전용으로 수집합니다. LinkedIn 회원으로 인증하지 않고, LinkedIn 전체를 검색하지 않으며, 콘텐츠를 게시하지 않고, 반환된 데이터를 사용할 권리를 부여하지도 않습니다. 엔드포인트를 고르기 전에 접근 모델부터 정하세요. 승인된 계정 작업에는 공식 API를, 범위가 좁은 공개 읽기에는 지원되는 공개 데이터 API를 쓰면 됩니다.
올바른 LinkedIn 엔드포인트 선택
SocQ는 현재 URL 기반 읽기 엔드포인트 네 가지를 제공합니다.
| 리소스 | 엔드포인트 | 허용되는 공개 URL | 주요 용도 |
|---|---|---|---|
| 프로필 | /v1/linkedin/profiles | /in/{slug} | 공개 신원, 직무, 경력, 학력 |
| 회사 | /v1/linkedin/companies | /company/{slug} | 기업 정보, 웹사이트, 위치, 화면에 보이는 오디언스 |
| 게시물 | /v1/linkedin/posts | /posts/, /pulse/, 지원되는 /feed/update/ | 콘텐츠와 참여 지표 스냅샷 |
| 채용 공고 | /v1/linkedin/jobs | /jobs/view/{slug} | 공고 상세, 위치, 고용 형태, 지원 필드 |
모두 공개 읽기 작업입니다. 회원 승인, 게시, 광고, 그 밖에 권한이 필요한 워크플로에는 LinkedIn 공식 제품을 사용하세요.
입력 URL 정규화와 라우팅
제출한 URL은 출처 기록으로 저장하되, 라우팅하기 전에 사본을 정식 형태로 바꾸세요.
- HTTPS와 LinkedIn 호스트 이름을 요구합니다.
- 추적용 쿼리 매개변수를 제거합니다.
- 안전한 범위에서 로케일과 모바일 호스트 변형을 정규화합니다.
- 경로를 엔티티 유형별로 분류합니다.
- 배치 안에서 정식 URL의 중복을 제거합니다.
- 요청을 소모하기 전에 지원되지 않는 경로를 거부합니다.
간단한 라우터라면 /in/은 프로필에, /company/는 회사에, 알려진 게시물 패턴은 게시물에, /jobs/view/는 채용 공고에 매핑할 수 있습니다. 애매한 URL은 추측하지 말고 검토 큐에 두세요.
프로필 수집 작업 제출
curl -X POST "https://api.socq.ai/v1/linkedin/profiles" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"urls": [
"https://www.linkedin.com/in/satyanadella"
]
}'
다른 리소스에도 같은 요청 형태를 사용합니다.
curl -X POST "https://api.socq.ai/v1/linkedin/companies" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/company/microsoft/"]}'
curl -X POST "https://api.socq.ai/v1/linkedin/jobs" \
-H "Authorization: Bearer $SOCQ_API_KEY" \
-H "Content-Type: application/json" \
-d '{"urls":["https://www.linkedin.com/jobs/view/software-engineer-at-microsoft-4429527118"]}'
응답으로 비동기 작업이 생성됩니다. 작업 ID를 내부 배치 ID, 입력과 함께 저장하세요.
중복 없이 작업 폴링하기
curl "https://api.socq.ai/v1/tasks/$TASK_ID?limit=100" \
-H "Authorization: Bearer $SOCQ_API_KEY"
queued와 running은 예상되는 상태로 취급하세요. 지수 백오프와 최대 지연 시간을 두고 폴링합니다. 작업이 성공하면 data.results.items를 처리하고, has_more가 true인 동안은 next_cursor로 계속 가져옵니다.
작업 테이블에는 다음을 기록해야 합니다.
- 내부 배치 ID와 SocQ 작업 ID.
- 리소스 유형과 정식 입력 URL.
- 제출, 마지막 폴링, 완료 시각.
- 최종 상태와 정규화된 오류 분류.
- 마지막으로 커밋한 결과 커서.
워커가 재시작했다는 이유만으로 다시 제출하지 마세요. 먼저 저장해 둔 작업 상태에서 이어서 진행하세요.
네 가지 스키마 이해하기
모든 레코드는 id, platform, resource, type, url, created_at, collected_at, extra 같은 정규화된 식별 필드를 공유합니다. 리소스별 필드는 명시적으로 구분되어 있습니다.
프로필에는 name, description, avatar_url, 화면에 보이는 팔로워·연결 수 지표가 포함되며, 직무·회사·위치·경력·학력·스킬은 extra에 선택적으로 담깁니다.
회사에는 website, 로고, 화면에 보이는 팔로워 수와 직원 수가 추가되며, 업종·규모·본사·설립·위치·전문 분야는 선택적으로 포함됩니다.
게시물에는 text, 정규화된 author, 화면에 보이는 좋아요·댓글·리포스트 지표, 미디어, 게시 시각이 포함되며 게시물 유형이나 해시태그는 선택적으로 포함됩니다.
채용 공고에서는 name이 직무명, text가 설명, author가 채용 회사를 뜻하고, extra에는 위치, 직급, 고용 형태, 업종, 지원 URL, Easy Apply 여부, 공개된 경우 급여가 담깁니다.
누락된 데이터는 null이거나 없는 상태로 유지해야 합니다. 숨겨진 팔로워 수는 0이 아니고, 알 수 없는 급여는 무급이 아니며, 확인할 수 없는 타임스탬프는 수집 시각이 아닙니다.
여러 종류의 LinkedIn URL을 처리하는 Python 워커
import time
import requests
BASE = "https://api.socq.ai/v1"
HEADERS = {
"Authorization": f"Bearer {SOCQ_API_KEY}",
"Content-Type": "application/json",
}
def collect(resource, urls):
created = requests.post(
f"{BASE}/linkedin/{resource}",
headers=HEADERS,
json={"urls": urls},
timeout=30,
)
created.raise_for_status()
task_id = created.json()["data"]["task_id"]
delay = 2
while True:
response = requests.get(
f"{BASE}/tasks/{task_id}",
headers=HEADERS,
timeout=30,
)
response.raise_for_status()
task = response.json()["data"]
if task["status"] == "succeeded":
return task["results"]["items"]
if task["status"] in {"failed", "cancelled"}:
raise RuntimeError(task)
time.sleep(delay)
delay = min(delay * 1.5, 15)
profiles = collect("profiles", [
"https://www.linkedin.com/in/satyanadella"
])
운영 환경에서는 일시적인 실패에만 재시도를 추가하고, 폴링하기 전에 작업을 저장하며, 응답 하나에 배치 전체가 들어 있다고 가정하지 말고 결과를 페이지네이션으로 가져오세요.
원본 레코드와 스냅샷을 분리해서 모델링하기
프로필과 회사는 천천히 바뀌지만 게시물 지표와 채용 공고의 게재 여부는 빠르게 바뀔 수 있습니다. 두 개의 계층을 사용하세요.
linkedin_entity
platform_id
resource
canonical_url
stable public fields
first_seen_at
last_seen_at
linkedin_snapshot
platform_id
collected_at
visible metrics
mutable public fields
source_task_id
ID가 있으면 resource + id로 엔터티를 Upsert하세요. 없다면 정식 URL을 대체 키로 쓰고, 나중에 ID를 알게 되면 병합할 수 있는 경로를 남겨 두세요. 스냅샷은 수집이 성공하고 스키마 검증을 통과한 뒤에만 추가하세요.
채용 공고에는 first_seen_at, last_seen_at, 로컬에서 추정한 게재 상태를 보관하세요. 갱신에 실패했다고 해서 공고가 마감되었다는 증거는 아닙니다.
운영 환경에 적재하기 전 검증
최소한 다음을 확인하세요.
platform이linkedin과 같습니다.resource가 사용한 엔드포인트와 일치합니다.- 반환된 URL이 예상되는 공개 LinkedIn 패턴을 따릅니다.
- 호환되지 않는 리소스 유형 사이에서 ID와 URL이 충돌하지 않습니다.
- 수치가 있을 때는 음수가 아닙니다.
created_at과collected_at이 타임스탬프로 파싱됩니다.- 배열과 중첩 객체의 타입이 예상과 같습니다.
- 모든 레코드를 입력과 작업까지 추적할 수 있습니다.
유효하지 않은 레코드는 조용히 강제 변환하지 말고 격리하세요. 원본 응답, 검증 오류, 업체 버전, 수집 시각을 보관하면 스키마 변경을 진단하기가 쉬워집니다.
엔터티별 갱신 주기 정하기
모든 엔터티를 같은 빈도로 스크래핑하지 마세요.
| 엔터티 | 적절한 시작 주기 | 이유 |
|---|---|---|
| 프로필 | 주 1회 또는 월 1회 | 공개 경력 필드는 비교적 천천히 바뀜 |
| 회사 | 주 1회 또는 월 1회 | 기업 정보 필드는 분 단위 데이터가 아님 |
| 게시물 | 활성 상태일 때 1시간~1일 | 게시 직후 참여 지표가 빠르게 바뀜 |
| 채용 공고 | 게재 중에는 매일 | 게재 여부와 지원 상세가 바뀔 수 있음 |
업무상 필요, 동의, 계약상 한도, 데이터 최소화를 근거로 불필요한 수집을 줄이세요.
LinkedIn 데이터의 책임 있는 사용
정당한 목적에 필요한 공개 필드만 수집하세요. 인증, 비공개 프로필, 접근 통제, 속도 제한, 기술적 제한을 우회하지 마세요. 민감한 추론이나, 적절한 보호 장치 없이 개인에게 중대한 영향을 줄 수 있는 자동화된 결정은 피하세요.
LinkedIn 데이터는 개인정보일 수 있습니다. 필요한 경우 적법한 근거를 마련하고, 보관과 삭제 절차를 정하며, API 키와 저장된 레코드를 보호하고, 적용되는 권리를 존중하세요. LinkedIn의 현행 약관과 현지 법규는 자격을 갖춘 법률 전문가와 함께 검토하세요.
흔한 실패 유형
엔드포인트가 항목을 반환하지 않습니다
URL이 공개 상태이고, 정식 형태이며, 아직 유효하고, 올바른 엔드포인트로 라우팅되었는지 확인하세요. 입력 단위의 오류는 빈 레코드로 바꾸지 말고 그대로 보존하세요.
필드가 사라졌습니다
공개 범위와 페이지 렌더링은 바뀝니다. 필드는 null을 허용하게 두고, 파서 변경을 의심하기 전에 수집 시각을 비교해 보세요.
같은 사람이 두 번 나타납니다
URL을 정식 형태로 바꾸고 안정적인 공개 플랫폼 ID를 우선 사용하세요. 근거 없이 한쪽 레코드를 삭제하지 말고 별칭 테이블을 유지하세요.
지표가 브라우저에 보이는 값과 다릅니다
수치는 수집 시점의 스냅샷이며, 반올림되거나 숨겨지거나 캐시되거나 요청 사이에 갱신될 수 있습니다. 타임스탬프와 필드 정의를 비교하세요.
자주 묻는 질문(FAQ)
LinkedIn 스크래핑은 합법인가요?
모든 경우에 통용되는 답은 없습니다. 관할 지역, 데이터, 접근 방식, 목적, 계약, 보호 장치에 따라 달라집니다. 이 튜토리얼은 법률 자문이 아닙니다.
API로 LinkedIn의 모든 프로필이나 채용 공고를 검색할 수 있나요?
현재 SocQ의 네 가지 엔드포인트는 URL 기반 수집 엔드포인트입니다. LinkedIn 전체를 빠짐없이 검색하는 기능은 제공하지 않습니다.
비공개 프로필도 스크래핑할 수 있나요?
아니요. 개인정보 보호나 접근 통제를 우회하지 마세요.
원본 응답도 저장해야 하나요?
네, 적절한 보안과 보관 정책을 적용해서 저장하세요. 변환 과정을 감사하고 스키마 변경을 진단하는 데 도움이 됩니다.
중복 제거에는 어떤 키를 써야 하나요?
resource + id를 우선 사용하고, 공개 ID를 알 수 없을 때는 정규화한 정식 URL을 대체 키로 쓰세요.
LINKEDIN API
공개 LinkedIn URL로 워크플로를 테스트하세요
공개 데이터 입력을 제출하면 출처를 추적할 수 있는 컨텍스트가 포함된 정규화된 레코드를 받을 수 있습니다.
LinkedIn API 살펴보기