혹시 트위치 채널 정보 데이터 수집할 수 있는 좋은 방법이 있을까요?

트위치개발 채널

알림 알림 중 알림 취소

구독자 163명 알림수신 13명 @바바는바바야

트위치 개발

질문 혹시 트위치 채널 정보 데이터 수집할 수 있는 좋은 방법이 있을까요?

슈퍼네리다

추천 0 비추천 0 댓글 3 조회수 259 작성일 2023-09-20 08:55:43 수정일 2023-09-20 08:56:59

https://arca.live/b/twitchdev/86714824

개발 초보입니다. 안녕하세요!

개인적으로 통계 사이트? 비슷하게 개발을 해보려고 하는데요..

문제가 데이터 수집부터 막히네요.. 일단 채널명/about 주소로 셀레니움으로 스크랩 하는 정도나 아니면 일부 데이터 twitch api 이용해서 가져오는 정도.. 를 하고있습니다.

그런데 별도로 특정 태그를 가진 채널을 검색 해서 가져오는건 api로 불가능하더라구요. 그래서 스크래핑으로 리스트를 가져오려고 하는데 뭔가 스크래핑으로는 스크롤 로딩이 적용이 안되어서 스크래핑이 안되더라구요.

혹시 별도로 좋은 api 가 있는지, 아니면 다른 좋은 방법이 있을까요??

유료 데이터나 api를 사용해볼까 하기도 했는데 뭔가 태그를 보여주는 데는 찾지를 못하겠네요

댓글 글쓰기

바바는바바야

2023-09-23 06:48:34 답글

요즘 아카라이브에 안들어와서 지금 봤네여..

- 공식 helix api (Get Users & Get Channel Information)
- GQL : 약관 위배 가능성 있으나 제일 확실하고 매우 많은 정보를 가져올 수 있음
- https://api.ivr.fi/v2/twitch/user?login=saddummy 과 같은 사설 api 사용 (<- 이놈도 사실 gql 이용하는건데 사용자가 직접 요청하는게 아니라 서버에서 GQL 요청을 대신 보내주는거)
- 동적 크롤링 : GQL 에 대해 잘 모르거나 직접 요청하거나 꺼려지면 사용 (데이터를 가져오는데 많은 시간과 적절한 테크닉 필요)

펼쳐보기▼

슈퍼네리다

2023-09-23 10:48:23 답글

캬 와 감사합니다!! 아 GQL을 모르고 직접 크롤링이랑 공식 api 쓰느라 엄청난 시간을 쓰긴 했네요 ㅠㅠ
지금이라도 알아서 다행..

혹시 특정 태그를 가진 스트리머를 검색할 수 있는 좋은 방법이 있을까요??

펼쳐보기▼

바바는바바야

2023-09-23 11:31:35 답글

1. helix api 중 Get Streams (https://dev.twitch.tv/docs/api/reference/#get-streams) 를 이용해서 모든 채널 (한국어 채널만 대상으로 하고싶다면 language 값을 ko 로 필터링) 의 태그값을 가져온 이후 데이터에서 태그를 찾기
- 온라인 채널만 찾을 수 있음
- 긴 탐색시간 (모든 페이지네이션 조회)

2. helix api 중 Get Channel Information (https://dev.twitch.tv/docs/api/reference/#get-channel-information) 을 이용하여 
미리 대상 채널의 채널들의 태그값을 가져온 이후 데이터에서 태그를 찾기
- 미리 대상 채널의 목록들이 필요하지만, 오프라인 채널도 찾을 수 있음
- 긴 탐색시간 (모든 페이지네이션 조회)

3. 탐색 목록 둘러보는 페이지에 사용되는 GQL 을 이용 (ex. BrowsePage_Popular)
- 온라인만 탐색가능
- 빠른 탐색시간
- 페이로드값 대충 봤는데 좀 복잡하게 되는것 같음

Twitch Developers

Reference

Twitch Developer tools and services to integrate Twitch into your development or create interactive experience on twitch.tv.

1. helix api 중 Get Streams (https://dev.twitch.tv/docs/api/reference/#get-streams) 를 이용해서 모든 채널 (한국어 채널만 대상으로 하고싶다면 language 값을 ko 로 필터링) 의 태그값을 가져온 이후 데이터에서 태그를 찾기
- 온라인 채널만 찾을 수 있음
- 긴 탐색시간 (모든 페이지네이션 조회)

2. helix api 중 Get Channel Information (https://dev.twitch.tv/docs/api/reference/#get-channel-information) 을 이용하여 
미리 대상 채널의 채널들의 태그값을 가져온 이후 데이터에서 태그를 찾기
- 미리 대상 채널의 목록들이 필요하지만, 오프라인 채널도 찾을 수 있음
- 긴 탐색시간 (모든 페이지네이션 조회)

3. 탐색 목록 둘러보는 페이지에 사용되는 GQL 을 이용 (ex. BrowsePage_Popular)
- 온라인만 탐색가능
- 빠른 탐색시간
- 페이로드값 대충 봤는데 좀 복잡하게 되는것 같음

펼쳐보기▼