내 데이터 다운로드 (2) - 트위치개발 채널

2023 06 20 13 쯤에 데이터 요청했던게 2023 07 06 23 쯤에 준비 완료됨

최대 2주라더니 데이터가 많아서 그런지 16일 걸렸음

이용 만기일이라는게 존재하며 새로 다른 데이터를 요청하려면 기존에 완료된 데이터 다운로드가 제거되는듯

다운로드 용량은 118MB (파일탐색기에서는 121,223KB) 인데

압축 풀면 1.86GB 까지 늘어남 (아마 반복되는 데이터값이 많아서 압축률이 높게 잡힌듯)

C:.

│ metadata.json

│

├─account

│ ├─external-connections

│ │ connections-blizzard.json

│ │ connections-riot.json

│ │ connections-steam.json

│ │ connections-twitter.json

│ │ connections-youtube.json

│ │

│ ├─info

│ │ login_rename.csv

│ │ update_email.csv

│ │

│ └─security

│ auth_failure_two_factor.csv

│ auth_success_two_factor.csv

│ connections_connect.csv

│ login.csv

│ logout.csv

│ oauth_authorize.csv

│ oauth_deauthorize.csv

│ two_factor_disabled.csv

│ two_factor_enabled.csv

│ update_password.csv

│

├─ads

│ ads_consent.csv

│ commercial_played.csv

│ video_ad_impression.csv

│ video_ad_request.csv

│

├─commerce

│ ├─bits

│ │ bits_acquired.csv

│ │ bits_cheered.csv

│ │

│ └─subs

│ subscriptions.csv

│

├─community

│ └─follows

│ follow.csv

│ follow_game.csv

│ unfollow.csv

│ unfollow_game.csv

│

├─developer

│ oauth2_clients.csv

│

├─extension

│ extension_buy.csv

│ extension_click.csv

│ extension_install.csv

│ extension_uninstall.csv

│

├─site_history

│ chat_messages.csv

│ minute_broadcast.csv

│ minute_watched.csv

│ pageview.csv

│ search_query.csv

│ video_play.csv

│

├─users

│ ├─channel

│ │ <userid>.json

│ │

│ └─user

│ <userid>.json

│

└─vod

vod_backend_delete.csv

vod_create.csv

vod_user_delete.csv

내용물은 이러한 형태

대부분의 csv 내용에는 각종 아이피, 국가, 주소, 디바이스 등 아주 민감하고 자세한 데이터들이 기록되어있음

일부 볼만한거 몇개만 찝어보자면 다음과 같음

최상단 request/metadata.json 은 누가 언제부터 언제까지 어떤 카테고리의 데이터를 요청했는지, 완료 시간은 언제인지 정보가 나와있음

request/account/info/login_rename.csv

아이디 변경 기록인데 에서 필자도 몰랐던 (까먹은) 아이디 변경 기록을 확인할 수 있었음

request/account/security/

에서 로그인, 로그아웃, 2차인증 성공 및 실패 같은 데이터를 확인할 수 있음

2차 인증 실패 목록중에 본인이 하지 않은 데이터가 있는 경우 계정 보안 강화에 힘써야할듯

request/users/user/<userid>.json

는 해당 시점 유저 정보가 나와있음

어떤 방식인지는 모르겠으나 생일도 파악하고 있음을 알 수 있음

트위치 계정 생성 할때나 설정에서 생일 관련 정보를 요구하고 있지 않는거로 알고있기에 생년월일을 파악하고 있는건 몬가몬가 였음

request/site_history/minute_watched.csv

가 제일 용량이 큰 파일이었는데 1.7GB 라는 용량을 가지고 있어 용량 지분이 제일 높음

어떤 방송을 언제 어떻게 몇분 봤는지 자료가 나와있음

데이터 양이 얼마나 많은지 마이크로소프트 Excel 프로그램에서 1048576줄 (2022-05-29 2:54) 이후의 데이터는 로드할 수 없었음

총 시청시간 합산해보려고 했는데 엑셀 프로그램에서 전체 데이터 로드 불가라 나중에 프로그램 따로 만들어서 계산 해봐야 할듯

request/site_history/chat_messages.csv

에는 지금까지 어떤 채팅을 쳤는지 모든 로그가 나와있음

필자의 첫 채팅팅은 2017-05-13 08:20:42,xxxxx,xxxxx,xxxxx,,xxxxx,xxxxx,xxxxx,xxxxx,ㅋㅋㅋ,wkgml,xxxxx,,xxxxx,xxxxx,2017-05-13 15:20:42,,,,,,,,,,, 였으며 해당 시점까지 총 184920 개의 채팅을 쳤음

request/community/follows/follow.csv

에서는 팔로우 정보를 볼 수 있음

필자는 지금까지 3846 명을 팔로우를 했었음 (팔로우 최대가 2000이라 2000 채우고 정리하고 반복함)

여기서 원하던 데이터를 확보해서 만족함

request/community/follows/unfollow.csv

에서는 언팔로우 기록을 볼 수 있음

필자는 1680 명을 언팔로우 했음

2000+1680 해도 3680인데 팔로우가 3846 로 몇 백개 가량 더 큰거는 아마 그만큼 채널 삭제나 영구밴 등으로 인한 차이로 판단됨

그밖에도 비트 후원내역이나 광고 재생 내역 등을 확인할 수 있었음

방송을 하지는 않았어서 방송관련 데이터는 어떤식으로 오는지 확인할 수 없었지만

일반 유저도 한번쯤 확인해보는것도 재미있을듯