1. 아카라이브 사이트 수정이 있어서 빨라야 주말에나 다시 올리게 될듯.

2. 모든 채널이 아닌 내가 선별한 채널 중에서만 업로드 할 예정. 

3. 사이트 만드려고 했는데 이건 못만들듯. 

난 게시물을 크롤링 할 때, 종합 속보 채널을 대상으로 함. 기존에는 페이지 숫자 기준으로 10000 페이지까지 조회 가능했는데, 1000 페이지까지만 조회할 수 있게 바뀌면서 크롤링에 문제가 발생함. 하루치 데이터는 보통 2000 ~ 3000 페이지 분량이고, 나는 하루 치 데이터를 세번에 걸쳐 가져오고 있었음. 아마 4월 24일에 사이트 수정이 있었고, 1000 페이지를 넘게 조회하게 되어서 문제가 되었던 것으로 보임.

이 문제는 크롤링 간격을 좀 더 줄이면 해결할 수 있음. 다만 4월 24일 데이터를 수집하지 못했는데, 이 문제는 방법은 잘 모르겠지만 이건 내가 알아서 잘 해보겠음.

원래 계획은 매일 수집된 데이터를 가지고 아카라이브에 대한 데이터를 제공하는 사이트를 만드려고 했음. 근데 이번에도 그렇고, 저번에도 몇번 있었는데 사이트가 수정될때마다 안정적으로 데이터를 수집하고 관리하는 것에 자주 문제가 발생함.

안정적인 서비스를 제공하기 힘들어보여 사이트를 만드는 건 그냥 포기하기로 함. 원래 사이트로 광고수익 얻어서 서버비 좀 아껴보려고 했는데, 애초에 광고 수익이 많이 나올 것 같지도 않고 이걸로 광고 수익을 얻는게 정당한 행위인지도 모르겠음. 그냥 워드클라우드 주기적으로 업로드 하고 월간 분석 정도 하는 정도면 여기 커뮤니티 사람들도 좋아해주고, 나도 적당히 만족할만한 결과인 것 같음.

이제 상단바에 노출되는 주요 채널 및 몇몇 채널에 대해서만 데이터를 수집하고 관리할 예정임. 

궁금한거 있으면 질문받음.