아카라이브 크롤링 api 성인게시글 작동이 안됨.

컴퓨터공학 채널

알림 알림 중 알림 취소

구독자 3404명 알림수신 19명 @SeworL

컴퓨터를 좋아하는 사람들의 모임

질문/조언 아카라이브 크롤링 api 성인게시글 작동이 안됨.

ㅇㅇ

추천 0 비추천 0 댓글 36 조회수 790 작성일 2022-07-03 10:27:14

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/programmers/53669249

api.login('아이디', '비번') 으로 로그인해뒀는데도

성인 게시글은 크롤링이 안되는것 같은데, 이거 뭐가 잘못된건지 모르겠다.

일반 게시글 내용은 크롤링이 잘 되거든 사진에서 윗부분처럼.

우측은 arcalive 라이브러리 코드임.

댓글 글쓰기

잔주

2022-07-03 10:45:42 답글

내가 한동안 코드 안건드려서 그런듯

펼쳐보기▼

잔주

2022-07-03 10:48:28 답글

? 난 잘됨

펼쳐보기▼

ㅇㅇ

2022-07-03 10:51:02 답글

우마무스메 포스터 잘 된다고?

펼쳐보기▼

잔주

2022-07-03 10:53:00 답글

*수정됨

ㅇㅇ 같은걸로 테스트해봄

펼쳐보기▼

ㅇㅇ

2022-07-03 10:53:45 답글

런타임 초기화하고 다시해봐도 안되는데, 뭐때문인지 파악이 안되네...

펼쳐보기▼

ㅇㅇ

2022-07-03 10:53:03 답글

api.login 이랑 get_article 한셀에 같이 넣어야함?

펼쳐보기▼

잔주

2022-07-03 10:54:11 답글

api = arcalive.ArcaAPI()
print('logging in')
api.login('아이디', '비번')
print('logged in')
da = api.get_article(53655680)
print(da)

펼쳐보기▼

잔주

2022-07-03 10:54:20 답글

난 이렇게 하니까 되던데

펼쳐보기▼

잔주

2022-07-03 10:54:35 답글

계정 설정 때문 아님?

펼쳐보기▼

ㅇㅇ

2022-07-03 10:56:23 답글

계정설정?

펼쳐보기▼

잔주

2022-07-03 10:56:52 답글

국가 제한 같은거

펼쳐보기▼

ㅇㅇ

2022-07-03 10:57:24 답글

컴터에선 잘들어가짐

펼쳐보기▼

ㅇㅇ

2022-07-03 10:56:17 답글

에러 사진처럼 똑같이뜸.

펼쳐보기▼

잔주

2022-07-03 10:58:53 답글

*수정됨

arcalive 라이브러리에서


    def get_article(self, id:number):
        response = {}
        URL = 'https://arca.live/b/a/';; + str(id)
        html = self.curSession.get(URL, **self.kwarg)
        self.check_for_error(html)
        
        print(html.text) #요거 넣으면 뭐 나옴?


        soup = BeautifulSoup(html.text, 'html.parser')
        asoup = soup.find('div', 'article-head')

펼쳐보기▼

ㅇㅇ

2022-07-03 11:02:01 답글

*수정됨

우측 사진에서    print(html.text) 이거 넣고서 다시 get_article 명령어 해보면됨?

펼쳐보기▼

잔주

2022-07-03 11:02:33 답글

ㅇㅇ

펼쳐보기▼

ㅇㅇ

2022-07-03 11:03:43 답글

위에 사진이랑 똑같이 나옴

펼쳐보기▼

잔주

2022-07-03 11:04:11 답글

콘솔에 print 된거 없음?

펼쳐보기▼

ㅇㅇ

2022-07-03 11:05:27 답글

잠만 런타임 다시해보고 위에 api = ~!@ 부분 다시실행하니까 뭐뜸

펼쳐보기▼

ㅇㅇ

2022-07-03 11:07:21 답글

겁나 길게 뜨는데 성인게시물쪽 에러는 똑같고.
print된거는 채널 첫화면 나오는거 다 크롤링되는것 같은데?

펼쳐보기▼

잔주

2022-07-03 11:07:49 답글

*수정됨

전체 output좀

펼쳐보기▼

ㅇㅇ

2022-07-03 11:09:08 답글

da = api.get_article(53655680) 여기서 에러떳다는거 나옴




KeyError                                  Traceback (most recent call last)
<ipython-input-2-ba9b2d9ce01c> in <module>()

api.login(아이디, 비번)
----> 5 da = api.get_article(53655680)
      6 print(da)

/usr/local/lib/python3.7/dist-packages/arcalive/__init__.py in get_article(self, id)
    259                 except:
    260                     pass
--> 261             comment['comment_id'] = (int(x.attrs['id'].replace('c_', '')))
    262             response['comment'].append(comment)
    263         response['content'] = (soup.find('div', 'fr-view article-content'))

KeyError: 'id'

펼쳐보기▼

잔주

2022-07-03 11:13:15 답글

보니까 메인 화면으로 redirect 된거 같은데,
아까 말한대로 계정 설정 문제가 맞는 거 같음

그 계정으로 브라우저에서 쿠키 지우고
https://arca.live/b/a/53655680 들어가봐

펼쳐보기▼

ㅇㅇ

2022-07-03 11:20:23 답글

쿠키 지워도 안됨...

펼쳐보기▼

ㅇㅇ

2022-07-03 11:25:26 답글

https://arca.live/b/a/53655680
여기는 쿠키지우기 전에도 잘 들어가졌고, 지우고 나서도 잘 들어가짐.
에러는 계속 똑같음.

da = api.get_article(53655680)
여기서 에러가 뜨거나

api  260행쪽에서 에러가 뜨거나 그럼.

펼쳐보기▼

잔주

2022-07-03 11:32:35 답글

pip install arcalive==0.5.1

의심가는 데 api 업데이트 해봤는데 한번 해봐

펼쳐보기▼

ㅇㅇ

2022-07-03 11:38:12 답글

*수정됨

Requirement already satisfied: arcalive in /usr/local/lib/python3.7/dist-packages (0.3.1)

api 설치가 5.0으로 된줄 알았는데 0.3.1인듯?

펼쳐보기▼

잔주

2022-07-03 11:38:21 답글

...?

펼쳐보기▼

ㅇㅇ

2022-07-03 11:39:16 답글

!pip install arcalive
import arcalive 
이렇게 라이브러리 로딩했는데, 뜬게 저거였거든.
근데 0.5.1은 설치가 안되는데, 내가 방법을 잘 모르겠음

펼쳐보기▼

ㅇㅇ

2022-07-03 11:40:52 답글

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Collecting arcalive==0.5.1
  Using cached arcalive-0.5.1-py3-none-any.whl (5.6 kB)
ERROR: Could not find a version that satisfies the requirement json (from arcalive) (from versions: none)
ERROR: No matching distribution found for json

이렇게 뜨네

pypi.org

Simple index

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Collecting arcalive==0.5.1
  Using cached arcalive-0.5.1-py3-none-any.whl (5.6 kB)
ERROR: Could not find a version that satisfies the requirement json (from arcalive) (from versions: none)
ERROR: No matching distribution found for json

이렇게 뜨네

펼쳐보기▼

잔주

2022-07-03 11:50:40 답글

*수정됨

고침 pip install arcalive -U

펼쳐보기▼

ㅇㅇ

2022-07-03 11:52:16 답글

Usage:   
  pip3 install [options] <requirement specifier> [package-index-options] ...
  pip3 install [options] -r <requirements file> [package-index-options] ...
  pip3 install [options] [-e] <vcs project url> ...
  pip3 install [options] [-e] <local project path> ...
  pip3 install [options] <archive url/path> ...

no such option: --U

인스톨 이거 괜찮은거임?

펼쳐보기▼

잔주

2022-07-03 11:52:53 답글

-U에 - 하나 방금 댓 오타냄

펼쳐보기▼

잔주

2022-07-03 11:53:13 답글

pip install arcalive -U

펼쳐보기▼

ㅇㅇ

2022-07-03 11:53:30 답글

인스톨 및 임포트 잘된듯

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Requirement already satisfied: arcalive in /usr/local/lib/python3.7/dist-packages (0.3.1)
Collecting arcalive
  Downloading arcalive-0.5.3-py3-none-any.whl (5.6 kB)
Requirement already satisfied: bs4 in /usr/local/lib/python3.7/dist-packages (from arcalive) (0.0.1)
Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from arcalive) (2.23.0)
Requirement already satisfied: beautifulsoup4 in /usr/local/lib/python3.7/dist-packages (from bs4->arcalive) (4.6.3)
Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (1.24.3)
Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (2.10)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (2022.6.15)
Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (3.0.4)
Installing collected packages: arcalive
  Attempting uninstall: arcalive
    Found existing installation: arcalive 0.3.1
    Uninstalling arcalive-0.3.1:
      Successfully uninstalled arcalive-0.3.1
Successfully installed arcalive-0.5.3

pypi.org

Simple index

*수정됨

인스톨 및 임포트 잘된듯

Looking in indexes: https://pypi.org/simple, https://us-python.pkg.dev/colab-wheels/public/simple/
Requirement already satisfied: arcalive in /usr/local/lib/python3.7/dist-packages (0.3.1)
Collecting arcalive
  Downloading arcalive-0.5.3-py3-none-any.whl (5.6 kB)
Requirement already satisfied: bs4 in /usr/local/lib/python3.7/dist-packages (from arcalive) (0.0.1)
Requirement already satisfied: requests in /usr/local/lib/python3.7/dist-packages (from arcalive) (2.23.0)
Requirement already satisfied: beautifulsoup4 in /usr/local/lib/python3.7/dist-packages (from bs4->arcalive) (4.6.3)
Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (1.24.3)
Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (2.10)
Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (2022.6.15)
Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.7/dist-packages (from requests->arcalive) (3.0.4)
Installing collected packages: arcalive
  Attempting uninstall: arcalive
    Found existing installation: arcalive 0.3.1
    Uninstalling arcalive-0.3.1:
      Successfully uninstalled arcalive-0.3.1
Successfully installed arcalive-0.5.3

펼쳐보기▼

ㅇㅇ

2022-07-03 11:54:22 답글

*수정됨

굿. 이제 성인게시물 잘 된다.
고생하셨습니다.

===============

{'comment': [{'comment_id': 236097581,
   'text': '//ac.namu.la/1d/1d164898dc746af6c202de2c76e8600300b41a9f207248aa55b9c4be60dda266.png';;,
   'user': 'ssungya'},
  {'comment_id': 236098927,
   'text': '//ac.namu.la/c6/c6720b044498e4233f08bbb41c34c0e2051537ea631c8cac1a508e9f333abcf4.png';;,
   'user': '적향'},
  {'comment_id': 236099088, 'user': '임최몸제레쨩#50089449'},
  {'comment_id': 236107273, 'text': '고루시는 뭔가 어울리는것 같기도...?', 'user': '엘리사야'},
  {'comment_id': 236124104,
   'text': '//ac.namu.la/20220627sac2/c611f285df3f4c6fb4b3d5177e8ac1cc639118a705806dd036ac06efad321bd0.png';;,
   'user': 'ㅇㅇ#41024942'},
  {'comment_id': 236124626,
   'text': '고루시는 뭘해도 괜찮은데 나머지 두명이..',
   'user': '1일1짤방#66311343'},
  {'comment_id': 236124660, 'user': 'ㅇㅇ#90123142'},
  {'comment_id': 236137318,
   'text': '//ac.namu.la/20210315/cbf8372334109a14b3843a5d900aed89ce777f5c940e4c1ace08571c3a497ab3.png';;,
   'user': 'Yammy'},
  {'comment_id': 236139389, 'text': '고루시혼자 퀼리티 미쳤네 ㅋㅋ', 'user': '냐냐리'},
  {'comment_id': 236151867, 'text': '고루시 재현도 100% 뭐냐고;;', 'user': 'Hazy'},
  {'comment_id': 236170440, 'text': '어깨가 그냥', 'user': '야타가라스#73208533'}],
 'content': <div class="fr-view article-content"><p><img height="944" loading="lazy" src="//ac.namu.la/20220703sac/9f681ba12560aa5163857a2227548ebe3b75b5017c746bf5dc4a3d5527a2661d.jpg";; width="2048"/></p><p><br/></p><p><br/></p><p>음주(19세 이상)</p></div>,
 'info': {'category': '',
  'comments': 11,
  'created': '2022-07-03T06:19:41.000Z',
  'dislike': 1,
  'like': 40,
  'views': 2188},
 'name': '어른의 놀이를 즐기는 말딸들'}


================

펼쳐보기▼