colab 이나 jupyter notebook으로 멀티쓰레딩이 될까

코딩 채널

알림 알림 중 알림 취소

구독자 4408명 알림수신 85명 @은월영

프로그래밍 및 코딩 채널

질문 colab 이나 jupyter notebook으로 멀티쓰레딩이 될까

Zeya

추천 0 비추천 0 댓글 13 조회수 312 작성일 2023-01-03 06:25:54 수정일 2023-01-03 06:31:36

⚠️ 이 게시물은 작성자가 삭제할 수 없도록 설정되어 있습니다.

https://arca.live/b/programmer/66679995

어제 00000~99999 직접 대입해서 수업 방 번호 뚫어보려고 했던 게이임

오늘 써보니까 너무 느리더라고 그래서 여러 스크립트에 나눠서 동시에 실행시키고 싶음

파이썬은 구조적으로 멀티쓰레딩을 지원하지 않는다고 하는데

colab에서 다른 colab 스크립트를 실행할 수는 없는걸까

아니면 걍 주피터 노트북 깔아서 집 컴퓨터로 해볼까?

댓글 [13] 글쓰기

Zeya

2023-01-03 06:27:42 답글

multiprocessing이란게 있네

펼쳐보기▼

렌

2023-01-03 06:32:49 답글

가장 비슷한건 위에서 말한듯이 multiprocessing임.

https://stackoverflow.com/questions/3044580/multiprocessing-vs-threading-python

그리고 셀레니움 쓴다고 했는데 셀레니움 자체가 느려서 그런거일 확률이 높음. 수업 사이트면 크게 복잡한 사이트가 아닐테니 requests 라이브러리와 multiprocessing으로 하는걸 추천. 근데 서버가 좋지 않다면 너무 많이 때리면 뻗어버릴수도 있음. 이럴땐 할수있는게 없음.

Stack Overflow

Multiprocessing vs Threading Python

I am trying to understand the advantages of multiprocessing over threading. I know that multiprocessing gets around the Global Interpreter Lock, but what other advantages are there, and can threadi...

가장 비슷한건 위에서 말한듯이 multiprocessing임.

https://stackoverflow.com/questions/3044580/multiprocessing-vs-threading-python

그리고 셀레니움 쓴다고 했는데 셀레니움 자체가 느려서 그런거일 확률이 높음. 수업 사이트면 크게 복잡한 사이트가 아닐테니 requests 라이브러리와 multiprocessing으로 하는걸 추천. 근데 서버가 좋지 않다면 너무 많이 때리면 뻗어버릴수도 있음. 이럴땐 할수있는게 없음.

펼쳐보기▼

렌

2023-01-03 06:34:04 답글

코랩에서도 배시 스크립트를 돌릴수 있음. 나같으면 main.py 식으로 스크립트 파일을 만든다음 그 파일을 %python main.py 이런싣으로 돌릴듯. 근데 걍 main.py 내용을 주피터에 풀어써도 같은 효과임.

펼쳐보기▼

Zeya

2023-01-03 07:28:31 답글

일단 멀티프로세싱은 성공함 빠른지는 모르겠는데

펼쳐보기▼

ㅇㅇ

2023-01-03 08:08:16 답글

Mp로 Selenium 여러개 돌리면 되긴 하는데 cpu 존나게 쳐먹음. 스크립트 자체를 매개변수 넘겨서 여러개 실행하는게 날거임

펼쳐보기▼

Zeya

2023-01-03 08:09:50 답글

근데 같은 드라이버 변수에 멀티프로세스에서 동시에 엑세스하려니까 너무 잦은 갱신 오류가 나는 것 같은데 셀레니움 여러개 만들면 여전히 느린거 아님?

펼쳐보기▼

ㅇㅇ

2023-01-03 08:11:58 답글

브라우저 여러개 띄우는거랑 다를게 없는건데 뭘 잘못한거 아님?

펼쳐보기▼

Zeya

2023-01-03 08:55:44 답글

일단 집에가서 다시 해보겠음

펼쳐보기▼

렌

2023-01-03 08:57:27 답글

*수정됨

셀레니움을 헤드레스로 이용하고있어서 헷갈린거같음. 두가지 경우가 있음.

멀티프로세싱으로 도는 펑션이 셀레니움 instance를 새로 만든다 => 당연히 개같이 느림. 브라우저 새 윈도우를 계속 여는거니까

하나의 셀레니움 인스턴스를 멀티프로세싱에서 공유한다 => 탭관리를 잘해야함. 이것도 느릴수밖에 없는게 프로세스 하나마다 탭을 열면 일반 브라우저도 뻗음. 그렇지 않고 예를들어 다섯개만 열고 pool에서 다섯 프로세스만 돌리면서 얘들이 자기 인덱스데로 탭을 쓰게 할수도 있음. 셀레니움은 웹 스크래이핑 툴이 아님. 브라우저 시뮬레이션 툴이지. 고로 여러 프로세스가 여러 탭을 사용할려면 뻗을수밖에 없음. 탭은 한번에 하나밖에 못보잖음?


근데 셀레니움은 원래 느리고 무거움 ㅋㅋ 
requests 와 beautifulsoup으로 해결되는 문제면 셀레니움으론 아무리 씨름해도 따라도 못감

펼쳐보기▼

진격의엄ㅋ

2023-01-03 09:07:52 답글

그냥 requests를 써보고 막힌다면 selenium에서 대부분을 execute_script로 때우면 상당한 속도향상을 얻을 수 있음.

펼쳐보기▼

진격의엄ㅋ

2023-01-03 09:14:04 답글

참고로 send_key는 끔찍한 놈이니까 쓰지말고 execute_script에 innerhtml이나 innertext나 value나 써서 JS로 값 넣는게 비교도 안 될만큼 빠름.

펼쳐보기▼

진격의엄ㅋ

2023-01-03 09:21:49 답글

execute_script로 하면 ctrl+a 할 필요성도 없으니까 코드도 줄거임. 실제로 내가 회사의 스마트스토어에 등록된 몇만개의 상품의 하단이미지를 전부 교체해야 했을 때 api도 없어서 직접 상품 수정페이지에서 상품 상세페이지의 html을 따서 교체하고 등록하는 작업을 셀레늄으로 하룻밤 만에 해낸 방법임. 그리고 숫자 패딩은 직접 계산하지 말고 zfill 써

펼쳐보기▼

Zeya

2023-01-03 11:26:37 답글

족고수 ㄷㄷ 이런 기능들의 존재를 방금 첨암 인터넷에서 이런저런 자료 다 긁어다가 한거라..

펼쳐보기▼

댓글 작성

업로드 중

0초

녹음 중지 삭제

글쓰기

전체글 개념글

최근 최근 방문 채널

최근 방문 채널

전체 공지 정보 질문 잡담 유머 C/C++ C# Python Java Front-end Back-end 앱·겜 AI·Data 그 외

번호 제목

작성자 작성일 조회수 추천

Python execute_script가 안 되면

진격의엄ㅋ 2023.01.04 75 0

질문 숨은 고수들 은근히 많은거 같아서 질문함.. ㅠㅠㅠ [6]

보빗보빗보비빗 2023.01.04 708 0

selenium - execute_script에서 버튼클릭이 안됩니다 [13]

Zeya 2023.01.03 120 0

코딩 접었는데 와보니 좋다 [1]

하루121 2023.01.03 257 5

질문 (장문) 비전공자 진로상담 + 코딩강의관련 질문좀 [9]

리바이바리 2023.01.03 575 0

님들 자바 쓰다보면 좀 편해지나요?? [6]

클린티 2023.01.03 179 1

세상에 코딩 채널도 있네

세디 2023.01.03 85 0

질문 c++입문서로는 어느책이 좋나요? [4]

붕탁마Ang 2023.01.03 198 0

Python 셀레늄 쓰는 아래의 코린이씨는 보시오 [6]

진격의엄ㅋ 2023.01.03 220 1

질문 우분투에서 프로그램 실행시키는 명령어가 뭔가요? [8]

붕탁마Ang 2023.01.03 158 0

질문 colab 이나 jupyter notebook으로 멀티쓰레딩이 될까 [13]

Zeya 2023.01.03 312 0

질문 C언어라고 하면 C++을 포함하는 말임? [14]

디버그신사 2023.01.03 243 0

도트 표시가 가능한 게임 만들고 싶은데 무슨 언어가 좋음? [1]

비추멈춰 2023.01.03 148 0

개좆같은 반응형 하이브리드 웹앱 시발 [10]

보빗보빗보비빗 2023.01.03 247 1

Front-end js로 간단한 스티커 노트 앱 만들었음 [1]

미케네코 2023.01.03 164 3

질문 원도우11질문 [6]

doremamo 2023.01.02 134 -1

C/C++ 그러고보니까 C++23부터 [3]

ㅇㅇ 2023.01.02 251 0

도와준사람들 고맙다 [6]

Zeya 2023.01.02 162 1

잡담 취업하려면 어느정도 수준이어야하는지 모르는게 [5]

ㅇㅇ 2023.01.02 375 3

그 마우스핫키 설정 잘아는사람있음? [5]

랑린이 2023.01.02 81 0

글쓰기

전체글 개념글