대충 두가지 방법이 있는데 selenium으로 브라우저를 조작하는 방법이 있고 requests로 직접 서버와 통신하는 방법이 있음
selenium은 매크로 짜는 느낌이라 뇌비우고 짜기 쉽지만 속도도 느리고 한계점이 좀 있음
requests는 HTTP에 대해 좀 알아야 되고 자바스크립트 엔진도 없지만 잘 이해하고 짤 수 있다면 속도도 빠르고 굳이 브라우저에 의존하지 않아도 된다는 점 자체가 메리트임

다른분이 말한것처럼 selenium 이랑 requests  가 가장 일반적이에요. 근데 requests 를 써서 사이트에서 변화도 만들려면 그 사이트의 api 를 이해해야 해요. 그 사이트 api 가 공개적으로 설명되지 않아 있다면 selenium을 추천해요.