브라우저 자동화를 사용하지 않음

• selenium과 같은 브라우저 자동화의 경우 Client Side Rendering페이지를 다룰 수 있다는 장점이 있지만, 브라우저를 직접 구동하기 때문에 시간이 매우 오래 걸립니다.
• Server Side Rendering 페이지의 경우 GET 요청을 통해 완성된 페이지를 가져옵니다. 이 경우 브라우저 자동화는 불필요하며, GET 요청은 브라우저 구동이 없어 성능을 개선할 수 있습니다.
• 데이터의 경우 데스크탑 페이지나 모바일 페이지나 동일하기 떄문에 모바일 페이지와 데스크탑 페이지 중 SSR 처리가 된 페이지를 적절히 요청하여 성능을 개선하였습니다.

aiohttp, asyncio를 통한 비동기 요청

• 동시에 여러 개의 요청을 보낼 수 있도록하여 성능을 개선합니다.
• 초당 요청 횟수를 제한하여, 트래픽이 차단되지 않도록합니다.

멀티 스레딩

• 파일을 읽고 쓰는 작업은 IO intensive한 작업입니다.
• IO intensive한 파일 읽기 및 저장에 멀티 스레딩을 사용하여 성능을 개선합니다.

멀티 프로세싱

• 파일을 파싱하는 작업은 CPU intensive한 작업입니다.
• CPU intensive한 파일 파싱 작업을 위해 멀티 프로세싱을 사용하여 성능을 개선합니다.