파이썬 강좌(초급)/(실습) 크롤링

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 2.네이버 검색 페이지 로딩하기

파기차차 2024. 3. 3. 13:52
728x90
반응형
SMALL

ㅁ 개요

 

O 프로그램 소개

 

 

 - 이번 글은 이전글( (실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 1.셀레니움을 이용한 크롬브라우저 자동 띄우기)에 이은 3번째 글로 검색 주소와 검색 키워드를 조합하여 url을 만들고, url로 부터 로컬 PC의 메모리에 로딩하는 방법을 설명합니다.

 

 

 

 

O 완성된 프로그램 실행 화면

 

 

 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다.

 

 

1.소스코드를 아래와 같이 실행합니다.

 

 

 

2.실행하면 잠시 아래와 같은 화면이 켜졌다가 사라집니다.

 

 

 

 

 

 


 

ㅁ 세부 내용

 

O 완성된 소스

 

 

소스 : 2.crawing_naver.py

 

 

 

 

O 소스 실행

 
 - 소스파일 다운로드 후 cmd, 파워쉘 또는 vscode 등에서 아래와 같이 실행하시기 바랍니다.
 
 > python 2. crawing_naver .py

 

 


 

O 주요 내용

 

1.네이버에서 '강아지'로 검색 후 이미지탭을 클릭합니다.

아래에서 화면에서 위의 주소를 복사해 놓습니다.

https://search.naver.com/search.naver?ssc=tab.image.all&where=image&sm=tab_jum&query=%EA%B0%95%EC%95%84%EC%A7%80

 

 

 

2.아래 소스에 대해 간략히 설명하면 다음과 같습니다.

 

line 15 : 검색어를 지정합니다. (우리는 '강아지'로 하였습니다.)

line 20 : 네이버 검색 주소를 지정합니다.

line 21 : 전체 주소를 만듭니다.(위의 네이버 검색 주소 + 검색어)

line 24 : 위에서 만든 검색 주소를 로컬 PC의 메모리로 로딩합니다.

line 25 : 브라우저가 페이지를 로딩할 시간적 여유를 줍니다.(너무 짧게 주면 제대로 로딩이 안될 수 있으므로 3초 이상 여유를 줍니다.)

 

 

 

 

 

 


 

ㅁ 정리

 

O 우리가 배운 내용

 
 - 오늘 우리는 검색 주소와 검색 키워드를 조합하여 url을 만들고, url로 부터 로컬 PC의 메모리에 로딩하는 방법을 살펴보았습니다.

 

 - 오늘 우리가 배운 내용 중 가장 중요한 부분을 꼽으라면 아래와 같습니다.

브라우저가 네이버에서 '강아지' 검색 후 이미지를 가져오는 시간(즉, 메모리에 로딩하는 시간)적 여유를 반드시 주어야 에러가 나지 않습니다.

browser.get(url)
time.sleep(2)

 

 

- 다음 시간에는 메모리에 로딩된 html 소스를 눈으로 확인하고, 이를 다시 BeautifulSoup로 이쁘게(?) 보는 방법에 대해 알아보겠습니다.

 
 
 
 

 

오늘은 여기까지이며, 댓글하트는 제가 이글을 지속할 수 있게 해주는 힘이 됩니다.

 

 

감사합니다.

728x90
반응형
LIST