728x90
반응형
SMALL

크롤링 19

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 12.셀레니움을 이용해서 페이지 내리기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 11.이미지 저장을 위한 별도 폴더 생성)에 이은 13번째 마지막 글로 많은 수의 이미지(예: 강아지 100장 등)를 내려 받으려면 셀레니움을 이용하여 동적으로 페이지 다운 후 다운로드 해야 하는데, 이러한 동적 페이지 다운 방법에 대해 알아 보겠습니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.이전 소스코드( 11.crawing_naver.py )에서 다운로드할 이미지 수를 50개로 지정(j=50)하고 실행하면 다음과 같습니다. 즉, 50개를 지정해도 최대 이미지 20장만 다운로드 된 것을 볼 수 있습니다. ..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 11.이미지 저장을 위한 별도 폴더 생성

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 10.파일이름에 특수문자 포함 시 처리하기)에 이은 12번째 글로 이미지를 현재 폴더에 저장하면 소스와 섞여 어지러워 보이므로 깔끔하게 보이도록 별도 폴더에 자동 생성하는 방법에 대해 알아보겠습니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.이전 소스코드( 10.crawing_naver.py )를 실행하면 소스코드가 위치한 경로에 이미지가 다운로드 됩니다. 여러번 실행하는 경우 이미지가 많아지고 복잡해져서 정리하기가 어렵습니다. 이미지 20장 다운로드 된 것을 볼 수 있습니다. 코드를 수정 후 다시 실행하면 아..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 10.인코딩된 이미지 제외하기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 9.파일이름에 특수문자 포함 시 처리하기)에 이은 11번째 글로 가져온 이미지 중에서 base64 인코딩된 이미지를 예외처리하는 방법에 대해 설명하겠습니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.이전 소스코드( 9.crawing_naver.py )에서 다운로드 이미지 수를 더 늘리면(예 : j=20) 아래와 같이 에러가 발생합니다. 아래 오류코드를 보면 81라인 즉, 이미지를 파일로 저장시 에러가 발생하고 있습니다. 확인 결과 base64인코딩된 이미지를 저장 시 포멧이 달라 에러가 발생함을 확인하였습니다...

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 9.파일이름에 특수문자 포함 시 처리하기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 8.PC에 다운로드한 이미지를 저장하기)에 이은 10번째 글로 파일이름에 특수문자('/', '?' 등)가 포함되면 에러가 발생하므로 이러한 특수문자를 처리하는 방법에 대해 알아보겠습니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.이전 기본학습과정의 최종 소스코드에서 다운로드 이미지 수를 늘리면(예 : j=5) 아래와 같이 에러가 발생합니다. 아래 오류코드를 보면 87라인 즉, 이미지를 파일로 저장시 에러가 발생하고 있습니다. 특히, 이미지 이름에 특수 기호(?)가 포함되어 있어 에러가 발생함을 알 수 있습니다...

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 8.PC에 다운로드한 이미지를 저장하기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 7.이미지를 다운로드하고, 이미지 파일이름 만들기)에 이은 9번째 마지막글로 다운로드한 이미지를 저장하는 방법에 대해 설명합니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 나타납니다. (1) 파일이름을 출력하고 이미지가 잘 되장되었음을 알리는 메시지를 보여줍니다. (2) 실제 실행 폴더에 가서 확인 결과 해당 이미지가 파일로 잘 저장된 것을 볼 수 있습니다. ㅁ 세부 내용 O 완성된 소스 소스 : 8.crawing_naver.py O 소스 실행 - 소스파일 다운로드 후 cmd, ..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 7.이미지를 다운로드하고, 이미지 파일이름 만들기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글(2024.03.02 - [분류 전체보기] - (실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 6.이미지 링크와 설명 가공하기)에 이은 8번째 글로 이미지 링크로 이미지를 다운로드 하고, 이미지 설명으로 파일이름을 만드는 방법을 설명합니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 나타납니다. (1) 이미지 링크로 (2) 실제 이미지(이진파일)를 가져옵니다. (3) 그 다음 이미지의 설명(alt)으로 이미지 파일 이름을 만들어 보여주고 있습니다. ㅁ 세부 내용 O 완성된 소스 소스 : 7.crawing_naver.py O 소스 ..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 6.이미지 링크와 설명 가공하기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글((실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 5.가져온 소스에서 이미지 링크와 설명만 뽑아서 리스트에 담아두기)에 이은 7번째 글로 가져올 이미지 개수를 지정하고, 이미지 링크와 이미지 설명을 zip()함수로 묶는 방법을 설명합니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 나타납니다. zip()로 이미지 링크(src)와 이미지 설명(alt)를 묶어서 결과를 출력한 것을 볼 수 있습니다. ㅁ 세부 내용 O 완성된 소스 소스 : 6.crawing_naver.py O 소스 실행 - 소스파일 다운로드 후 cmd, 파워쉘 또는 v..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 5.가져온 소스에서 이미지 링크와 설명만 뽑아서 리스트에 담아두기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글(2024.03.02 - [분류 전체보기] - (실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 4.가져온 소스 필터링 테스트 하기)에 이은 6번째 글로 이전글에서 가져온 이미지 태크의 속성 중에서 'src' 와 'alt' 만 가져와서 리스트에 담는 방법에 대해 설명합니다 O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 나타납니다. 첫번째 보여주는 것은 src속성(url 링크)을 리스트로 반환하며 두첫번째 보여주는 것은 alt속성(이미지 설명)을 리스트로 반환합니다. ㅁ 세부 내용 O 완성된 소스 소스 : 5.crawing_naver.p..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 4.가져온 소스 필터링 테스트 하기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글( (실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 3.네이버 검색 페이지에서 모든 소스 가져오기)에 이은 5번째 글로 이전글에서 가져온 소스에서 이미지 태크만 뽑아내는 방법에 대해서 설명합니다 O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 검색결과를 가져와서 보여줍니다. 첫번째 보여주는 것은 html 그대로의 소스입니다. ㅁ 세부 내용 O 완성된 소스 소스 : 4.crawing_naver.py O 소스 실행 - 소스파일 다운로드 후 cmd, 파워쉘 또는 vscode 등에서 아래와 같이 실행하시기 바랍니다. > python 4.cra..

(실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 3.네이버 검색 페이지에서 모든 소스 가져오기

ㅁ 개요 O 프로그램 소개 - 이번 글은 이전글( (실습)파이썬 네이버에서 강아지로 검색 후 강아지 이미지를 자동으로 크롤링 하는 프로그램 만들기 - 2.네이버 검색 페이지 로딩하기)에 이은 4번째 글로 BeautifulSoup로 가져온 데이터 중에서 '강아지' 이미지 태그 부분만 가져오도록 필터링하는 방법에 대해 알아 보겠습니다. O 완성된 프로그램 실행 화면 - 최종 완성된 프로그램의 결과화면은 아래와 같습니다. 1.소스코드를 실행하면 아래와 같이 검색결과를 가져와서 보여줍니다. 첫번째 보여주는 것은 html 그대로의 소스입니다. 두번째 보여주는 것은 html 소스를 파싱해서 결과를 보여줍니다. ㅁ 세부 내용 O 완성된 소스 소스 : 3.crawing_naver.py O 소스 실행 - 소스파일 다운로..

728x90
반응형
LIST