웹 크롤링 (2) 썸네일형 리스트형 API와 웹 크롤링 API(Application Programming Interface) 운영체제, 프로그래밍 언어가 제공하는 기능을, 응용 프로그램에서 사용, 제어할 수 있도록 만든 인터페이스 사용 과정 1. API 제공 웹 사이트에 접속 2. 회원가입 후 API 사용권한 신청 3. API를 이용해 파이썬으로 데이터 요청 웹 크롤링이란? 목차 목차 웹 크롤링 웹 크롤러를 이용해 웹 사이트에서 원하는 정보만 수집하는 것 단시간에 많은 정보 수집 가능, 단순 반복 작업 자동화 웹 스크래핑 크롤링이 웹 사이트에서 데이터 전체를 가져오는 반면, 스크래핑은 원하는 정보만을 일부 추출한다는 의미가 강하다 실제로 크롤링 한다는 게 웹 스크래핑을 의미하는 경우가 많음 웹 크롤링 과정 1. 정보 원하는 웹 사이트에 접속해 웹 페이지 확인 2. F12를 눌러 내가 원하는 정보의 위치 확인, 분석 3. 파이썬으로 접속한 웹 페이지의 HTML 코드 불러옴 4. 불러온 데이터에서 원하는 정보만 가공해 추출 5. 추출한 정보를 CSV, 데이터베이스 등 다양한 형태로 저장 주요 용어 리소스: 사용자가 요청하는 이미지, 데이터 등 클라이언트: 리소스, 서비스 요청 .. 이전 1 다음