데이터 한 그릇

할리스 커피 홈페이지 데이터 긁어오기 (최종코딩본) def hollys_store(result): for page in range(1,58): url = 'https://www.hollys.co.kr/store/korea/korStore2.do?pageNo=%d&sido=&gugun=&store=' % page header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"} res = requests.get(url, headers = header) html = BeautifulSoup(res.text, 'lxml') ..

크롤링 허용 여부 확인하기 /robots.txt 를 입력 ex) www.naver.com/robots.txt robots.txt 파일이 검색이 안되면 크롤링이 허락되어 있는 경우며 만일 파일이 검색이 되면 아래의 표를 참조하여 허용여부를 판별해야 한다. 표시 허용여부 User-agent:* 모든 접근 허용 Disallow: 또는 User-agent:* Allow:/ User-agent:* 모든 접근 금지 Disallow:/ User-agent:* 특정 디렉토리만 접근 금지 Disallow:/user/ children 어떤 태그의 모든 자식 태그들을 확인할 때 사용. 반환이 iterator #children print(bs_obj.ul.children) a = bs_obj.ul.children for i ..