데이터 한 그릇

할리스 커피 홈페이지 데이터 긁어오기 (최종코딩본) def hollys_store(result): for page in range(1,58): url = 'https://www.hollys.co.kr/store/korea/korStore2.do?pageNo=%d&sido=&gugun=&store=' % page header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"} res = requests.get(url, headers = header) html = BeautifulSoup(res.text, 'lxml') ..

크롤링 허용 여부 확인하기 /robots.txt 를 입력 ex) www.naver.com/robots.txt robots.txt 파일이 검색이 안되면 크롤링이 허락되어 있는 경우며 만일 파일이 검색이 되면 아래의 표를 참조하여 허용여부를 판별해야 한다. 표시 허용여부 User-agent:* 모든 접근 허용 Disallow: 또는 User-agent:* Allow:/ User-agent:* 모든 접근 금지 Disallow:/ User-agent:* 특정 디렉토리만 접근 금지 Disallow:/user/ children 어떤 태그의 모든 자식 태그들을 확인할 때 사용. 반환이 iterator #children print(bs_obj.ul.children) a = bs_obj.ul.children for i ..

urllib 모듈 import urllib.request from urllib.request import urlopen import requests url = 'https://www.naver.com' html = urlopen(url) print(html.status) #응답코드 응답코드가 200이 나온다면 제대로 인터넷 사이트에 접속했다고 할 수 있다. 하지만 400대가 나온다면 오류가 뜬 상태. request 모듈 url = 'https://www.naver.com' cont = requests.get(url) print(cont) print(type(cont)) print(dir(cont)) print(cont.status_code) print(cont.text) #=> 문자로 가져옴(string..

r = re.compile('&#(0[0-7]+|[0-9]+|x[0-9a-fA-F]);') data = """ """ m = r.findall(data) print(m) 괄호를 사용하면 여러 개의 조건을 넣을 수 있다. r = re.compile(''' &# # START OF A NUMBER ENTITY REFERENCE ( 0[0-7]+ # OCTAL FORM |[0-9]+ # DECIMAL FORM |x[0-9a-fA-F] # HEXADECIMAL FORM ) ; # Trailing semicolon ''', re.X) #re.VERBOSE data = """ """ m = r.findall(data) print(m) 백슬래시 사용 r = re.compile('\section') ..

import re 정규표현식을 위해서 re를 임포트 r = re.comile('a.c') r.search('abc') match가 됨 정규 표현식과 관련된 함수 4가지가 있음 match() : 문자열 처음부터 정규식과 매치되는지 조사 search() : 문자열 전체를 검색하여 정규식과 매치되는지 조사 findall() : 정규식과 매치되는 모든 문자열(substring)을 리스트로 리턴. finditer() : 정규식과 매치되는 모든 문자열을 반복 가능한 객체로 리턴 1)Search Search 는 문자열 전체를 검색하여 찾는 문자와 match 되는 게 있는지 살펴본다. 정규 표현식 문자 정규표현식에 사용되는 문자들이 있다. . . 은 문자 한 개를 나타낸다. ? ?앞의 문자가 존재할 수도 있고 존재하지..

Cmd 명령어 프로젝트 생성부터 가성환경 생성 그리고 서버 연결까지 #생성된 가상환경 확인 conda info --envs #가상환경 활성화 conda activate ToDoList #가상환경 비활성화 conda deactivate #가상환경 지우기 conda remove -n ToDoList #장고를 ToDoList에 설치하기 conda install django #django 기반 프로젝트 생성 django-admin startproject myproject #server 실행 -> 서버를 실행 python manage.py runserver

Django(2) Model, 데이터 베이스 연동 app의 models.py에서 데이터를 정의내릴 수 있다. 이때 클래스를 사용하여 데이터 테이블을 만든다. from django.db import models # Create your models here. class Todo(models.Model): content = models.CharField(max_length = 255) 하나의 모델은 하나의 클래스로 표현 (하나의 테이블을 하나의 클래스로 표현) 장고는 테이블을 model로 표현, model을 정의내릴 때는 class로 정의. 즉, 데이터 테이블(model)을 class로 표현 따라서 Todo라는 클래스 이름이 모델의 이름과 마찬가지이다. 그리고 클래스 내부에 데이터의 이름과 형태를 정할 수 ..

Django(1) MVC 원리 살펴보기 MVC 원리대로 진행 MODEL (models.py) , Controller (Views.py), View(templates) 따로 환경 생성 프로젝트 파일 생성 앱 생성 후 프로젝트 setting에 앱 목록 추가 프로젝트 파일 urlspattern 수정 -> app urls.py 로 보내기 앱 폴더에 urls.py 생성 그곳에 urlpatterns 입력 -> 보여줄 뷰로 가야하기 때문에 view.index로 보냄 함수 생성하고 매개변수로 request 받기 서버 실행하기 (manage.py 로 app도 생성하고 서버도 실행하기) Application 구성하기 프로젝트는 여러 개의 app으로 구성이 된다. 프로젝트마다 app 개수나 구성은 다르다. 프로젝트를 만들면..

데이터 추가,업데이트 INSERT INTO dept(num,dname,dloc) VALUES(10,'sales','seoul'); 칼럼명을 다 적던가. INSERT INTO dept VALUES(20,'human','inchon'); 모든 칼럼을 추가하면 칼럼명을 안적어도 된다. INSERT INTO dept VALUES(30,NULL,NULL); NULL 값을 넣을 수 있다. UPDATE dept SET dname = 'management', dloc = 'gangneung' WHERE num = 30; where 로 업데이트할 행을 지정해야한다. (num primary key로 지정하라고 함) DELETE FROM dept WHERE num=40; num=40인 행 모두 삭제

오름차순 내림차순 정렬 SELECT buyprice FROM products ORDER BY buyprice ASC; SELECT buyprice FROM products ORDER BY buyprice DESC; SELECT buyprice, ROW_NUMBER() OVER(ORDER BY buyprice) ROWNUMBER, RANK() OVER(ORDER BY buyprice) RNK, DENSE_RANK() OVER(ORDER BY buyprice) DENSERANK FROM products ROW_NUMBER 중복되어도 순위를 매김 DENSE_RANK 와 RANK 는 중복되면 같은 순위를 매김 단, DENSE_RANK는 중복된 순위 다음의 순위를 그대로 이어가는 반면에 RANK는 한 단계 뛰어서..