Toy Project/Python으로 웹 스크래핑하기 6

[python으로 웹 스크래핑하기-3] 장고(Django)를 시작하기 전 알아야 할 지식들

#3 Get Ready For Django 장고: 파이썬만 사용해서 Front End에 Back End API를 만들 수 있는 웹 프레임워크 Django documentation 장고에서 중요한것2가지 arguments, keyword arguments*args : arguments를 무한으로 넣고싶을때 / 자료구조 : Tuple **kwargs : keyword arguments 를 무한으로 넣고싶을때 / 자료구조 : Dictionary 객체지향 프로그래밍class - blueprintmethod - class 안에 있는 function모든 method의 첫번째 argument = self : method를 호출하는 instance자신 dir print(dir(Car)) override __str__ ..

[python으로 웹 스크래핑하기-4]Flask를 이용하여 Scrapper동작시키기

#4 2020Bonus Class 완성된 소스코드 - github flask : 파이썬으로 웹사이트를 만들 수 있게 해주는 micro-framework 여기서 micro란? 수많은 설정을 다 세팅해 줄 필요도 없고 이것저것 건드릴 필요가 없음 repl.it 환경에서 flask설치 @ : 데코레이터 / 바로 아래에 있는 함수를 찾음 from flask import Flask app=Flask("SuperScrapper") @app.route("/") def home(): return "Hello! Welcome to mi casa" @app.route("/contact") def potato(): return "Contact me!" app.run(host="0.0.0.0") #repl.it에서 실행하기 ..

사람인 스크래핑|크롤링 with python

Nomad coders에서 파이썬으로 웹 스크래퍼 만들기를 수강하고, Stackoverflow를 스크래핑해보았고 복습으로 한국의 구인구직 사이트중에 대표적인 사람인을 스크래핑 해보면서 알고보니 제대로 몰랐던 코드들에는 주석을 달았고, 전체적으로 동작하는 순서에 대해서 작성을 해보았다. 완성된 코드 - github 파일들 설치된 패키지들 [코드 설명] 사용자가 home에 있다가 input value를 넣음 report에서 args로 input value인 word를 받음 word를 소문자로 바꿈 미리 만들어놓은 fake DB에 검색한 word가 있는지 확인 있으면 바로 출력 없는경우 scrapping.py에 있는 get_jobs에 word를 매개변수로 넣어서 호출 사용자가 검색한 word대로 url주소가 ..

[python으로 웹 스크래핑하기-2] Indeed와 StackOverFlow 스크래핑

#2 Building a Job Scrapper 진행순서 step 1. Get the page step 2. Make the request step 3. Extract the jobs. python requests, beautifulsoup4 패키지 설치 beautifulsoup Doc. 스크래핑할 웹사이트 = indeed, Stackoverflow Stack Overflow Jobs Your dream job awaits at Stack Overflow. Browse thousands of jobs by salary & tech stack. Personalized job matches. No recruiter spam. Your privacy, guaranteed. stackoverflow.com ma..

[python으로 웹 스크래핑하기-1] 파이썬 자주 쓰는 모듈 링크

#1 Theory 기억할거 + 과제 정리 사용할 사이트 Repl.it 파이썬 표준 라이브러리 참고자료 string 안에 변수 포함시키기 def say_hello(name,age): return f"Hello {name} you are {age} years old" #"Hello" +name+ "you are" +age+ "years old" hello=say_hello("songhui","24") print(hello) 〰️Challenge_1 [7연산 계산기] * import module 쓸 것만 import하기 math — Mathematical functions [math - Mathematical functions - Python 3.9.0 documentation] datetime — Basic..

repl.it github 연동하기

코드를 작성하기 전에 연동했어야 되는데 다 완성한뒤에 생각이 나서 프로젝트를 끝낸 후에 githun과 연동하였다. 프로젝트를 시작할때 연동하려면 New repls를 만들때 version control을 하고, 우측의 Shell에서 커밋과 푸쉬를 할 수 있다. 프로젝트가 끝난 후 연동하려면 왼쪽의 Version control로 들어간 후 깃허브에 로그인 repository 생성 Shell 에 이대로 작성해주면 된다. git add . git commit -m "커밋할 내용" git push origin master [결과] 제대로 올라간걸 확인할 수 있다. readme.md는 따로 작성해주었다. Uploaded by Notion2Tistory v1.1.0