【파이썬 응용】 파이썬 웹 크롤링#1 (Web Crawling)

크롤링이란,  인터넷에서 특정검색(어)로 검색하여 (자료를) 긁어 모우는 행위를 일컫는다. 이를 파이썬코드나 시스템을 이용해서 반자동으로 긁어 모으게 되는데, 

이를 웹스크래핑이라고도 부른다.   긁어 내는데 사용하는 도구인 아래 스크래퍼를 의미하는 용어가 사용 된 것이다. 

1. 네이버 검색창에서 '파이썬'으로 검색한 결과(블로그 항목만-클릭)을 띄워보면,  아래처럼 나타난다.

2. 위, 네이버 검색결과를 아래파이썬 코드를 이용해서 뽑아낼 수 있다. 

이를 위해 사용되는 요소가  BeautifulSoup(뷰티플 스웁) 이다.

import urllib.request

from bs4 import BeautifulSoup

url = 'https://search.naver.com/search.naver?where=post&sm=tab_jum&query=%ED%8C%8C%EC%9D%B4%EC%8D%AC'

html = urllib.request.urlopen(url).read()

soup = BeautifulSoup(html, 'html.parser')

print(soup)

하지만, 아래와 같은 엄청나게 많은 잡다한 형태로 출력이 된다. 

3.  현재 상태에서는 잡다한 웹페이지 내용까지 모두 코딩 결과창에 출력된다.  따라서,

아래는 웹(크롬) 브라우저 창에서 F12를 눌러 검색페이지별 제목('title')과, 링크 주소('href') 부분의 특정요소만 걸러서 나오도록 조치한 방법이다.   

검색 결과창의 웹 브라우저에서 F12 를 누르면 아래처럼 웹페이지의 분석도구를 사용할 수 있다. 

그래서 Html의 기본만 알아도 쉽게 파악 할 수 있으나,  전혀 모르더라도,  쉬운 것 몇 가지만 기억해두면 된다. 

예를 들어, 네이버 블로그에서는 HTML 문서에서 제목(타이틀) 앞에는 'sb_blog_title' , 그리고 'title' 글자가 항상 들어가 있다는 것과, 

링크 주소 앞에는 'href=...' 라는 형태로 되어 있다는 정도만 알아도 검색을 더 깔끔하게 할 수 있다.

import urllib.request

from bs4 import BeautifulSoup

url = 'https://search.naver.com/search.naver?where=post&sm=tab_jum&query=%ED%8C%8C%EC%9D%B4%EC%8D%AC'

html = urllib.request.urlopen(url).read()

soup = BeautifulSoup(html, 'html.parser')

title = soup.find_all(class_='sh_blog_title')

print(soup)

4. 네이버에서 검색창에 파이썬으로 검색하고, 블로그 항목(파이썬)의 Url 링크들만 크롤링 하는 방법

그리고, 웹페이지를 통하지 않고 검색어를 파이썬 터미널에서 직접 입력하도록 변경하는 법.

( 첫 페이지 약10개 검색에 한해서)

아래 주소 부분을 네이버에서 검색후 블로그 항목을 클릭한 후 복사해 온다.  

(주소부분 중 %ED%8C%8C%EC%9D%B4%EC%8D%AC 는 '파이썬' 검색어의 아스키? 변환값)

---  파이썬 코드 ---

import urllib.request

from bs4 import BeautifulSoup

baseurl = 'https://search.naver.com/search.naver?where=post&sm=tab_jum&query='

# 검색어인 " %ED%8C%8C%EC%9D%B4%EC%8D%AC " 부분을 빼고,  input(입력) 구문을 넣었다.

plusurl = input('검색어를 입력하세요:')

url = baseUrl + plusUrl

html = urllib.request.urlopen(url).read()

soup = BeautifulSoup(html, 'html.parser')

title = soup.find_all(class_='sh_blog_title')

for i in title:

    print(i.attrs['title'])    # 제목('title') 부분만 출력

    print(i.attrs['href'])    # 링크 주소('href') 부분만 출력

    print() 

(단, 이 방법은 새로운 검색어를 입력 할 때 마다 주소를 복사해서 코드에 넣어야 하는 단점이 있다)  

출력 결과 1 :  (영문으로 'python' 입력 한 경우 : 영문의 경우 문제없이 잘 출력됨.)

출력 결과2 :  (하지만, 한글로 '파이썬' 입력 한 경우 : 한글입력의 경우 아래처럼 한글 변환에 문제가 되면서 에러가 남.)

5.  한글 검색에서의 에러 현상을 잡기위해 한글 변환 코드를 넣어 크롤링 해보자. 

import urllib.request

import urllib.parse  # 한글 검색어 변환 처리를 위해 임포트함

from bs4 import BeautifulSoup

baseUrl = 'https://search.naver.com/search.naver?where=post&sm=tab_jum&query='

plusUrl = input('검색어를 입력하세요:')

# 한글처리를 위해 추가됨 : urllib.parse.quote_plus()

url = baseUrl + urllib.parse.quote_plus(plusUrl)

html = urllib.request.urlopen(url).read()

soup = BeautifulSoup(html, 'html.parser')

title = soup.find_all(class_='sh_blog_title')

for i in title:

    print(i.attrs['title'])

    print(i.attrs['href'])

    print()

출력 결과 : 아래처럼 한글로 '파이썬'을 입력 후에도 결과가 제대로 출력 되었음을 알수 있다.

여기까지 되면,  추후에 간단히 파일 저장 명령어를 추가하여 검색결과를 파일로 저장 할 수도 있다. 

파이썬, 코드 다운로드 :

【 파이썬 기초#4】 (영상) 파이썬 "변수와 수학 연산자"

 이번 시간부터는 파이썬을 코딩에서 사용되는 기본적인 문법을 다루어 보도록 하겠다. 그 중에서 변수와 수학 연산자에 대해 다루어 본다. 크게 어렵지 않으니 영상을 보면서 차근 차근 따라해보면 쉽게 할 수 있을 것이다. 

당부할 사항은, 코딩은 눈으로만 봐서는 안 되며, 가급적이면 코드도 ctrl+c, ctrl+v 로 쉽게 작성하기 보다. 일일이 직접 입력하는 것이 좋다.  이렇게 직접입력하다보면, 코드나 문법이 훨씬 잘 기억이 되며, 기초를 튼튼히 다질 수 있는 가장 확실한 방법이다.

아래 내용은 주피터 노트북을 설치하여 파이썬 3.7 버전이 실행 되는 환경이다. 

▶ 변수와 수학연산자  학습 영상: 

▶ 주요내용 정리 :

(이미지 클릭, 확대해서 보세요)

변수와 수학 연산자

변수

• 변수에는 값을 할당 하게 된다.
• 변수에는 여러가지 타입(type) 이 존재한다. (정수형, 실수형, 문자열형...)

수학 연산자

덧셈 +

뺄셈 -

곱셈 *

제곱 **

나눗셈 / ( 소숫점 이하를 버린 나눗셈 // )

나머지 %

정수 int(number)

실수 float(number)

【 유튜브에서 보기 】

【 파이썬 기초#3】 (영상) 파이썬 개발환경 주피터 노트북 주물러 보기

 지난 시간에 이어 파이썬을 코딩을 위한 개발 환경인 주피터 노트북을 아나콘다를 이용하여 설치해보았는데요. 

이제 본격적인 코딩에 앞서 주피터 노트북 자체에대해 다루어 보고자 해요. 어렵지는 않으나, 무작정 코딩부터 시작하게 되면 툴에 익숙지 않으니 단순한 복사 붙여넣기에도 애를 먹을 수 있죠.  알고 시작하면 도움 될 것들에 대해 다루어 봅니다.

▶ 주피터 노트북  기초 영상: 

▶ 주요내용 정리 :

(이미지 클릭, 확대해서 보세요)

#  새파일 만들기    

    New  》  Python3

#  코딩 작성 라인 
    추가 ( + )  ,   삭제는   ( 가위기호 )

# 연습문장 출력

   print ("Hello World")

# 출력 결과 숨기기 : 더블클릭  ,  

   출력 결과 나타내기 : 원클릭

#  코딩라인 머지(merge-합치기) 기능

   ( 선택후 : shift + M ) 

# 코딩라인 스플릿(split) 기능

   ( ctrl + shift + '-' )      ,   '-' 는 키보드 마이너스 키

# 동시 입력(다중커서)

  ( ctrl + 클릭 ) 

# 라인번호 표시하기 

  (코딩 영역 선택 후 'L' )   》 토글 됨 

# 개별 코딩영역이 아닌 전체 영역에 라인번호 넣기 

  ( shift   +  'L' ) 

# 코딩영역 복사 붙여 넣기 

  ( 영역 클릭후 C ,  원하는 곳에 V )

# 코딩영역 잘라낸 후 붙여넣기

  ( 영역 클릭 후 X,  원하는 곳에 V )

# 코딩영역 내 복사 붙여넣기

  ( 블럭 선택 후 ctrl + C  ,  원하는 곳에 ctrl + V  )

# 주석처리 하기 

  ( 맨 앞에 '#' 넣어 처리 ) 

# 주석처리 단축 키 

  ( ctrl + /  )     슬래시 키

# 전체선택 후 주석처리 하기

  ( ctrl + A  , ctrl + / )     토글 됨

【 유튜브에서 보기 】

https://youtu.be/bLM_WG4NF-A

【 파이썬 기초#2】 (영상) 파이썬 개발 환경 (아나콘다) 설치와 실행

 파이썬을 코딩하거나 작업하기 위한 개발환경은 여러 가지 형태가 있다.  그중에서도 윈도, 맥, 리눅스 등의 운영체제 안에서 웹 환경에서 쉽게 개발할 수 있게 도와주는 아나콘다를 설치해보려고 한다.  아나콘다의 장점은 클라우드 형태의 IDE(통합개발환경) 형태로서, 파이썬의 웹코딩 툴인 주피터 노트북(jupyter notebook)과 , 파이썬을 이용한 머신러닝(AI학습) 시스템을 구축하거나, 빅데이터 분석 구축과 파이썬의 비주얼 작업 등을 도와주는 도구들 (Rstudio, spyder, Glueviz 등)을 사용하기 용이한 장점이 있다. (데이터 과학 도구들 사용 용이)

 앞으로 파이썬 코딩 기초부터 다뤄볼 예정이고, 종종 유용한 도구들을 함께 활용하는 법에 대해 다루어 볼 예정이다.

오늘은 그 첫 시간으로, 아나콘다 ( Anaconda )를 설치해 보도록 하겠다.  (영상 속에 설치 전 과정과 설명이 담겨 있음) 

▶ 아나콘다  다운로드 & 설치 영상: 

▶ 설치과정 이미지 :

(이미지 클릭, 확대해서 보세요)

아래 자신의 PC 운영체제에 맞게 선책후 다운로드 한다. 

아래의 경우는 윈도우 64bit 버전일 경우 체크 한 경우임. 

현재는 아나콘다(Anaconda) 런처 파일을 다운로드 받고 설치 하는 과정임.  
단, 아나콘다 런처에서 파이썬을 실행하려면, 파이썬 코어가 설치되어 있어야 함으로, 파이썬이 설치 되어 있지 않은 경우 아래 파이썬 버전 중 선택하여 먼저 다운로드 후 설치를 진행하고, 아나콘다 런처(Launcher) 프로그램을 설치하면 됨.

참고로, 파이썬 버전이 아래와 같은 2.7 버전과, 3.7버전을 제시하는 이유는  파이썬 명령어 형식이 변화가 크기 때문이며, 2.7 버전에서 numpy, spyder 등등의 툴을 사용하여 구축한 시스템이 있을 경우,  3.7 버전에서 수정하고 돌릴 경우  에러가 나고 실행이 되지 않는다.   

따라서 이런 경우를 제외하고는 최근 버전인 3.7 을 다운받아 사용하면 된다.   
(참고로 현재,  Python.org 에서는 최신 버전(3.8)이 발표되 었다. )

다운로드 사이트 :  https://www.anaconda.com/distribution/#download-section

혹은 아래 클릭 하면 바로 다운로드 받으실 수 있습니다.

[ 아나콘다 설치 파일 다운로드 ] :  ← 클릭!

파일을 다운로드 하면 ,

위와 같은 과정으로 설치 후에는 Anaconda 실행아이콘이 설치되며, 이를 실행하면 아래와 같은 아나콘다 런처 화면을 볼 수 있다.

아래 주피터 노트북 런처 아이콘이 보이며,  그 외 기타 툴들을 설치하여 파이썬과 함께 사용가능하다.

※ 중요~!

만약,  런처 화면에서 주피터 노트북이 실행이 되지 않고, 커맨트창(도스창) 화면만 띄워져 있을 경우에는,  다른 요인 때문에 웹 브라우저에 직접 띄워 주지 못하는 경우이다.  

이럴경우 아래 주소 코드를 드래그 하여 복사 후 크롬 웹 브라우저 주소에 붙여 넣기를 하면, 주피터 노트북 페이지를 띄워 준다.  (세 가지 주소중 한가지만 Ctrl+C, Ctrl+V 하면 됨).

웹 브라우저에서 아래와 같은 주피터 노트북 화면이 실행이 되면, 

우측메뉴에서 New 를 클릭하고,  다시 Python3 를 클릭하면, 파이썬 코드를 입력하는 화면이 실행이 된다.

즉, 현재의 화면은 주피터 노트북의 파일 탐색창(관리) 같은 개념이고, 

코드가 실행 되면, 아래와 같은 코딩편집 화면을 볼 수 있을 것이다.

위와 같이,  웹 상에서 파이썬 코드가  직접  실행이 된다.  

shift+Enter 키를 치면 바로 그 아래 실행결과를 띄워주니 코딩 연습하기에 매우 편리한 구조이다.

또한 기상청 기온 데이터와 그래프를 그려주는 matplotlib 라이브러리를 적절히 이용하면,  아래와 같은 출력을 얻을 수 있다.   

( 2009년~2019년 , 10년 동안의 서울 월간 최고기온 데이터를 시각화 하기 )

이와 같이 파이썬은 데이터를 주무르고 실험과 실습하기 좋은 코딩환경을 Anaconda3가 제공하고 있으니 ,
한 번 활용해 보시면 좋을 것 같네요.

감사합니다.

【파이썬 에러】 파이썬(쉘) 프로그램이 에러뜨며 실행이 안 될 때!

 제목 처럼 잘 실행 되던 파이썬 셀프로그램이 아래와 같은 에러메세지를 띄우며 실행이 되지 않을 때가 있다. 

이때 에러를 해결 하는 방법에 대해 다루어 보고자 한다. 

(운영체제 : Windows7  ,   파이썬 버전 : Python 3.7.0  )

▶ 에러 증상과 화면 :

 얼마전 까지만 해도 잘 실행이 되던 파이썬이 아래창과 같은 에러 메세지를 띄우며 실행이 되지 않음.

에러메세지 글 : 
IDLE's subprocess didn't make connection. Either IDLE can't start a subprocess or personal firewall software is blocking the connection.   

▶ 에러 대처 방법 : 

메세지 내용 대로 방화벽 관련 차단이 걸려 있지 않았는지 살펴 보았으나 별다른 문제는 없었다. 물론 그 사이 만진적도 없고... 

결론! 은 파이썬 파일을 작성해서 저장 할 때 기본 저장 디렉토리가 파이썬 쉘 프로그램이 설치되어 있는 폴더로 지정되어 있는데, 여기에 작업한 파일을 그대로 저장하게 되었고, 저장한 파일 이름중에 파이썬에서 예약된 환경변수 명과 같거나 유사한 이름을 가진 파일이 있을 경우인 것으로 파악되었다. 

문제가 된 파일명은  random.py 였다.  ( random 변수 생성에 관한 예제 파일을 만들어 놓은 것이 충돌을 일으킨 것으로 파악되었다. 그 외에, random_demo.py 라든지 유사한 파일에 대해서도 에러가 났다는 경우가 있는 것 같다. 

（아래 사진에서 파일유형이 "Python File" 파일인 것들이 충돌에 관여된다）

파이썬 프로그램 설치 경로 :   C:\Users\NOTE\AppData\Local\Programs\Python\Python37-32

위는 기본 경로로 설치 할 때의 경로이며,  'NOTE' 폴더명은 각자의 컴퓨터 이름이다.  (나의 윈도우 설치시 PC이름이 'NOTE' 임)

 【에러 해결】 : 해당 폴더를 찾아가서 'random.py'파일 뿐 아니라 만들어 놓은 파이썬 파일들을 모두 다른 폴더로 옮기거나 삭제 하면 간단히 해결 된다. 

즉, 위 사진에서 파일유형이 "Python File" 파일인 것들을 모두 삭제 하거나 다른 폴더로 옮겨 놓는다.  그리고 가급적이면 이후 작업파일 들도 다른 폴더에 저장하는 것이 좋다.）

 나의 경우는 위와 같은 방법으로 만들었던 파이썬 파일들을 모두 옮기고 파이썬 프로그램을 실행시켰더니 아래 이미지 처럼 에러가 뜨지 않고 아주 잘 실행 되었다. 

【 라즈베리파이 】 #10 RaspberryPi 실습

② LED On Off 실습 with Python

▶ 회로 구성 : 

▶ 개요 : 

 앞전 실험에서와 같은 회로를 구성하고, LED On Off를 조금더 다양하게 변화 시켜 보도록 하자.

▶ 실습절차 : 

저항과 LED 를 준비하고 위 도면과 같이 GPIO18번 핀에 연결되도록 한다.

▶ 파이썬 코드 : 

명령창에 한 줄씩 바로 입력 하지말고 저장파일을 만들어 아래와 같이 작성후 실행 시킨다.

▶ 코드설명 : 

- def LedOn(Portno, Delay) : ...  :  definition(정의) 문을 이용해서 자주 사용 되는 명령을 간결하게 할 수 있다. 

위 정의문을 통해 IoPort.output (led, True) ,  time.sleep(2) 를 LedOn(led, 2) 로 사용 할 수 있음으로 코딩이 간결해진다. 

- import RPi.GPIO as IoPort  :  기억하기 쉽고 쓰기 간단한 'IoPort' 라는 이름으로 포트를 지정 하는 것이다.

- import time   :  delay 타이밍을 위해 시간 함수를 사용하기 위해서는 time 함수를 넣어야 한다. 

- led = 18

- LedOn(led,5)  // 18번 포트(led 연결) 로 5초간 High 신호를 출력 (LED On)

▶ 실행 결과 : 

2초간 LED On

1초간 LED Off

1초간 LED On

1초간 LED Off

5초간 LED On

1초간 LED Off

【 라즈베리파이 】 #09 RaspberryPi 실습
① LED On Off 실습 with Python

▶ 회로 구성 : 

▶ 개요 : 

 라즈베리파이의 GPIO 커넥터를 이용하여 LED를 On Off 하는 실습을 해 볼 수 있다.  구동 프로그램으로는 라즈비안 OS에 포함되어 있는 파이썬(Python 3) 프로그램을 이용하여 작성한다.  파이썬 프로그램의 특징은 매우 간결하고 직관적인데, 마치 과거 도스(MS-DOS) 시절 쉬운프로그램인 BASIC 만큼이나 쉽다.  그러니 부담 갖지 말고 접근하길 바란다.   

파이썬에 실행에 대한 내용은 파이썬 카테고리를 참조하길 바란다. 

▶ 실습절차 : 

저항과 LED 를 준비하고 위 도면과 같이 GPIO18번 핀에 연결되도록 한다.

▶ 파이썬 코드 : 

명령창에 한 줄씩 바로 입력 하지말고 저장파일을 만들어 아래와 같이 작성후 실행 시킨다.

▶ 코드설명 : 

- import RPi.GPIO as IoPort  :  기억하기 쉽고 쓰기 간단한 'IoPort' 라는 이름으로 포트를 지정 하는 것이다.

- import time   :  delay 타이밍을 위해 시간 함수를 사용하기 위해서는 time 함수를 넣어야 한다. 

※ GPIO 포트 란?  

 GPIO( General Purpose Input Output) Port 라는 용어로서 ,  Port는 어떤 신호가 드나드는 지점을 말한다.  통신을 하기 위한 신호가 드나들면 통신포트, 신호가 입력되면 입력포트, 신호가 출력되면 출력 포트라고 한다. GPIO 포트는 신호의 입력과 출력 또는 다른 부가 기능으로 사용될 수 있는 다목적 포트이다. 이를 프로그래밍으로 제어하는 것이다. 

-IoPort.setmode(IoPort.BCM) : 입출력 포트를 BCM 타입으로 설정한다는 의미 이다.    라즈베리파이의 GPIO 포트에 주요 2가지 포트 명칭 셋이 사용되는데,  wPi (WiringPi) 와 BCM 이다. 

 BCM은 라즈베리파이의 메인 칩인 BCM283x 칩의 물리적인 핀 번호를 그대로 적용한 핀 명칭으로서 기본제공되는 파이썬 라이브러리가 이 명칭 셋을 사용한다.   wPi 명칭 셋은 GPIO핀을 우선 기준으로 순서대로 동일하게 매칭이 되도록 배치를 한 것인데, 예를 들어 GPIO.5 번핀의 wPi 명칭도 5 번이며,  GPIO.21 번핀의 wPi 명칭도 21 번으로 되어 있어 프로그램 작성시 포트 기준으로 작성이 용이하도록 한 의도를 가지고 있다.   따라서 특정 제작자에 의해 만들어진 라이브러리를 사용할 경우 정확한 제어를 위해 어떤 명칭셋에 따라 작성된 라이브러리 인지 확인 할 필요가 있다.    ＠ 다음글에서 GPIO 포트에 대해 좀더 자세히 다루어 보도록 하겠다. 

- led = 18

- IoPort.setup(led,IoPort.OUT)    // led 포트인 18번 포트를 출력포트로 설정

- IoPort.output (led, True)         // led를 On   ,    False 는 Off

- time.sleep(2)                        //  2초간 기다린다.  delay 타임 

▶ 실행 결과 : 

2초간 LED On

2초간 LED Off

2초간 LED On

LED Off

LED On Off 실습 with Python

【 파이썬 】 #01 파이썬 시작하기 (with Raspbian)

《 파이썬의 특징 》

- 2016년도 조사에서 파이썬은 인기언어인 자바를 제치고 인기 1순위의 언어로 선정 된 바 있다. 

【 파이썬 시작하기 】

【 실행 순서 】

OS 메뉴 》 개발 》 Python3 (IDLE)

▶ 명령어 실습 (명령어 입력하기)

파이썬 쉘 (Shell) 화면에서 "Hello world !" 를 출력해본다.

명령어는 아래와 같다

》 print("Hello world")    

↓ 실행 결과

▶ 수식 계산 실습 

파이썬은 쉘 (Shell) 화면에서 계산기 처럼 수식 계산을 바로 할 수 있다.

실행은 아래와 같다

》 5*2+10/2

↓ 실행 결과

▶ 변수 생성하고 사용하기

파이썬은 쉘 (Shell)에서 바로 변수를 선언 및 초기 값을 넣어 줄 수 있으며 , 변수 선언과 동시에 수식 계산을 할 수 있다. 

실행은 아래와 같다

》 a = 2 + 3

》 b = 3 + 4 

》 a + b 

↓ 실행 결과

》 c = a + b 

》 c                   //  'c'  값을 출력하라~ 

↓ 실행 결과

다음 파이썬 글에서는 별도의 창을 띄워 이미지를 그려주는 함수에 대해 다뤄보자.