목록크롤링 (4)

수학과의 좌충우돌 프로그래밍

[도서 출판] 인공지능을 활용한 업무자동화

안녕하세요 강민성입니다. 최근에 블로그 쓰는 방식을 마크다운 형식으로 바꾸면서, 군 말을 다 빼고 최대한 간결하게 코드만 올리는 방식으로 바꾸었는데 어느 방식이 더 좋은지 아직도 확신이 안서네요... 통일감은 좀 없더라도 기분 내키는대로 써보도록 하겠습니다. 3월 달 쯤 부터 좋은 기회가 생겨서 도서 집필을 하게 되었습니다. 아직 아는거보다 모르는게 더 많고 배워나가는 단계라, 혼자서 다 쓰는 건 무리였고 여럿 분과 공동 집필로 작업했습니다. 책 주제도 평소에 관심이 있었던 내용이고 의미있는 기회가 될 거 같아 흔쾌히 참여하였습니다. 책 제목은 인공지능을 활용한 업무자동화 입니다. 그 동안 우리가 비효율적으로 해왔던 단순 작업들, 사람이 해왔던 작업들을 인공지능, 크롤링 등 여러가지 방법을 이용해 자동화..

projects 2019. 5. 7. 01:43
[crawling] 03. BeautifulSoup으로 웹 크롤링 하기

BeautifulSoup 으로 웹 크롤링하기 앞에서 우리는 이미 BeuatifulSoup 를 설치 하였고 import 가 잘 되는지도 확인해보았습니다. 혹시 BeuatifulSoup4 버젼을 설치해야한다고 했던 게 기억나시나요?그냥 BeuatifulSoup 를 설치하게 되면, 이는 BeuatifulSoup3 버젼이고 python3과 호환이 되지 않습니다. 이 점 다시 한 번 유의해주시기 바랍니다.말하는 김에 한 가지 더 유의해야 할 점이 있습니다. 우리는 우리가 원하는 정보를 얻기 위해서 각 태그에 접근을 할 것입니다. 그리고 개발자도구 를 통해 어떤 태그인지를 확인 할 것 입니다. 여기서 문제가 발생합니다. 웹 페이지는 일종의 문서이기 때문에 웹 브라우저가 이를 해석하는 방식의 차이가 있습니다. 즉 해..

웹프로그래밍/crawling 2019. 3. 22. 12:47
[crawling] 02. request를 통한 HTTP 요청 - GET

requests_get requests 이번에는 requests 라는 라이브러리를 통해서 본격적으로 데이터를 가져와보도록 하겠습니다. 위에서 HTTP 메소드에 대해서 이야기를 했었고 requests를 통해서 모든 메소드에 대해서 접근이 가능하지만 가장 많이 쓰이고 중요한 GET과 POST 에 대해서만 다뤄보도록 하겠습니다. GET 요청 데이터를 불러오는 방법은 생각보다 간단합니다. 그리고 그 간단함이 바로 requests 라이브러리의 가장 큰 장점 중 하나죠. import requests response = requests.get('http://naver.com') response.text 결과를 확인하면 아래와 같습니다. '\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n\n..

웹프로그래밍/crawling 2019. 3. 21. 03:18