python 爬虫总结帖（一）

2017-12-05

主要是re，requests，BeautifulSoup，urllib2的使用总结

1.requests基本用法示例

使用requests加载网站

# coding:utf-8
import requests

# 下载新浪新闻首页的内容
url = 'http://news.sina.com.cn/china/'
# 用get函数发送GET请求，获取响应
res = requests.get(url)
# 设置响应的编码格式utf-8（默认格式为ISO-8859-1），防止中文出现乱码
res.encoding = 'utf-8'

print type(res)
print res
print res.text

# 输出：
'''
<class 'requests.models.Response'>
<Response [200]>
<!DOCTYPE html>
<!-- [ published at 2017-04-19 23:30:28 ] -->
<html>
<head>
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<title>国内新闻_新闻中心_新浪网</title>
<meta name="keywords" content="国内时政,内地新闻">

requests 发送请求与传递参数

import requests
 
r = requests.get(url='http://www.itwhy.org')    # 最基本的GET请求
print(r.status_code)    # 获取返回状态
r = requests.get(url='http://dict.baidu.com/s', params={'wd':'python'})   #带参数的GET请求
print(r.url)
print(r.text)   #打印解码后的返回数据

requests 接口统一，使用方便

requests.get(‘https://github.com/timeline.json’) #GET请求

requests.post(“http://httpbin.org/post”) #POST请求

requests.put(“http://httpbin.org/put”) #PUT请求

requests.delete(“http://httpbin.org/delete”) #DELETE请求

requests.head(“http://httpbin.org/get”) #HEAD请求

requests.options(“http://httpbin.org/get”) #OPTIONS请求

###

requests使用post发送json请求

import requests
import json
 
r = requests.post('https://api.github.com/some/endpoint', data=json.dumps({'some': 'data'}))
print(r.json())

requests 定制header：


import requests
import json
 
data = {'some': 'data'}
headers = {'content-type': 'application/json',
           'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}
 
r = requests.post('https://api.github.com/some/endpoint', data=data, headers=headers)
print(r.text

requests 代理访问

有时候为了避免封IP，或者在某些公司内网访问外网时候，需要用到代理服务器发送请求，代理的用法示例：

import requests
proxies = {'http':'http://proxy.test.com:8080','https':'http://proxy.test.com:8080'}  # 其中proxy.test.com即为代理服务器的地址
url = 'https://www.baidu.com'  # 这个url为要访问的url
resp = requests.get(url,proxies = proxies)

更多详细的用法还是需要阅读官方库，requests几乎可以代替urllib的使用

2.urllib2 使用示例

使用urllib2加载一个网页的html（方便使用Soup进行解析）

1
2
3

import urllib2
response = urllib2.urlopen('http://python.org/)
html = response.read()

展开全文 >>

搭建博客感想

2017-11-22

最早是已去中科大数据搬砖的薇薇跟我提起说要搭建博客的事，当时也说好要心血来潮自己彻彻底底的撸完一整套blog代码，flask和django也都学了，暑假也试过自己搭建一个清爽的blog，但是一想到自己还要买域名，买服务器。Emmm…用Github搭建博客才是最吼的！🙂

1 2	这就是我的第一篇博客了，虽然水了点，以后可是要堂堂正正发干货的，坚决不 ~~摸鱼~~ ！

后记：感谢鹅厂大佬Litten提供的yilia主题

在此附上大佬的github地址：https://github.com/litten

展开全文 >>