Python爬虫第一课:requests的使用

requests模块的入门使用

注意是requests不是request.

1、为什么使用requests模块,而不是用python自带的urllib

  • requests的底层实现就是urllib
  • requests在python2 和python3中通用,方法完全一样
  • requests简单易用
  • requests能够自动帮助我们解压(gzip压缩的等)响应内容
    作用:发送网络请求,返回响应数据
    中文文档 :http://docs.python-requests.org/zh_CN/latest/index.html
    通过观察文档来学习:如何使用requests来发送网络请求

2、requests模块发送简单的get请求,获取响应。

需求:通过requests向百度首页发送请求,获取百度首页的数据

import requests 
# 目标url
url = 'https://www.baidu.com' 
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
print(response.text)

response的常用属性:

  1. response.text 响应体 str类型
  2. respones.content 响应体 bytes类型
  3. response.status_code 响应状态码
  4. response.request.headers 响应对应的请求头
  5. response.headers 响应头
  6. response.request.cookies 响应对应请求的cookie
  7. response.cookies 响应的cookie(经过了set-cookie动作)

2.1 response.text 和response.content的区别

  • response.text
    类型:str
    解码类型:requests模块自动根据HTTP 头部对响应的编码作出有根据的推测,推测的文本编码
  • response.content
    类型:bytes
    解码类型:没有指定

如果在响应的response.text出现乱码,将下面的三个方式按个试一遍,一般就能解决问题

  • response.content.decode()
  • response.content.decode('GBK')
  • response.content.decode('unicode-escape')

2.2 把网络上的图片保存到本地

我们来把网络上的图片保存到本地

分析:

  • 图片的url:https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg
  • 利用requests模块发送请求获取响应
  • 以2进制写入的方式打开文件,并将response响应的二进制内容写入
import requests
# 图片的url
img_url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1591375146706&di=43effd06a8da881890c639b392db48cd&imgtype=0&src=http%3A%2F%2F5b0988e595225.cdn.sohucs.com%2Fimages%2F20171108%2F3fe473acfc39476db58fadd7fbaf97ff.jpeg'
# 响应本身就是一个图片,并且是二进制类型
response = requests.get(img_url)
img = response.content
# 以二进制+写入的方式打开文件
with open('first.jpg', 'wb') as f:
    # 写入response.content bytes二进制类型
    f.write(img)

3、发送带header的请求

我们先写一个获取百度首页的代码

import requests
url = 'https://www.baidu.com'
response = requests.get(url)
# 打印响应对应请求的请求头信息
print(response.request.headers)
# 打印响应的数据长度
print(len(response.content.decode()))

输出:

{'User-Agent': 'python-requests/2.22.0', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
2349
可以看出,请求头是python-requests,服务器很容易就发现是python而不是浏览器在访问。所以返回的数据非常少,

3.1 为什么请求需要带上header?

模拟浏览器,欺骗服务器,获取和浏览器一致的内容

3.2 header的形式:字典

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

3.3 用法

requests.get(url, headers=headers)

3.4 带上请求头的完整代码

import requests
url = "https://www.baidu.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}
response = requests.get(url,headers=headers)
print(response.request.headers)
print(len(response.content.decode()))

输出:

{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'Accept': '/', 'Connection': 'keep-alive'}
286046

4、发送带参数的请求

我们在使用百度搜索的时候经常发现url地址中会有一个 ?,那么该问号后边的就是请求参数,又叫做查询字符串

4.1 什么叫做请求参数:

例1:https://www.sohu.com/a/128244875_623785

例2:https://www.baidu.com/s?wd=python

例1中没有请求参数!例2中?后边的就是请求参数

4.2 请求参数的形式:字典

kw = {'wd':'长城'}

4.3 请求参数的用法

requests.get(url,params=kw)

4.4 关于参数的注意点

在url地址中, 很多参数是没有用的,比如百度搜索的url地址,其中参数只有一个字段有用,其他的都可以删除 如何确定那些请求参数有用或者没用:挨个尝试!对应的,在后续的爬虫中,遇到很多参数的url地址,都可以尝试删除参数。

4.5 两种方式:发送带参数的请求

1.对https://www.baidu.com/s?wd=python发起请求可以使用requests.get(url, params=kw)的方式。

# 方式一:利用params参数发送带参数的请求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# 这是目标url
# url = 'https://www.baidu.com/s?wd=python' 
# 最后有没有问号结果都一样
url = 'https://www.baidu.com/s?' 
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'} 
# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw) 
# 当有多个请求参数时,requests接收的params参数为多个键值对的字典,比如 '?wd=python&a=c'-->{'wd': 'python', 'a': 'c'}
print(response.content)

2.也可以直接对https://www.baidu.com/s?wd=python完整的url直接发送请求,不使用params参数

# 方式二:直接发送带参数的url的请求
import requests
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
url = 'https://www.baidu.com/s?wd=python'
# kw = {'wd': 'python'}
# url中包含了请求参数,所以此时无需params
response = requests.get(url, headers=headers)

4.6 爬取指定贴吧

import requests
# 爬取指定名称的贴吧,然后把网页保存在本地
url="https://tieba.baidu.com/f?"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"
}

word = input("请输入想保存的贴吧名称:")
for i in range(int(input("请输入需要保存的页码:"))):
    params = {
        "kw": word,
        "pn": i*50
    }
    response = requests.get(url,headers=headers,params=params)
    with open(f"{word}{i+1}.html",'wb') as f:
        f.write(response.content)
        print(f"{word}{i+1}.html保存完成")

二、requests模块的深入使用

1、使用requests发送POST请求

哪些地方我们会用到POST请求?

  1. 登录注册( POST 比 GET 更安全)
  2. 需要传输大文本内容的时候( POST 请求对数据长度没有要求)
    所以同样的,我们的爬虫也需要在这两个地方回去模拟浏览器发送post请求

1.1 requests发送post请求语法:

  • 用法:
  response = requests.post("http://www.baidu.com/", data = data,headers=headers)
  • data 的形式:字典

1.2 POST请求练习

下面我们通过百度翻译的例子看看post请求如何使用:
思路分析
1、确定请求的url地址

 

2、确定请求的参数

 

百度翻译获取翻译结果在另外一个url,也是post请求,但是参数很多,需要自己去构建,后面再说,这里简单的展示一个例子,获取输入的语言类型。

url = "https://fanyi.baidu.com/langdetect"
word = input("请输入查询的关键字:")
#构造表单
data = {
    "query": word
}
# 发送请求
print(eval(requests.post(url,data=data).text)["lan"])

输出:

请输入查询的关键字:睡觉
zh

出现了eval,顺便说一下,eval自动调整数据的格式。

str_data = '{"name":"张三","password":"zhangsanzhenshuai"}'
print(type(str_data))
print(eval(str_data))
print(type(eval(str_data)))

输出:

<class 'str'>
{'name': '张三', 'password': 'zhangsanzhenshuai'}

<class 'dict'>

2、使用代理

2.1 为什么要使用代理

  1. 让服务器以为不是同一个客户端在请求。
  2. 防止我们的真实地址被泄露,防止被追究。

2.2 理解使用代理的过程

 

 

2.3 理解正向代理和反向代理的区别

 


通过上图可以看出:

  • 正向代理:对于浏览器知道服务器的真实地址,例如VPN
  • 反向代理:浏览器不知道服务器的真实地址,例如nginx

2.4 代理的使用

  • 用法:
  requests.get("http://www.baidu.com",  proxies = proxies)
  • proxies的形式:字典
  proxies = { 
      "http": "http://12.34.56.79:9527", 
      "https": "https://12.34.56.79:9527", 
      }

2.5 代理IP的分类

根据代理ip的匿名程度,代理IP可以分为下面四类:

  • 透明代理(Transparent Proxy):透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以查到你是谁。
  • 匿名代理(Anonymous Proxy):使用匿名代理,别人只能知道你用了代理,无法知道你是谁。
  • 高匿代理(Elite proxy或High Anonymity Proxy):高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

在使用的时候,毫无疑问使用高匿代理效果最好。

从请求使用的协议可以分为:

  • http代理
  • https代理
  • socket代理等

不同分类的代理,在使用的时候需要根据抓取网站的协议来选择。

2.6 代理IP使用的注意点

1、反反爬

使用代理ip是非常必要的一种 反反爬 的方式

但是即使使用了代理ip,对方服务器仍然会有很多的方式来检测我们是否是一个爬虫,比如:

  • 一段时间内,检测IP访问的频率,访问太多频繁会屏蔽。
  • 检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽。
  • 服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽。

所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用,不要每次都用一个代理ip。

2、代理ip池的更新

购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。

PS:如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

 

可以免费领取源码、项目实战视频、PDF文件等

 

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以上文章来源于海洋纪 ,作者劉夏橙