在开始之前，请确保你的电脑上已经安装好了BeautifulSoup库，可以通过在命令行中输入pip install beautifulsoup4来进行安装。
在爬取之前，我们需要检测下响应状态码是否为200，如果请求失败，我们将爬取不到任何数据：
import requests
re = requests.get('https://book.douban.com/top250')
if re.status_code == 200:
print('请求成功!')
else:
print('请求失败!响应状态码为{}'.format(re.status_code))
响应状态码为418，我们请求失败了，这是为什么呢？因为豆瓣有反爬虫机制，我们无法通过直接请求服务器来爬取数据，必须在发起请求之前将自己伪装起来。
反爬虫是网站限制爬虫的一种策略。它并不是禁止爬虫(完全禁止爬虫几乎不可能，也可能误伤正常用户)，而是限制爬虫，让爬虫在网站可接受的范围内爬取数据，不至于导致网站瘫痪无法运行。常见的反爬虫方式有判别身份和IP限制两种，这里我们先介绍前者，后者稍后再提及。
有些网站在识别出爬虫后，会拒绝爬虫进行访问，比如之前提到的豆瓣。那我们怎样做才能不被识别出来呢？在此之前，我们先尝试一下直接爬取：
import requests
re = requests.get('https://book.douban.com/top250')
print(re.text)
结果是什么都没有输出，因为豆瓣将我们的爬虫识别了出来并拒绝提供内容。你可能会有疑问，爬虫不是模拟浏览器访问网站、获取网页源代码的吗？为什么就被识别出来了呢？事实上，无论是浏览器还是爬虫，访问网站时都会带上一些信息用于身份识别，而这些信息都被存储在一个叫请求头(request headers)的地方。
服务器会通过请求头里的信息来判别访问者的身份。请求头里的字段有很多，我们暂时只需了解user-agent(用户代理)即可。user-agent里包含了操作系统、浏览器类型、版本等信息，通过修改它我们就能成功地伪装成浏览器并爬取我们想要的数据。
那么如何找到user-agent呢？操作步骤如下：
选中后将其复制下来，我的浏览器的User-Agent是Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/84.0.4147.125 Safari/537.36，而requests默认的User-Agent是Python-requests/2.24.0。默认的User-Agent和在头上贴着“我是爬虫”的纸条没有什么区别，很容易被服务器识别出来。因此我们需要修改请求头里的user-agent字段内容，将爬虫伪装成浏览器。
我们只需定义一个字典(请求头字段作为键，字段内容作为值)传递给headers参数即可，方法如下：
import requests
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
print(re.text)
这样就能正常输出内容了(结果太长这里不展示)。除了user-agent之外的其他请求头字段也能以同样的方式添加进去，但大部分情况下我们只需要添加user-agent字段即可。当我们加了user-agent字段还是无法获取到数据时，说明该网站还通过别的信息来验证身份，我们可以将请求头里的字段都添加进去再尝试。
接下来我们将网页源代码解析成BeautifulSoup对象：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
需要注意的是，创建BeautifulSoup对象时需要传入两个参数，第一个参数是要解析的HTML文本，即网站源代码的字符串形式re.text。第二个参数是解析HTML的解析器，html.parser是Python中内置的解析器，较为简单方便。
接下来我们分别打印soup和re.text，观察其内容有无区别：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
print(soup)
print(re.text)
仔细观察后会发现两次打印的内容完全一样！既然都一样，我们何苦费这么大力将网页源代码解析成BeautifulSoup对象呢？为什么不直接打印re.text呢？
其实，它们只是看上去一样，实际上却属于不同种类。现在尝试用type()函数将re.text和BeautifulSoup对象的类型打印出来对比一下：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
print(type(re.text))
soup = BeautifulSoup(re.text, 'html.parser')
print(type(soup))
通过输出结果可以看出，re.text的类型是字符串，而soup的类型是BeautifulSoup对象，它俩是完全不同的东西。相比字符串，BeautifulSoup对象里有很多强大的方法和属性。通过这些方法和属性，我们就能方便快捷地提取出我们所需要的数据。
BeautifulSoup对象里的方法和属性有很多，我们只学习其中最常用的一些，这些足以应付大多数场景。等你真正的入门后，可以自行学习那些更高阶的知识去解决更复杂的问题。
BeautifulSoup对象里的find()和find_all()是我们提取数据最常用的两个方法。借助它们，我们可以过滤掉HTML页面里的无用数据，轻松地找到我们需要的数据。
我们先来看一下find()和find_all()的作用和区别：
方法作用find()返回符合条件的首个数据find_all()返回符合条件的所有数据
我们通过一个例子进一步熟悉这两个方法，假设我们获取到的网页源代码如下：
<div class="content">
<a href="https://douban.com">登录/注册</a>
<h1>豆瓣读书 Top 250</h1>
<div class="article">
<a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>
<div class="item">
<a href="https://book.douban.com/subject/1007305/">红楼梦</a>
</div>
<div class="item">
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>
</div>
<div class="item">
<a href="https://book.douban.com/subject/10554308/">白夜行</a>
</div>
</div>
</div>
接下来分别使用find()与find_all()，观察输出结果的差异：
print(soup.find('a'))
print(soup.find_all('a'))
其中，使用find()方法输出的结果为：
<a href="https://douban.com">登录/注册</a>
而使用find_all()方法输出的结果为：
[
<a href="https://douban.com">登录/注册</a>,
<a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>,
<a href="https://book.douban.com/subject/1007305/">红楼梦</a>,
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>,
<a href="https://book.douban.com/subject/10554308/">白夜行</a>
]
可以看到，find()方法返回了第一个a标签，而find_all()方法则返回了所有的a标签。它俩的用法基本一样，都是传入HTML标签名称，返回符合该HTML标签的数据。区别是find()方法只返回第一个符合条件的标签，而find_all()方法返回所有符合条件的标签列表。
除了传入标签名称外，这两个方法还支持传入属性进行筛选，返回符合条件的数据。例如：
soup.find('div', id='a') # 查找id='a'的div标签
soup.find_all('var', class_='b') # 查找所有class='b'的var标签
soup.find('button', id='c', class_='d') # 查找id='c'且class='d'的button标签
注：因为class是Python中定义类的关键字，因此用class_表示HTML中的class。
BeautifulSoup将HTML中的元素封装成了Tag对象。和BeautifulSoup对象一样，Tag对象里也有find()和find_all()方法。因此，我们可以不断地调用这两个方法，一层一层地找到我们需要的数据。依然使用之前的例子：
<div class="content">
<a href="https://douban.com">登录/注册</a>
<h1>豆瓣读书 Top 250</h1>
<div class="article">
<a href="https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web">豆瓣书店</a>
<div class="item">
<a href="https://book.douban.com/subject/1007305/">红楼梦</a>
</div>
<div class="item">
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>
</div>
<div class="item">
<a href="https://book.douban.com/subject/10554308/">白夜行</a>
</div>
</div>
</div>
我们可以看到，书名在a标签中。但如果直接使用soup.find_all(‘a’)的话，第二行的“登录/注册”和第五行的“豆瓣书店”也会被获取到，因此我们需要将这些无效数据过滤掉。
深入思考一下不难发现，书名在class="item"的div标签里的a标签内。我们只要先找到所有class="item"的div标签，然后再找到其中的a标签即可，因此我们可以像下面这样来获取书名的数据：
items = soup.find_all('div', class_='item')
for item in items:
print(item.find('a'))
输出结果：
<a href="https://book.douban.com/subject/1007305/">红楼梦</a>
<a href="https://book.douban.com/subject/6082808/">百年孤独</a>
<a href="https://book.douban.com/subject/10554308/">白夜行</a>
这样，我们就找到了所有书名的数据。但此时返回的还是Tag对象。如果我们只想要书名和对应的链接呢？这就用到了Tag对象的text属性和HTML属性名取值。
items = soup.find_all('div', class_='item')
for item in items:
tag = item.find('a')
name = tag.text
link = tag['href']
print(name, link)
输出结果：
红楼梦 https://book.douban.com/subject/1007305/
百年孤独 https://book.douban.com/subject/6082808/
白夜行 https://book.douban.com/subject/10554308/
我们通过Tag对象的text属性拿到了a标签里的文字内容，即红楼梦等。然后我们通过和字典取值一样的方式，将HTML属性名作为键，得到了对应属性的值。这里是以href属性为例，其他的HTML属性也同样可以。
Tag对象的常用属性和方法总结如下：
属性/方法作用tag.find()返回符合条件的首个数据tag.find_all()返回符合条件的所有数据tag.text获取标签的文本内容tag[‘属性名’]获取标签属性的值
我们通过多次调用find()或find_all()方法一层层地找到了我们需要的数据。那有没有什么方法可以直接就找到我们需要的数据，而不用多次查找吗？
答案是肯定的，这就需要用到css选择器了。
在CSS选择器中，#代表id，.代表class。比如：#a表示id=‘a’的所有元素，.b表示class=‘b’的所有元素。当然，我们也可以直接通过标签名选择对应的元素，例如：a表示所有的a元素。
事实上，它们还可以组合在一起，选择同时符合条件的元素，比如：a#b表示所有id=‘b’的a元素，d.c 表示所有class=‘c’的d元素，#b.c 表示所有 id=‘b’ 且 class=‘c’ 的元素，.c.f 表示所有class同时为c和f的元素。
需要注意的是，选择同时符合条件的元素，选择器之间不能有空格，如果写成.c .f就是另一个意思了。这是因为，当两个选择器之间加了空格，表示子元素选择。还是以.c .f为例，它表示选择所有class=‘c’的元素里面class=‘f’的元素，即嵌套在class=‘c’的元素里面class=‘f’的元素。这个嵌套可以是任意层级的，只要在里面就行，不要求直接嵌套在第一层。如果只需要直接嵌套在第一层符合条件的元素，可以用>分隔，例如：.c > .f。
我们来通过一个例子了解一下CSS选择器的用法：
from bs4 import BeautifulSoup
html = '''
<div class="item">
<p class="book">红楼梦</p>
<div class="hot">
<p class="book">白夜行</p>
</div>
</div>'''
soup = BeautifulSoup(html, 'html.parser')
print(soup.select('.item.book'))
print(soup.select('.item .book'))
print(soup.select('.item > .book'))
输出结果：
[]
[<p class="book">红楼梦</p>, <p class="book">白夜行</p>]
[<p class="book">红楼梦</p>]
BeautifulSoup对象有一个select()方法，我们将CSS 选择器传进去即可直接找到我们需要的元素。之前查找在class="item"的div标签里的a标签的代码就可以这样写：
items = soup.select('div.item a')
for item in items:
name = item.text
link = item['href']
print(name, link)
可以看到，我们一次性就将所有符合条件的a元素找了出来，同样的功能，代码变得更加简洁了。
学习到这里，现在你应该可以独自完成爬取豆瓣图书的任务了，豆瓣图书Top250地址：https://book.douban.com/top250。
接下来我会给出具体的思路，不过建议你先尝试独立完成这个任务。
首先，此前我们已经提到过，豆瓣是禁止反爬虫的，我们通过修改User-Agent伪装成浏览器成功“骗过”了豆瓣的识别：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
接下来，我们需要利用CSS选择器将我们所需要的数据存储在items变量中，但是，如何找到图书名称所在的标签呢？
其实很简单，我们先打开https://book.douban.com/top250，右键单击红楼梦>检查，如下图所示：
不难看出，书名是a标签内属性title的值，且这个a标签位于class=“pl2”的div标签内。
在知道了书名的“坐标”后，我们就可以使用CSS选择器啦：
items = soup.select('div.pl2 a')
1
此时items变量实际上是一个由Tag对象组成的列表，我们可以通过循环打印书名和对应的链接：
for item in items:
name = item['title']
link = item['href']
print(name, link)
1234
完整的代码如下：
import requests
from bs4 import BeautifulSoup
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get('https://book.douban.com/top250', headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
items = soup.select('div.pl2 a')
for item in items:
name = item['title']
link = item['href']
print(name, link)
1234567891011121314
爬取到的结果：
红楼梦 https://book.douban.com/subject/1007305/
活着 https://book.douban.com/subject/4913064/
1984 https://book.douban.com/subject/4820710/
百年孤独 https://book.douban.com/subject/6082808/
飘 https://book.douban.com/subject/1068920/
三体全集 https://book.douban.com/subject/6518605/
三国演义（全二册） https://book.douban.com/subject/1019568/
白夜行 https://book.douban.com/subject/10554308/
房思琪的初恋乐园 https://book.douban.com/subject/27614904/
福尔摩斯探案全集（上中下） https://book.douban.com/subject/1040211/
动物农场 https://book.douban.com/subject/2035179/
小王子 https://book.douban.com/subject/1084336/
天龙八部 https://book.douban.com/subject/1255625/
撒哈拉的故事 https://book.douban.com/subject/1060068/
安徒生童话故事集 https://book.douban.com/subject/1046209/
哈利•波特 https://book.douban.com/subject/24531956/
人类简史 https://book.douban.com/subject/25985021/
沉默的大多数 https://book.douban.com/subject/1054685/
围城 https://book.douban.com/subject/1008145/
平凡的世界（全三部） https://book.douban.com/subject/1200840/
杀死一只知更鸟 https://book.douban.com/subject/6781808/
局外人 https://book.douban.com/subject/4908885/
明朝那些事儿（1-9） https://book.douban.com/subject/3674537/
霍乱时期的爱情 https://book.douban.com/subject/10594787/
笑傲江湖（全四册） https://book.douban.com/subject/1002299/
12345678910111213141516171819202122232425
仔细观察不难发现，上述所说的a标签内的文本内容只有书名，因此除了使用item[‘title’]外，我们还可以使用item.text：
for item in items:
name = item.text
link = item['href']
print(name, link)
1234
输出结果(结果太长这里仅展示前面的一部分)：
红楼梦
https://book.douban.com/subject/1007305/
活着
https://book.douban.com/subject/4913064/
1984
https://book.douban.com/subject/4820710/
百年孤独
https://book.douban.com/subject/6082808/
1234567891011121314151617181920
为什么使用item.text就会出现一些奇怪的换行呢？
我们知道，item.text是获取标签内的所有文本内容，空格，换行符等都会获取，我们再来看一下之前的a标签：
显然a标签里存在空格和换行符，因此如果想使用item.text输出结果，我们必须使用join()方法去掉这些多余的空格和换行符：
for item in items:
name = ''.join(item.text.split())
link = item['href']
print(name, link)
1234
这样结果就可以正常显示啦。
可能你已经发现了，我们之前爬取的图书仅仅是第一页的，并不是所有的Top250图书，那么如何爬取所有的呢？
我们进入第二页后，可以看到网址变成了https://book.douban.com/top250?start=25，相比原来多了个?start=25。
我们再进入第一页，会发现网址变成了https://book.douban.com/top250?start=0。之后，再进入最后一页，网址变成了https://book.douban.com/top250?start=225。
我想你应该已经找到了其中的规律。
很显然，"start="后面的数字总是以步长25进行递增，第一页此数字是0，第十页此数字是225，这让我们联想到了循环。
我们先把之前爬取图书的代码封装成一个函数：
def spider(url):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get(url, headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
items = soup.select('div.pl2 a')
for item in items:
name = item['title']
link = item['href']
print(name, link)
1234567891011
豆瓣图书Top250共有十页，我们根据之前找出来的规律，利用循环生成这十个网页地址：
for i in range(0, 250, 25):
douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
12
之后，将它们组装在一起，我们就可以爬取所有图书了：
import requests
from bs4 import BeautifulSoup
def spider(url):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get(url, headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
items = soup.select('div.pl2 a')
for item in items:
name = item['title']
link = item['href']
print(name, link)
for i in range(0, 250, 25):
douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
spider(douban_book)
1234567891011121314151617181920
但考虑到输出结果太长，不方便在终端查看，我们可以将爬取到的结果写入文件：
import requests
from bs4 import BeautifulSoup
def spider(url, filename):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get(url, headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
items = soup.select('div.pl2 a')
with open(filename, 'a', encoding=re.encoding) as f:
for item in items:
line = item['title'] + " " + item['href'] + "n"
f.write(line)
for i in range(0, 250, 25):
douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
spider(douban_book, 'doubanTop250.txt')
1234567891011121314151617181920
效果：
爬虫在网页上爬取数据时如果不加任何限制会“高速”访问对方的服务器，如果访问太快容易导致被对方服务器封禁，因为正常人是不会在1秒内访问几十次甚至上百次网站的，这样就会导致我们在一段时间内无法访问这个网站。所以，如果你访问过于频繁，即使通过修改User-Agent伪装成浏览器，也还是会被识别出爬虫，并限制你的IP访问该网站。
那么如何防止自己被封禁呢？这里介绍两种策略，一种是降低自己的爬取速度，另一种是IP代理。
time.sleep(secs)函数推迟调用线程的运行，可通过参数secs(秒数)来进行设置。
我们先来看一个例子：
import time
for i in range(0, 10):
print(i)
time.sleep(1)
12345
运行后，终端先是输出0，之后每隔1秒输出一个数字。倘若不加上time.sleep(1)，那么这10个数字会在“一瞬间”打印出来。显然，time.sleep()延迟了打印这个操作。
利用这个特点，我们可以在之前爬取豆瓣图书Top250的代码中使用time.sleep()，以降低爬取速度，防止被封：
import requests
from bs4 import BeautifulSoup
from time import sleep as pause
def spider(url, filename):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get(url, headers=headers)
soup = BeautifulSoup(re.text, 'html.parser')
items = soup.select('div.pl2 a')
with open(filename, 'a', encoding=re.encoding) as f:
for item in items:
line = item['title'] + " " + item['href'] + "n"
f.write(line)
for i in range(0, 250, 25):
douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
spider(douban_book, 'doubanTop250.txt')
pause(1)
12345678910111213141516171819202122
这样我们就可以每隔1秒爬取一页，降低了访问频率。
除了降低访问频率之外，我们也可以使用代理来解决IP限制的问题。代理的意思是通过别的IP访问网站。这样，在IP被封后我们可以换一个IP继续爬取数据，或者每次爬取数据时都换不同的IP，避免同一个IP访问的频率过高，这样就能快速地大规模爬取数据了。
如何使用代理呢？请看下例：
import requests
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
12345678
和headers一样，我们同样需要定义一个字典，但传递的是proxies参数。我们需要将http和https这两种协议作为键，对应的IP代理作为值，最后将整个字典作为proxies参数传递给requests.get()方法即可。
注：IP代理有免费的和收费的，你可以自行在网上寻找。
在爬取大量数据时我们需要很多的IP用于切换。因此，我们需要建立一个IP 代理池(字典列表)，每次从中随机选择一个传给proxies参数。
因此，使用IP代理并结合time.sleep()爬取豆瓣图书Top250再将其写入文件的完整代码如下：
import requests
from random import choice
from bs4 import BeautifulSoup as BeS
from time import sleep as pause
def spider(url, filename, proxies):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.125 Safari/537.36'
}
re = requests.get(url, proxies=proxies, headers=headers)
soup = BeS(re.text, 'html.parser')
items = soup.select('div.pl2 a')
with open(filename, 'a', encoding=re.encoding) as f:
for item in items:
f.write(item['title'] + " " + item['href'] + "n")
filename = 'doubanTop250.txt'
pages = []
proxies_list = []
for i in range(0, 250, 25):
ip_1 = "http://10.10.1.1%s:3128" % str(i // 25)
ip_2 = "http://10.10.1.1%s:1080" % str(i // 25)
douban_book = 'https://book.douban.com/top250?start=%s' % str(i)
prox = {
"http": ip_1,
"https": ip_2,
}
pages.append(douban_book)
proxies_list.append(prox)
for page in pages:
proxies = choice(proxies_list)
spider(page, filename, proxies)
pause(1)
12345678910111213141516171819202122232425262728293031323334353637
上述代码的IP代理池中的IP代理不可用(IP地址是瞎写的)，所以代码不会成功运行，这里仅仅是为了展示一个完整的结构。
京公网安备 11010802035086号