在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到的就是selenium,但很多时候其实selenium使用起来是不太方便的,例如环境配置,要安装浏览器、下载对应的驱动、安装对应的Python selenium库,而且各个工具的版本还要匹配,大规模部署时就比较麻烦。
下面我们介绍另一个工具-pyppeteer
pyppeteer是puppeteer的Python版本,而puppeteer是什么呢?puppeteer是google基于Node.js开发的一个工具,它可以使我们通过JAVAScript来控制Chrome浏览器执行一些操作,拥有丰富的API,功能非常强大,因此也可以用于网络爬虫。pyppeteer是一位日本的程序员根据Puppeteer开发的非官方Python版本。
在Pyppeteer中,它操作的是一个类似Chrome的Chromium浏览器,Chromium是相当于Chrome的开发版,是完全开源的,Chrome的所有新功能都会先在Chromium上实现,稳定后才会移植到Chrome上,因此Chromium会包含很多新功能。Pyppeteer就是依赖于Chromium来运行的,当我们第一次运行Pyppeteer的时候,如果Chromium没有安装,那么程序会自动帮我们安装和配置,省去了环境配置这一步。
下面我们详细了解一下Pyppeteer的用法。
因为Pyppeteer采用了async机制,所以必须使用Python 3.5及以上版本。
使用pip安装非常简单:
pip install pyppeteer
使用时直接导入:
import pyppeteer
接下来我们使用豆瓣电影排行榜https://movie.douban.com/chart来作为测试
下面我们用Pyppeteer来试一下,代码如下:
import asyncio
from pyppeteer import launch
from lxml import etree
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('https://movie.douban.com/chart')
await page.waitForXPath('//table//a[@title]')
doc = etree.html(await page.content())
names = [element.attrib['title'] for element in doc.xpath('//table//a[@title]')]
print('Names: ', names)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
运行结果:
Names: ['誓血五人组', '给我翅膀', '黑帮大佬和我的365日', '爱情人偶', '忠贞', '鲁邦三世 The First', '大饿', '火口的两人', '知晓天空之蓝的人啊', '野性的呼唤']
代码的大体意思是访问网站,然后等待//table//a[@title]的节点加载出来,再通过xpath从网页源码中解析出电影名并输出,最后关闭Pyppeteer。具体过程如下:
另外当中还用到了asyncio的相关知识,因为Pyppeteer是基于asyncio实现的异步,所以这块知识需要先了解一下。
通过上面这个示例,我们看到Pyppeteer比Selenium要简洁的多,而且环境配置也方便,直接自动帮我们实现了环境配置。接下来我们再尝试设定浏览器窗口大小,并进行网页截图,然后执行一段自定义的JavaScript脚本,代码如下:
import asyncio
from pyppeteer import launch
async def main():
width, height = 1366, 768
browser = await launch()
page = await browser.newPage()
await page.setViewport({'width': width, 'height': height})
await page.goto('https://movie.douban.com/chart')
await page.waitForXPath('//table//a[@title]')
await asyncio.sleep(2)
await page.screenshot(path='example.png')
dimensions = await page.evaluate('''() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}''')
print(dimensions)
await browser.close()
asyncio.get_event_loop().run_until_complete(main())
执行结果:
{'width': 1366, 'height': 768, 'deviceScaleFactor': 1}
这里我们完成了页面窗口大小的设置、网页截图保存、执行了JavaScript并返回了对应的数据。图片如下:
我们这里是全屏截图,screenshot方法还可以指定保存格式、清晰度、是否全屏、裁剪等。从截图我们可以看到和我们在浏览器中看到的一样,并且在evaluate方法中执行的JavaScript返回了网页的宽高、像素大小比率的值。
今天我们简单介绍Pyppeteer的使用,更加详细的介绍可以在Pyppeteer的官方文档https://miyakogi.github.io/pyppeteer/reference.html中进行查找,不必死记硬背。下一篇我们介绍一些常用的Pyppeteer对象和使用模式。