您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

超越selenium的爬虫神器Pyppeteer

时间:2020-10-27 10:18:01  来源:  作者:

在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到的就是selenium,但很多时候其实selenium使用起来是不太方便的,例如环境配置,要安装浏览器、下载对应的驱动、安装对应的Python selenium库,而且各个工具的版本还要匹配,大规模部署时就比较麻烦。

下面我们介绍另一个工具-pyppeteer

Pyppeteer简介

pyppeteer是puppeteer的Python版本,而puppeteer是什么呢?puppeteer是google基于Node.js开发的一个工具,它可以使我们通过JAVAScript来控制Chrome浏览器执行一些操作,拥有丰富的API,功能非常强大,因此也可以用于网络爬虫。pyppeteer是一位日本的程序员根据Puppeteer开发的非官方Python版本。

在Pyppeteer中,它操作的是一个类似Chrome的Chromium浏览器,Chromium是相当于Chrome的开发版,是完全开源的,Chrome的所有新功能都会先在Chromium上实现,稳定后才会移植到Chrome上,因此Chromium会包含很多新功能。Pyppeteer就是依赖于Chromium来运行的,当我们第一次运行Pyppeteer的时候,如果Chromium没有安装,那么程序会自动帮我们安装和配置,省去了环境配置这一步。

下面我们详细了解一下Pyppeteer的用法。

安装

因为Pyppeteer采用了async机制,所以必须使用Python 3.5及以上版本。

使用pip安装非常简单:

pip install pyppeteer

使用时直接导入:

import pyppeteer

使用

接下来我们使用豆瓣电影排行榜https://movie.douban.com/chart来作为测试

超越selenium的爬虫神器Pyppeteer

 

下面我们用Pyppeteer来试一下,代码如下:

import asyncio
from pyppeteer import launch
from lxml import etree


async def main():
    browser = await launch()
    page = await browser.newPage()
    await page.goto('https://movie.douban.com/chart')
    await page.waitForXPath('//table//a[@title]')
    doc = etree.html(await page.content())
    names = [element.attrib['title'] for element in doc.xpath('//table//a[@title]')]
    print('Names: ', names)
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())

运行结果:

Names:  ['誓血五人组', '给我翅膀', '黑帮大佬和我的365日', '爱情人偶', '忠贞', '鲁邦三世 The First', '大饿', '火口的两人', '知晓天空之蓝的人啊', '野性的呼唤']

代码的大体意思是访问网站,然后等待//table//a[@title]的节点加载出来,再通过xpath从网页源码中解析出电影名并输出,最后关闭Pyppeteer。具体过程如下:

  • launch 方法新建一个Browser对象,赋值给browser变量,这一步就相当于启动了浏览器
  • 然后browser调用newPage方法相当于新建一个选项卡,并且返回一个Page对象,这一步还是一个空白的页面,并未访问任何页面
  • 然后Page调用goto方法,就相当于访问此页面
  • Page对象调用waitForXpath方法,那么页面就会等待选择器所对应的节点信息加载出来,如果加载出来就立即返回,否则就会持续等待直到超时。这里就比selenium的等待元素加载完毕要清晰的多了。
  • 页面加载完成后再调用content方法,获取渲染出来的页面源代码
  • 最后从页面源码中提取出电影名称

另外当中还用到了asyncio的相关知识,因为Pyppeteer是基于asyncio实现的异步,所以这块知识需要先了解一下。

通过上面这个示例,我们看到Pyppeteer比Selenium要简洁的多,而且环境配置也方便,直接自动帮我们实现了环境配置。接下来我们再尝试设定浏览器窗口大小,并进行网页截图,然后执行一段自定义的JavaScript脚本,代码如下:

import asyncio
from pyppeteer import launch

async def main():
    width, height = 1366, 768
    browser = await launch()
    page = await browser.newPage()
    await page.setViewport({'width': width, 'height': height})
    await page.goto('https://movie.douban.com/chart')
    await page.waitForXPath('//table//a[@title]')
    await asyncio.sleep(2)
    await page.screenshot(path='example.png')
    dimensions = await page.evaluate('''() => {
           return {
               width: document.documentElement.clientWidth,
               height: document.documentElement.clientHeight,
               deviceScaleFactor: window.devicePixelRatio,
           }
       }''')
    print(dimensions)
    await browser.close()


asyncio.get_event_loop().run_until_complete(main())

执行结果:

{'width': 1366, 'height': 768, 'deviceScaleFactor': 1}

这里我们完成了页面窗口大小的设置、网页截图保存、执行了JavaScript并返回了对应的数据。图片如下:

超越selenium的爬虫神器Pyppeteer

 

我们这里是全屏截图,screenshot方法还可以指定保存格式、清晰度、是否全屏、裁剪等。从截图我们可以看到和我们在浏览器中看到的一样,并且在evaluate方法中执行的JavaScript返回了网页的宽高、像素大小比率的值。

今天我们简单介绍Pyppeteer的使用,更加详细的介绍可以在Pyppeteer的官方文档https://miyakogi.github.io/pyppeteer/reference.html中进行查找,不必死记硬背。下一篇我们介绍一些常用的Pyppeteer对象和使用模式。



Tags:Pyppeteer   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
launch使用Pyppeteer的第一步就是启动浏览器,就是相当于我们点击桌面上的浏览器图标一样,把它运行起来。用Pyppeteer完成同样的操作,只需要调用launch方法就行了。先看一下laun...【详细内容】
2021-03-04  Tags: Pyppeteer  点击:(269)  评论:(0)  加入收藏
在写爬虫的时候,为了效率我们通常会选择解析网页api来获取数据,但是有时候解析方式比较困难,或者我们纯粹是为了快速实现爬虫,会使用浏览器自动化操作,说起这一点,肯定第一个想到...【详细内容】
2020-10-27  Tags: Pyppeteer  点击:(78)  评论:(0)  加入收藏
▌简易百科推荐
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(1)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(1)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(7)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(5)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(7)  评论:(0)  加入收藏
借助pyautogui库,我们可以轻松地控制鼠标、键盘以及进行图像识别,实现自动抢课的功能1.准备工作我们在仓库里提供了2个必须的文件,包括: auto_get_lesson_pic_recognize.py:脚本...【详细内容】
2021-12-17  程序员道道    Tags:python   点击:(13)  评论:(0)  加入收藏
前言越来越多开发者表示,自从用了Python/Pandas,Excel都没有打开过了,用Python来处理与可视化表格就是四个字——非常快速!下面我来举几个明显的例子1.删除重复行和空...【详细内容】
2021-12-16  查理不是猹    Tags:Python   点击:(20)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条