使用Pyppeteer的第一步就是启动浏览器，就是相当于我们点击桌面上的浏览器图标一样，把它运行起来。用Pyppeteer完成同样的操作，只需要调用launch方法就行了。
先看一下launch方法的API定义：
pyppeteer.launcher.launch(options: dict = None, **kwargs)
从官方文档和定义当中我们可以看到它处于launcher模块中，返回一个Brower对象，从源码中可以看出这个方法是通过async修饰的，所以调用的时候需要使用await。
下面我们看看它的参数：
了解了这些参数，我们可以试一些常用的参数。
一般情况下我们都使用的是无头模式，将参数headless设置为True或者不设置它，这个时候我们是看不到任何界面的。一般我们都使用无头模式进行运行调试，那么我们可以尝试关闭headless模式看看效果：
import asyncio
from pyppeteer import launch
async def main():
await launch(headless=False)
await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())
运行之后看不到任何控制台输出，但是这时候就会出现一个空白的 Chromium 界面了：
这个时候我们看到在任务栏中显示了一个蓝色Chrome图标。
我们在写爬虫的时候，经常需要分析网页结构和网络请求，所以打开调试工具是很有必要的，将devtools参数设置为True，这样每开启一个就弹出一个调试窗口
import asyncio
from pyppeteer import launch
async def main():
browser = await launch(devtools=True)
page = await browser.newPage()
await page.goto('https://www.baidu.com')
await asyncio.sleep(100)
asyncio.get_event_loop().run_until_complete(main())
如果devtools这个参数设置为True，那么headless就不起作用了，界面始终会显示出来。
使用Pyppeteer操作网页的时候，我们可以看到上面的一条提示："Chrome 正受到自动测试软件的控制"，这个提示条有点烦，那该怎样关闭呢？这时候就需要用到 args 参数了，禁用操作如下：
browser = await launch(headless=False, args=['--disable-infobars'])
现在很多网站的反爬已经可以检测自动化操作浏览器的爬虫了，主要就是检测webdriver，因为我们使用的是selenium+webdriver的方式去驱动浏览器，所以都会留下webdriver的痕迹，会被平台识别。那么如何规避呢？就要通过将webdriver隐藏来达到防止检测的目的。Pyppeteer为我们提供了一个方法叫做evaluateOnnewDocument，意思就是在每次加载页面的时候执行某个语句，所以我们可以在这里执行以下隐藏webdriver的命令。
async def main():
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.evaluateOnNewDocument('Object.defineProperty(navigator, "webdriver", {get: () => undefined})')
await page.goto('https://movie.douban.com/chart')
await asyncio.sleep(100)
在之前的显示窗口中，我们会发现窗口显示并不完全，在某些页面会出现BUG，因此我们应该尽量保证窗口完全显示。这个时候就用到了设置窗口大小的方法，通过Page对象的setViewport方法设置就可以了。
async def main():
width = 1366
height = 768
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.setViewport({'width': width, 'height': height})
await page.goto('https://movie.douban.com/chart')
await asyncio.sleep(100)
通过前面的例子，我们发现一个问题，每次使用Pyppeteer打开浏览器的时候都是一个空白页，这样会有什么问题呢？如果遇到一个需要登录的网页，这次我们登录了，下一次启动又得登录一次，这就是一个问题。
比如淘宝，平时我们浏览完淘宝后，关闭浏览器再打开，依然还是登录状态。大家都知道，这是因为浏览器本地保存了Cookies的缘故，下次打开可以直接读取并保持登录状态。这些信息一般保存在我们的用户目录下，如果我们能在浏览器启动的时候读取这些信息，那么启动的时候就可以恢复一些历史记录甚至是登录状态信息了。
我们在使用Selenium或者Pyppeteer的时候，每次打开都是一个全新的浏览器，原因就是我们没有设置用户目录，如果设置了，那就可以读取一些信息在启动的时候加载上来。Pyppeteer为我们提供了一个userDataDir参数来设置用户目录，这样就可以保持我们的访问状态了。
async def main():
width = 1366
height = 768
browser = await launch(headless=False, userDataDir='userdata', args=['--disable-infobars'])
page = await browser.newPage()
await page.setViewport({'width': width, 'height': height})
await page.goto('https://mp.weixin.qq.com/')
await asyncio.sleep(100)
这里我们用微信公众号进行测试，首先运行一下，登陆一次公众号，然后我们可以打开当前目录下生成的userdata文件夹，里面内容如下：
在此运行一下上面的代码，就直接进入我们的公众号管理界面，已经是登录状态了，就跳过了登录的流程。当然了，我们知道Cookies基本都是有期限的，如果过期了就需要再次登录。
上面我们介绍了launch方法，它会返回一个Browser对象，我们来看看Browser类的定义：
class pyppeteer.browser.Browser(connection: pyppeteer.connection.Connection, contextIds: List[str], ignoreHTTPSErrors: bool, setDefaultViewport: bool, process: Optional[subprocess.Popen]=None, closeCallback: Callable[[], Awaitable[None]]=None, **kwargs)
我们看到这个类的初始化参数有很多，但是我们上面基本上都是使用launch方法直接创建使用。但是Browser类还是用于很多操作浏览器本身的方法，下面我们来介绍一些常用的。
Chrome浏览器本身是有一个无痕模式的，它的好处就是干净，不加载Cache、Cookies等内容，可以通过方法createIncogniteBrowserContext来开启：
async def main():
width = 1366
height = 768
browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
context = await browser.createIncogniteBrowserContext()
page = await context.newPage()
await page.setViewport({'width': width, 'height': height})
await page.goto('https://mp.weixin.qq.com/')
await asyncio.sleep(100)
这里我们还使用了一个新的参数设置--window-size，这个是用来设置浏览器的窗口大小，与下面的setViewport相比，一个是设置窗口大小，一个是设置页面大小。我们这里调用了createIncogniteBrowserContext方法，返回了一个context对象，然后用这个对象打开网页，就进入了无痕模式。
在执行这段代码的时候，我先执行了一次上面那一次代码，发现依然是处于登录状态，然后我们执行本次代码后发现显示如下：
发现出现了两层窗口，一个是launch创建的browser窗口，一个是通过createIncogniteBrowserContext创建的无痕窗口。
很多时候我们忘记关闭浏览器，就会导致它一直存在内存中。如果是可视模式下，我们还能从任务栏看到它，但是在后台模式下，我们只能在任务管理器里去找它，这时候就很容易被忽略掉。所以一定要记住，使用完毕调用一下close方法：
async def main():
width = 1366
height = 768
browser = await launch(headless=False, args=['--disable-infobars', f'--window-size={width}, {height}'])
context = await browser.createIncogniteBrowserContext()
page = await context.newPage()
await page.setViewport({'width': width, 'height': height})
await page.goto('https://mp.weixin.qq.com/')
await asyncio.sleep(100)
await browser.close()
Page就是页面，每一个选项卡就是一个页面，它的类定义如下：
class pyppeteer.page.Page(client: pyppeteer.connection.CDPSession, target: Target, frameTree: Dict[KT, VT], ignoreHTTPSErrors: bool, screenshotTaskQueue: list = None)
我们上面在使用的过程中都是通过browser对象创建一个新页面，这也是我们经常使用它的方式，接下来我们看一下它的常用方法。
Page对象内置了一些用于选取节点的选择器方法，比如J方法传入一个选择器Selector，则能返回对应匹配的第一个节点，相当于querySelector。JJ方法则是返回符合Selector的列表，相当于querySelectorAll。
下面我们就来看看它的用法：
async def main():
browser = await launch()
page = await browser.newPage()
await page.goto('https://movie.douban.com/chart')
await page.waitForSelector('table .item')
j1 = await page.J('table .item')
j2 = await page.querySelector('table .item')
jj1 = await page.JJ('table .item')
jj2 = await page.querySelectorAll('table .item')
print('J Result: ', j1)
print('querySelector Result: ', j2)
print('JJ Result: ', jj1)
print('querySelectorAll Result: ', jj2)
await browser.close()
我们分别使用J、JJ、querySelector、querySelectorAll四个方法，看一下他们的输出结果：
J Result: <pyppeteer.element_handle.ElementHandle object at 0x1147734d0>
querySelector Result: <pyppeteer.element_handle.ElementHandle object at 0x114788c50>
JJ Result: [<pyppeteer.element_handle.ElementHandle object at 0x1147324d0>, <pyppeteer.element_handle.ElementHandle object at 0x114732a50>, <pyppeteer.element_handle.ElementHandle object at 0x11472aa90>, <pyppeteer.element_handle.ElementHandle object at 0x11472a110>, <pyppeteer.element_handle.ElementHandle object at 0x11472a0d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d210>, <pyppeteer.element_handle.ElementHandle object at 0x11478d290>, <pyppeteer.element_handle.ElementHandle object at 0x11478d2d0>, <pyppeteer.element_handle.ElementHandle object at 0x11478d250>, <pyppeteer.element_handle.ElementHandle object at 0x11478d310>]
querySelectorAll Result: [<pyppeteer.element_handle.ElementHandle object at 0x114786690>, <pyppeteer.element_handle.ElementHandle object at 0x114786750>, <pyppeteer.element_handle.ElementHandle object at 0x114781610>, <pyppeteer.element_handle.ElementHandle object at 0x114781fd0>, <pyppeteer.element_handle.ElementHandle object at 0x114781b10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd50>, <pyppeteer.element_handle.ElementHandle object at 0x11478ddd0>, <pyppeteer.element_handle.ElementHandle object at 0x11478de10>, <pyppeteer.element_handle.ElementHandle object at 0x11478dd90>, <pyppeteer.element_handle.ElementHandle object at 0x11478de50>]
从结果中可以看出来，J和querySelector返回单个对象，JJ和querySelectorAll返回多个对象
前面我们说过，Page对象就是一个选项卡，我们均使用newPage方法创建了，那么新建之后怎么获取和切换呢，下面看一个例子：
async def main():
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.goto('https://mp.weixin.qq.com/')
page = await browser.newPage()
await page.goto('https://www.baidu.com')
pages = await browser.pages()
print('Pages: ', pages)
page1 = pages[1]
await page1.bringToFront()
await asyncio.sleep(20)
await browser.close()
我们在这里调用了两次newPage，访问了两个网站，当切换选项卡的时候，我们只要用对应页面的page对象调用其bringToFront方法即可。
下面我们再看一些页面的常用操作：加载、前进、后退、关闭、保存
async def main():
browser = await launch(headless=False, args=['--disable-infobars'])
page = await browser.newPage()
await page.goto('https://www.baidu.com')
await page.goto('https://pan.baidu.com')
# 后退
await page.goBack()
# 前进
await page.goForward()
#保存PDF
await page.pdf(path='test.pdf')
#截图
await page.screenshot()
# 设置页面
await page.setContent('<h1>Hello World</h1>')
# 设置User-Agent
await page.setUserAgent('Python')
# 设置Headers
await page.setExtraHTTPHeaders(headers={})
# 关闭
await page.close()
await browser.close()
这里有一个PDF保存真的非常方便，我之前用selenium保存网页成PDF，找了很多处理方式，还比较麻烦，Pyppeteer这里就调用一个函数就OK了，但是要注意两点，否则保存不成功：1. 必须使用无头模式。2.要指定保存路径path，否则不会保存在本地。
模拟鼠标点击和键盘输入事件。
async def main():
browser = await launch(headless=False)
page = await browser.newPage()
await page.goto('https://www.baidu.com')
await page.waitForSelector('#su')
await page.type('#kw', 'python')
await page.click('#su', options={
'button': 'left',
'clickCount': 1,
'delay': 300
})
await asyncio.sleep(10)
await browser.close()
click就是点击事件，第一个参数是选择器，第二个参数是几项配置：
button： 鼠标按钮，分为left、middle、right
clickCount: 点击类型，如双击、单击
delay：延迟点击
type方法为输入方法，第一个参数传入选择器，第二个参数传入内容。
content = await page.content()
cookies = await page.cookies()
out_content = await page.evaluate('''() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio
}
}''')
这个部分相比于selenium又方便了很多，可以让页面等待符合某些条件后，再向下执行，这在我们等待页面加载是非常有用，除了我们之前使用过的waitForXPath、waitForSelector还有以下几个：
waitForFunction：等待某个JAVAScript方法执行完毕或返回结果
waitForNavigation：等待页面跳转，如果没加载出来就会报错
waitForRequest：等待某个特定请求被发出
waitForResponse：等待某个特定请求收到了回应
waitFor：通用的等待方法
通过等待条件，我们就能控制页面加载的情况了。
除了以上我们介绍的东西，还有鼠标模拟拖动也是比较重要的，这在模拟滑动验证码的时候是非常有用的，我们后面再开一篇吧。
京公网安备 11010802035086号