您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

scrapy翻页爬取--scrapy爬虫案例

时间:2021-10-21 10:18:27  来源:  作者:Python教程初学详解

今天我们仍旧利用scrapy框架实现自动翻页爬取数据,爬取诗词胖排行榜(
https://www.shicimingju.com/paiming)中的标题。

1.新建文件夹

scrapy starproject 文件名(wallpaper)

scrapy翻页爬取--scrapy爬虫案例

2.新建爬虫文件

scrapy genspider 文件名(landscape)www.xxx.com

scrapy翻页爬取--scrapy爬虫案例

3.发送请求并解析数据

上两节课有详细的讲解,所以这部分不再赘述。

scrapy翻页爬取--scrapy爬虫案例

4.建立翻页链接

上面我们放的链接为第一页的地址,根据翻页网页的地址我们可以发现,“p”对应的值为变量,因此我们拼接网址:

scrapy翻页爬取--scrapy爬虫案例

scrapy翻页爬取--scrapy爬虫案例

5.对翻页链接发送请求

基本格式为:yield scrapy.Request(url地址,callback=self.parse),当遇到第二页的时候,会根据上面的拼接地址填入,并解析数据

scrapy翻页爬取--scrapy爬虫案例

6.总结

要实现翻页自动发送请求,需要先建立好第一页的请求并解析,然后写入翻页的网址之后,通过调用yield关键字实现翻页自动发送请求



Tags:scrapy   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
今天我们仍旧利用scrapy框架实现自动翻页爬取数据,爬取诗词胖排行榜( https://www.shicimingju.com/paiming)中的标题。1.新建文件夹scrapy starproject 文件名(wallpaper)2.新建...【详细内容】
2021-10-21  Tags: scrapy  点击:(62)  评论:(0)  加入收藏
导读:Scrapy由Python语言编写,是一个快速、高层次的屏幕抓取和Web抓取框架,用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试...【详细内容】
2021-04-13  Tags: scrapy  点击:(333)  评论:(0)  加入收藏
1 Scrapy 爬虫完整案例-基础篇1.1 Scrapy 爬虫案例一Scrapy 爬虫案例:爬取腾讯网招聘信息案例步骤:第一步:创建项目。在 dos下切换到目录D:\爬虫_script\scrapy_project 新建一...【详细内容】
2021-04-12  Tags: scrapy  点击:(319)  评论:(0)  加入收藏
Scrapy基本介绍scrapy是一种用于爬虫的框架,并提供了相当成熟的模板,大大减少了程序员在编写爬虫时的劳动需要。Command line tool & Project structure使用scrapy需要先创建s...【详细内容】
2020-07-07  Tags: scrapy  点击:(66)  评论:(0)  加入收藏
创建项目scrapy startproject tencent编写items.py写class TencentItemimport scrapyclass TencentItem(scrapy.Item):# define the fields for your item here like:# 职...【详细内容】
2019-08-16  Tags: scrapy  点击:(320)  评论:(0)  加入收藏
近在工作中写了很多 scrapy_redis 分布式爬虫,但是回想 scrapy 与 scrapy_redis 两者区别的时候,竟然,思维只是局限在了应用方面,于是乎,搜索了很多相关文章介绍,这才搞懂内部实现...【详细内容】
2019-08-02  Tags: scrapy  点击:(376)  评论:(0)  加入收藏
关于cookie和session估计很多程序员面试的时候都会被问到,这两个概念在写web以及爬虫中都会涉及,并且两者可能很多人直接回答也不好说的特别清楚,所以整理这样一篇文章,也帮助自...【详细内容】
2019-06-06  Tags: scrapy  点击:(801)  评论:(0)  加入收藏
▌简易百科推荐
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(0)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(0)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(7)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(5)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(7)  评论:(0)  加入收藏
借助pyautogui库,我们可以轻松地控制鼠标、键盘以及进行图像识别,实现自动抢课的功能1.准备工作我们在仓库里提供了2个必须的文件,包括: auto_get_lesson_pic_recognize.py:脚本...【详细内容】
2021-12-17  程序员道道    Tags:python   点击:(13)  评论:(0)  加入收藏
前言越来越多开发者表示,自从用了Python/Pandas,Excel都没有打开过了,用Python来处理与可视化表格就是四个字——非常快速!下面我来举几个明显的例子1.删除重复行和空...【详细内容】
2021-12-16  查理不是猹    Tags:Python   点击:(20)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条