您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

美女视频如何无水印下载?python带你批量采集(含完整源码)

时间:2022-05-23 10:16:01  来源:  作者:python茜

环境介绍:

  • Python/ target=_blank class=infotextkey>Python 3.8 解释器
  • pycharm 2021专业版 >>> 激活码 编辑器
  • 谷歌浏览器
  • 谷歌驱动
  • selenium >>> 驱动 >>> 浏览器

模块使用:

采集一个视频

  • requests >>> pip install requests
  • re

采集多个视频

  • selenium >>> pip install selenium==3.141.0 (3.141.0)
    指定模块版本去安装 使用这个模块安装浏览器驱动
  • time

如果安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
  2. 在pycharm中点击Terminal(终端) 输入安装命令

如何配置pycharm里面的python解释器?

  1. 选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
  2. 点击齿轮, 选择add
  3. 添加python安装路径

pycharm如何安装插件?

  1. 选择file(文件) >>> setting(设置) >>> Plugins(插件)
  2. 点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
  3. 选择相应的插件点击 install(安装) 即可
  4. 安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

案例基本流程思路:

解答、源码、教程、资料点击「链接」免费领取

一. 分析数据来源

  1. 确定自己需求 , 我们采集的内容是什么? 采集那个网站... 先采集一个视频, 然后再去采集多个视频
  2. 通过开发者工具进行抓包分析..

I. 开发者工具 网页浏览器自带, F12 或者鼠标右键点击检查选.NETwork

II. 刷新网页....让网页数据内容重新完整加载一遍 <找视频数据内容>

III. 通过network下面的media里面找到视频url地址

IV. 不够.. >>> 分析这个视频url地址从哪里来的... 通过抓包分析, 得到url地址 通过一次编码

二. 代码实现的步骤 爬虫基本四大步骤....

  1. 发送请求, 对于刚刚分析得到url地址发送请求 https://www.douyin.com/video/7086835442330504488
  2. 获取数据, 获取服务器返回响应数据
  3. 解析数据, 提取我们想要视频url地址以及视频标题
  4. 保存数据, 把视频内容保存在本地文件夹

代码

导入模块

import requests  # 导入数据请求模块 第三方模块 pip install requests
import re  # 导入正则表达式模块  内置模块

from selenium import webdriver
import time  # 时间模块

selenium
用selenium模块用驱动<浏览器>操作浏览器

人怎么去操作浏览器, 怎么去写代码

打开浏览器
webdriver.Chrome(executable_path="chromedriver") 括号里面是需要加驱动路径
如果你驱动放在和代码一个文件夹里面, 可以不用写路径
或者你的驱动放在python安装目录里面 也可以不用写路径
其他位置, 都需要在指定路径位置输入网址查看网页内容

requests请求数据,获取服务器返回数据内容 selenium你可以直接根据元素面板去定位数据内容

爬虫模拟浏览器对于url地址发送请求, 最后获取服务返回响应数据

发送请求:

确定url模拟伪装
请求头headers 是可以直接在开发者工具里面复制粘贴 request headers 直接复制
字典数据类型, 构建完整键值对形式
user-agent 用户代理 表示浏览器基本身份标识请求方式
状态码 200 表示请求成功... 但是不一定得到你想要的数据...

没有得到你想要数据内容, 是什么原因导致的? <被反爬了> 为什么被反爬了 因为你被识别出来 你是爬虫程序
比如说: 超市面试试吃 老是你来吃东西<一直你是Ip请求快速>, 不给你吃了 <IP被封>

driver = webdriver.Chrome()  # 实例化一个浏览器对象
driver.get('https://www.douyin.com/user/MS4wLjABAAAAUXBNFnWLvl9T8ylgAbD1auR_o5FL3dF7ic0KMYN9_88')
driver.implicitly_wAIt(10)


def drop_down():
    for x in range(1, 30, 4):
        time.sleep(1)
        j = x / 9
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)

解答、资料、教程可加Q裙:261823976免费领
list_1 = [1, 2, 3, 4, 5, 6, 7]
list_1[1:]
drop_down()
lis = driver.find_elements_by_css_selector(
    'div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt')  # 通过 css 选择器查找元素  获取多个li标签返回列表
# url_list = [li.find_element_by_css_selector('a').get_attribute('href') for li in lis]
for li in lis:
    try:
        time.sleep(1)
        url = li.find_element_by_css_selector('a').get_attribute('href')
        # url = 'https://www.douyin.com/video/7087141617865346304'  # 网址
        headers = {
            'cookie': 'douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; s_v_web_id=verify_l268jj46_kc7yYkD6_YHWW_4x4v_9snI_EDE0zro77uRn; AVATAR_FULL_LOGIN_GUIDE_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_TIMESTAMP=1650982839652; AVATAR_FULL_LOGIN_GUIDE_ITA_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_ITA_TIMESTAMP=1650982839652; __ac_nonce=0627ba36600d465d72261; __ac_signature=_02B4Z6wo00f01zrB8EAAAIDCWcswKSh.eLM65fTAAKzW8srQpmSjmL6YX9IsdmMSL4a9EBuyJvIwNMROqFQktniG-Ur-UDPK6wHInC8QKqRYUmyGnflwUXLpKzPgVt2FtREyprGmCDAZLrIpcc; douyin.com; strategyABtestKey=1652269927.635; AB_LOGIN_GUIDE_TIMESTAMP=1652269927510; AVATAR_LOGIN_GUIDE_COUNT=1; _tea_utm_cache_2285=undefined; _tea_utm_cache_6383=undefined; _tea_utm_cache_1300=undefined; pwa_guide_count=3; IS_HIDE_THEME_CHANGE=1; THEME_STAY_TIME=299808; msToken=XGPVAVUHDi9iTEQRjdXuQ0YyetxhHq0c9EH1dLLpttanbCXsNSD0DRxwk9oUB0vZ7LB9vKd-ABi2kAkzj2lCn1x98lJ4iTFbf260RcLav-G4QkhNyq8qV9i3oEJRyc8t; home_can_add_dy_2_desktop=1; msToken=3ALqenaebbJHw7kQDiDG6aRAgVYm5WM1pVGqmyyidbGgYpWRWKn-wQ9tcjoxWrHvwcqoYAx3tQ4IGE1qixdq2ei_fPrirMeeI6HeooU3sGR2wyWQ2OAAh2RejVJOrmpA; tt_scid=Gp0q0JW0LDreTqplgpajIZNHCB0.p1NcVv0hhZBgaGDw4SFxkXGlXfKafiCVmWAWc537',
            'user-agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
        }
        response = requests.get(url=url, headers=headers)
        # print(url)
        # <Response [200]> 响应对象 200 状态码 表示请求成功 response.text 获取响应对象文本数据
        # print(response.text)
        """
        数据解析, 提取我们想要数据内容
            re正则表达式 <在付费课程 2.5个小时的内容讲解完>
        re.findall() 调用re模块里面findall方法 去查询匹配数据
            找到所有 >>> 从什么地方去找什么样数据 (.*?) 表示你想要数据内容, 通配符, 可以匹配任意字符(除了换行符以外)
        """
        title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]
        title = re.sub(r'[/:*?"<>|n]', '', title)
        video_url = re.findall('src(.*?)%22%7D%2C%7B%22src', response.text)[0]  # 编码的内容获取
        video_url_1 = requests.utils.unquote(video_url).replace('":"', 'https:')  # 解码
        # 编码 requests.utils.quote
        # 就业工作 1 接单赚钱 2
        # print(title)
        # print(video_url)
        # print(video_url_1)
        video_content = requests.get(url=video_url_1, headers=headers).content  # 发送请求获取二进制数据内容
        解答、资料、教程可加Q裙:261823976免费领
        with open('img\' + title + '.mp4', mode='wb') as f:
            f.write(video_content)  # 写入内容
            print('正在保存: ', title)
    except Exception as e:
        print(e)

尾语

成功没有快车道,幸福没有高速路。



Tags:美女视频   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
美女视频网站的变现玩法
大家好,我是蟋蟀哥。如题,男人都好那个,天性使然,没有办法。如果不好,那肯定是不正常的。所以,昨天有个朋友打开一个网站看视频的时候,我也凑过头去喵了一眼。然而&hellip;&hellip;...【详细内容】
2023-04-02  Search: 美女视频  点击:(302)  评论:(0)  加入收藏
美女视频如何无水印下载?python带你批量采集(含完整源码)
环境介绍: python 3.8 解释器 pycharm 2021专业版 >>> 激活码 编辑器 谷歌浏览器 谷歌驱动 selenium >>> 驱动 >>> 浏览器模块使用:采集一个视频 requests >>> pip install re...【详细内容】
2022-05-23  Search: 美女视频  点击:(594)  评论:(0)  加入收藏
▌简易百科推荐
一篇文章教会你使用Python中三种简单的函数
所谓函数,就是指:把某些特定功能的代码组成为一个整体,这个整体就叫做函数。一、函数简介所谓函数,就是指:把某些特定功能的代码组成为一个整体,这个整体就叫做函数。二、函数定义...【详细内容】
2024-04-11  Go语言进阶学习  微信公众号  Tags:Python   点击:(12)  评论:(0)  加入收藏
一篇文章带你了解Python的分布式进程接口
在Thread和Process中,应当优选Process,因为Process更稳定,而且,Process可以分布到多台机器上,而Thread最多只能分布到同一台机器的多个CPU上。一、前言在Thread和Process中,应当优...【详细内容】
2024-04-11  Go语言进阶学习    Tags:Python   点击:(10)  评论:(0)  加入收藏
Python 可视化:Plotly 库使用基础
当使用 Plotly 进行数据可视化时,我们可以通过以下示例展示多种绘图方法,每个示例都会有详细的注释和说明。1.创建折线图import plotly.graph_objects as go# 示例1: 创建简单...【详细内容】
2024-04-01  Python技术    Tags:Python   点击:(15)  评论:(0)  加入收藏
Python 办公神器:教你使用 Python 批量制作 PPT
介绍本文将介绍如何使用openpyxl和pptx库来批量制作PPT奖状。本文假设你已经安装了python和这两个库。本文的场景是:一名基层人员,要给一次比赛活动获奖的500名选手制作奖状,并...【详细内容】
2024-03-26  Python技术  微信公众号  Tags:Python   点击:(21)  评论:(0)  加入收藏
Python实现工厂模式、抽象工厂,单例模式
工厂模式是一种常见的设计模式,它可以帮助我们创建对象的过程更加灵活和可扩展。在Python中,我们可以使用函数和类来实现工厂模式。一、Python中实现工厂模式工厂模式是一种常...【详细内容】
2024-03-07  Python都知道  微信公众号  Tags:Python   点击:(38)  评论:(0)  加入收藏
不可不学的Python技巧:字典推导式使用全攻略
Python的字典推导式是一种优雅而强大的工具,用于创建字典(dict)。这种方法不仅代码更加简洁,而且执行效率高。无论你是Python新手还是有经验的开发者,掌握字典推导式都将是你技能...【详细内容】
2024-02-22  子午Python  微信公众号  Tags:Python技巧   点击:(43)  评论:(0)  加入收藏
如何进行Python代码的代码重构和优化?
Python是一种高级编程语言,它具有简洁、易于理解和易于维护的特点。然而,代码重构和优化对于保持代码质量和性能至关重要。什么是代码重构?代码重构是指在不改变代码外部行为的...【详细内容】
2024-02-22  编程技术汇    Tags:Python代码   点击:(44)  评论:(0)  加入收藏
Python开发者必备的八个PyCharm插件
在编写代码的过程中,括号几乎无处不在,以至于有时我们会拼命辨别哪个闭合括号与哪个开头的括号相匹配。这款插件能帮助解决这个众所周知的问题。前言在PyCharm中浏览插件列表...【详细内容】
2024-01-26  Python学研大本营  微信公众号  Tags:PyCharm插件   点击:(92)  评论:(0)  加入收藏
Python的Graphlib库,再也不用手敲图结构了
Python中的graphlib库是一个功能强大且易于使用的工具。graphlib提供了许多功能,可以帮助您创建、操作和分析图形对象。本文将介绍graphlib库的主要用法,并提供一些示例代码和...【详细内容】
2024-01-26  科学随想录  微信公众号  Tags:Graphlib库   点击:(95)  评论:(0)  加入收藏
Python分布式爬虫打造搜索引擎
简单分布式爬虫结构主从模式是指由一台主机作为控制节点负责所有运行网络爬虫的主机进行管理,爬虫只需要从控制节点那里接收任务,并把新生成任务提交给控制节点就可以了,在这个...【详细内容】
2024-01-25  大雷家吃饭    Tags:Python   点击:(63)  评论:(0)  加入收藏
相关文章
    无相关信息
站内最新
站内热门
站内头条