当前位置: 首页 > news >正文

只做自己网站杭州网站优化公司

只做自己网站,杭州网站优化公司,企业网络设计与实现毕业设计,广州网站建设是什么文章中所有内容仅供学习交流使用,不用于其他任何目的!严禁将文中内容用于任何商业与非法用途,由此产生的一切后果与作者无关。若有侵权,请联系删除。 目标:LI视频采集 地址:aHR0cHM6Ly93d3cucGVhcnZpZGVv…

文章中所有内容仅供学习交流使用,不用于其他任何目的!严禁将文中内容用于任何商业与非法用途,由此产生的一切后果与作者无关。若有侵权,请联系删除。

目标:LI视频采集

地址:aHR0cHM6Ly93d3cucGVhcnZpZGVvLmNvbS8=

在这里插入图片描述

主页分析

首先要明白我们本次任务的目标——下载页面中的视频(以人物为例),那么也就意味着我们最终的目的就是要找到视频的下载地址。

所以,在进入主页之后我们先来到人物板块这个页面。

在这里插入图片描述

在这里我们想要采集最新的数据,所以就需要定位到最新视频的标签。这里就可以直接打开开发者工具进行分析了。

在这里插入图片描述

可以看到最新视频是位于idcategoryListul标签之中。同时每一个视频就是一个li标签,那么到这里我们只需要确定这些数据是静态化存在于html结构中就能够使用xpath将其解析出来。直接刷新页面然后来到document

在这里插入图片描述

从这里来看可以确定我们能够直接使用xpath去解析这第一页的视频的详情页地址了(解析到但是不一定要去访问,这里我先写代码的时候就按照常规思路去访问了详情页然后找视频地址,但写过去之后发现视频地址是做了反爬处理的,从详情页也无法直接获取到)。

详情页分析

根据普遍的思路,我们访问详情页的目的就是要找视频的播放下载地址,所以我们来到主页之后一样先打开开发者工具,然后点击播放按钮进行抓包分析。

在这里插入图片描述

刷新播放之后抓到一个mp4文件,将url复制到浏览器访问会发现这就是视频的下载地址。那么问题就是这个地址从哪里来的呢,我们可以通过搜索url中 的一些特殊的字符查看,例如这些数字组合,根据以往的经验判断这些数字串必然是这个视频的id,而id必然就是唯一的存在。

在这里插入图片描述

但是如上图所示,我们从响应页面去搜索的话,是没有这个串的,那么也就意味着我们代码去访问详情页的话是无法获取到这个视频的播放地址的。所以这里就需要我们好好想想这个请求的流程了。首先对于浏览器来说,需要播放视频的时候,那么浏览器肯定是要对视频地址请求的,那请求的时候这个视频的播放地址必然在请求前已经是拿到了浏览器中,所以,播放前的播放地址,必然是位于动态加载或者静态的某一个文件当中。那么我们就来进行全局搜索查看一下。

在这里插入图片描述

动态静态两边的文件都搜索一下,最后在动态加载的包中找到了一个名为videoStatus.jsp的包,在这里面我们发现了一个MP4的播放地址(这个地址是有坑的,前面提过,但是大家可以先不看后面的内容,自己往后先写一下代码看看是否能够自己将这个坑填上)

所以,就是说我们在下载之前需要先访问这个videoStatus.jsp来获取视频地址,但是呢,在访问这个videoStatus.jsp的时候会发现如下问题。

在这里插入图片描述

这个呢明显就是网站的一个小反爬手段了,但是都不用去实践就知道问题必然是出在头信息里面,同一个浏览器(浏览器本案例中没有清理过也没有重新打开过)从网站访问的时候是正常的,但是复制url到新标签页访问就无法访问了,这明显和防盗链就算没有100%的关系那也有个99%了,所以这里将referer添加到请求头之后访问就能够成功了。

接下来说一下这个包中的播放地址的坑。

直接上对比,请看下方两个url,其中一个是访问videoStatus.jsp获取到的播放地址,一个是我们从media中找到的播放地址。

https://video.pearvideo.com/mp4/adshort/20200909/1698642033243-1427-203145_adpkg-ad_hd.mp4https://video.pearvideo.com/mp4/adshort/20200909/cont-1696358-1427-203145_adpkg-ad_hd.mp4

上面一个url是响应来的播放地址,下面一个url是抓包分析是media中的地址,将两个地址分别进行访问会发现上面个是无法访问的。

所以就需要我们手动将url进行修改才能够通过代码进行视频下载了。

这里处理起来也是比较容易得,我们很容易发现不同点就在**/**分割后的最后一部分,所以我们只需要将1698642033243改成cont-1696358就能够下载视频了

最后,关于翻页,翻页在本站中是动态页面加载的,当我们往下翻翻到最底部的时候就会加载出新的页面,所以我们就找到对应的参数进行修改即可。在本站中控制翻页的参数为start,跨度为24,只需要修改这个参数就OK,老生常谈的东西就不在浪费字数浪费时间了。

完整代码请移步:https://gitee.com/shuailiuquan/

http://www.hrbkazy.com/news/23940.html

相关文章:

  • 各类东莞微信网站建设企业网站营销实现方式解读
  • 万润 企业网站建设网络营销
  • wordpress m编辑器seo外包推广
  • wordpress video插件搜索引擎优化方案
  • 专门做win7系统的网站电商营销推广有哪些?
  • 网站建设广州天河区品牌推广文案
  • 做擦边网站免费网站或软件
  • 重庆seo整站优化效果免费制作网站app
  • 万能小偷程序做网站软文营销的步骤
  • 新昌网站制作手机百度高级搜索入口在哪里
  • 商业网站开发入门选课国内最新消息新闻
  • 玉环做网站产品网络推广方案
  • 购买网站空间多少钱百度帐号管家
  • 个人微信做网站客服优化推广网站seo
  • asp网站怎么做三语西安seo排名公司
  • 网站建设费用 优帮云龙华线上推广
  • 微信群二维码推广平台seo软件下载
  • 网站优化软件排行榜如何提升百度关键词排名
  • 公司做网站要多长时间审核优化营商环境指什么
  • 常州网站建设 最易重庆人力资源和社会保障网
  • 网站的网站制作公司媒体资源网官网
  • dw网页制作完成后如何保存站长工具seo诊断
  • 单位做网站资料需要什么今日头条热点新闻
  • 制作动态表情的网站网络营销的推广方法
  • 网站图片上浮动文字荆州seo推广
  • 南宁做网站优化单页网站seo如何优化
  • 做图软件ps下载网站有哪些内容东莞网站制作的公司
  • 专做尼泊尔的旅行网站活动推广方式
  • 静海网站建设北京债务优化公司
  • 那些是flash做的网站东莞疫情最新通知