当前位置: 首页 > news >正文

合肥网站制作哪儿好薇速推网

合肥网站制作哪儿好薇,速推网,呼市赛罕区信息网站做一顿饭工作,国产av一区二区三区传媒移动一、说明 我如何使用一个 Python 脚本抓取大量网站,在第 2 部分使用 Docker ,“我如何使用一个python脚本抓取大量网站”统计数据。在本文中,我将与您分享: Github存储库,您可以从中克隆它;链接到 docker 容器&#xf…

一、说明

        我如何使用一个 Python 脚本抓取大量网站,在第 2 部分使用 Docker ,“我如何使用一个python脚本抓取大量网站”统计数据。在本文中,我将与您分享:

  • Github存储库,您可以从中克隆它;
  • 链接到 docker 容器,可以帮助您使用一个命令抓取内容;
  • 一些用例以及如何处理它们;

您可以从我关于实用网页抓取的其他博客文章中以易于查看的格式找到代码。

二、Repo 和Updates

        进行版本控制对于对重构过程进行适当的控制是必要的。这也是一种比 Gist 脚本更方便的共享代码库的方式。参考地址:

GitHub - destilabs/webtric

通过在 GitHub 上创建一个帐户来为目标/网站开发做出贡献。

github.com

        默认情况下,此存储库允许您解析著名的抓取sandbox(沙盒) quotes.toscrape.com。为了更好地理解脚本以及如何根据自己的目的修改它,请阅读第 1 部分。

        您可以通过 shell 脚本执行立即在本地开始使用它:

./scripts/quotes.sh ./outputs/quotes local 

./scripts/quotes.sh ./outputs/quotes remote 

        我鼓励您阅读此脚本的列表并附上注释,以更好地了解它的作用:参考地址:

网站/语录.sh在主·Destilabs/webtric

此文件包含双向 Unicode 文本,其解释或编译方式可能与下面显示的内容不同...

github.com

三、Docker登场

        虽然这个解决方案似乎对许多读者很有帮助,但我可以想象它在安装过程中并非无痛。Chromedriver 是一个令人讨厌的工具,需要定期更新和对操作系统配置细微差别的“初学者+”理解。另一方面,Docker 只需要知道运行容器的正确命令。

描述这个容器可能没有比只显示它的 docker-compose 文件更好的方法了:参考地址:

webtric/docker-compose.yml at main ·Destilabs/webtric

此时无法执行此操作。您使用其他选项卡或窗口登录。您在另一个选项卡中注销或...

github.com

        让我们也一步一步地看一遍:

        Chromedriver 和 Selenium Hub 是独立的服务。它们将在其相应的端口上启动并运行。在剧本中等待他们起床至关重要。

        Webtric服务(帖子的主人公)将在飞行中构建,然后等待上面的两个服务。您会在日志中看到一些错误,但它应该赶上并开始解析。

Webtric 的预期输出

要运行 docker-compose 文件,请执行两个命令:

export APP=./scripts/quotes.sh
docker-compose up 

        Jupyter 服务将被提升为可以立即访问解析的数据。输入 http://localhost:8888/lab?token=webtric 并创建新笔记本:

Pick Python 3 (ipykernel)

这是一个简洁的脚本,用于访问“/home/webtric”卷中最后一个抓取的文件:

import pandas as pd
from os import listdir
from os.path import isfile, joinVOLUME = "/home/webtric"
files = [f for f in listdir(VOLUME) if isfile(join(VOLUME, f))]print('List of all parsed files')
print('\n'.join(files))df = pd.read_csv(join(VOLUME, files[-1]))
df.head()

这是它最终应该的样子

表明你成功了!

四、使用案例

        首先,我做这个项目只是为了好玩和学习,你也可以。从实际的角度来看,在 docker 中使用 Webtric 对于扩展很有用,因为现在可以通过生成越来越多的容器来并行抓取。不过,请记住刮擦的黄金法则:

对要解析的网站保持温和

        现在托管您的蜘蛛也更容易,因为大多数现代云托管服务提供商对容器都很友好。我将准备一个关于如何在不久的将来使其工作的教程,敬请期待。

http://www.hrbkazy.com/news/12733.html

相关文章:

  • 门户网站的功能百度搜索推广方案
  • 网站 缓存什么时候使用企业网络营销成功案例
  • 网站做不好一直不交付怎么办培训学校资质办理条件
  • 梁山做网站郑州seo网络推广
  • 自己做网站用花钱么app推广
  • 深圳做小程序网站设计seo 关键词优化
  • 橙色网站后台模板游戏优化
  • 免费做长图的网站用asp做的网站
  • 衡阳做网站如何做好互联网营销
  • jquery个人网站开发下载一个百度导航
  • 网站网站建设域名免费注册
  • 淮安哪有专业做网站的公司个人怎么做互联网推广平台
  • 重庆网站建设莉谷歌aso优化
  • 虚拟网站建设步骤怎么建立网站的步骤
  • 微信怎样建网站运营培训
  • 北京好的做网站的公司有哪些济南优化网络营销
  • 网站通栏怎么做学网络与新媒体后悔死了
  • 找生产厂家的网站seo网站推广杭州
  • 有没有跟一起做网店一样的网站搜狗关键词排名查询
  • 安徽省建设信息网站博客网站
  • asp.net网站建设台州seo排名公司
  • 手机网站诊断分析郑州黑帽seo培训
  • 运城seo招聘伊春seo
  • phpcms适合做什么网站站长权重
  • wordpress后台登陆500错误长沙网址seo
  • 合肥营销网站建设价格代理公司注册
  • 广告制作公司哪家好网络推广优化seo
  • 江门外贸网站推广方案百度的广告怎么免费发布
  • 西安做网站建设镇江网站制作公司
  • 织梦软件怎么使用域名做网站海淀区seo引擎优化