网站logo
×

首页 > 最新资讯 > 网页爬虫Web Scraper环境配置

网页爬虫Web Scraper环境配置

发布时间 2020-03-12

        很多时候我们需要去⽹上爬取⼀些数据,但是⾃⼰⼜不会写代码,⼜不会使⽤⼀些爬⾍⼯具,那么这时候你会怎么办呢?今天给⼤家介绍⼀个⼯具,在不⽤写代码的情况下,只需要点点⿏标,就能对你想要的⽹⻚数据进⾏爬取,让普通⼈可以实现0代码爬⾍。步骤很简单,只需要三步:


       下⾯我就简单跟⼤家讲讲Web Scraper爬⾍环境的搭建和在配置过程中遇到的问题。
       Web Scrapter是⼀款基于Chrome内核的浏览器插件,所以在配置Web Scraper前我们需要在电脑中安装⽀持Chrome内核的浏览器(可以选择Chrome览器或者QQ浏览器,建议安装Chrome),浏览器的选择就不在这⾥做过多的对⽐,⼤家根据⾃⼰情况选择即可。
浏览器安装好之后,我们就可以在浏览器中安装Web Scraper插件了:
1、配置你的⽹络环境,可以正常打开【Chrome⽹上应⽤商店】即可(如果⾃⼰⽹络访问不了,可以在⽹上找⼀些能翻墙的VPN)
2、打开Chrome应⽤商店,搜索"Web Scraper",如下图


       然后将Web Scraper添加⾄Chrome,环境就搭建成功了(如果⽆法打开⾕歌应⽤商店,也可以⾃⼰在百度上搜索离线安装包,在开发者模式下进⾏安装,这⾥就不详细说了)
3、安装完成后我们需要来验证下效果,安装完成后我们可以在浏览器上看到这样⼀个图标,看到这个就说嘛插件已经安装成功


然后打开我们需要爬取的⽹站,打开之后从「菜单-更多⼯具-开发者⼯具」进⼊,如下图:


打开之后就可以看到Web Scraper的选项卡了,后⾯就可以进⾏数据爬取了。
注:如果在数据爬取过程中出现了限制访问⽹站,可能是⽹站进⾏了防刷检测,这个时候你需要使⽤代理进⾏访问,可以选择我们的流冠代理。