「工具神器」推荐一个扒网页的神器
时间：2023-06-10 03:12:01 | 来源：网站运营
时间：2023-06-10 03:12:01 来源：网站运营
「工具神器」推荐一个扒网页的神器：
前言
前不久写了一篇关于爬虫把网站的帖子，主要是介绍了一些。工具方面的东西，一个是八爪鱼，还有一个是webcopy。还有其他的一些常见的工具，像国外的IDM，IDM也是非常流行的操作建议是非常方便的，不过这几年在爬虫方面，大部分崛起，让导致IDM的软件使用需求变少。也新增了像八爪鱼和Webcopy这样的软件。
使用方法
有网友推荐我做一下Webcopy这样软件的使用方式。他主要的方式主要是分为几个点，一个是可以深度去爬虫爬取一些网页，第二个是可以浏览网页。
第一个功能是扫描网页，有哪些结构是可以扫出来，是可以直接一目了然地通过八爪鱼的一个图形显示出来。
点击扫描SCAN这个按钮可以等一段时间就可以看到网站全部内容。通过弹出框的左上角可以发现。如果没有加密的网页是80端口，加密的网址是显示的是443。
一个非常出名的网址，不说多了，直接上图。在扫描设置的时候可以设置网易最大深度和网页最大数。。左边绿色的是结构图，右边的是深度，右下是选择是否下载js、css、图片、视频等静态文件。
点击Copy之后，弹出一个对话框。选择是就可以了。新建一个目录。
抓取的时间，取决于你的要抓取的网站大小和网速等有关。基本上教程到这里就完了。
还要说的就是最后一步，抓取完了之后保存的页面打开html或htm的文件即可。
小结
可以学习下网站的结构图，以及css、js的运用和学习。工具只是一种辅助，最重要的还是自己掌握自己需要的东西。
在线咨询
