ScreamingFrogSEOSpider工具是国外开发的知名链接检测工具。它可以快速分析网站的链接、图像、CSS、脚本等元素。免费版本可以分析500 个链接。

Screaming Frog SEO Spider工具是国外开发的知名链接检测工具，可适用于Windows、MAC、Ubuntu等系统。您可以快速分析网站的链接、图像、CSS、脚本和其他元素。可以免费下载安装，免费版可以分析500个链接。

特征

Spider的抓取方式可以分为Spider和URL两种。简单的理解就是可以放一个页面或者域名来开始爬取，另外一种就是放一个URL文件来爬取。

输入URL 或选择URL 文件后，您将开始抓取内容。那么问题来了，Spider能为我们爬取页面的哪些内容呢？

页面链接

文件类型和编码

HTTP 状态代码和状态

标题和长度

描述和长度

关键词和长度

H1标签文本和长度

H2标签文本和长度

规范网址

其他（文件大小、字数、层数、内部链接数、外部链接数等）

Spider还执行许多功能来限制链接抓取。首先是以下特殊限制：

检查图片

检查CSS文件

检查js文件

检查swf文件，即Flash等

检查外部链接

检查目录外的链接

使用Nofollow 标志跟踪站内链接

跟踪指示Nofollow 的外部链接

忽略robots.txt

抓取总数

爬取总层数

看到这里你可能还是不太明白，那么Adrian就给你举个简单的例子来解释一下。

案例一：D姐想截取所有UC页面，不包括CSS、JS、SWF（因为这些都是浪费时间和资源）。然后你可以取消选中四个选项；

案例2：如果民工想像蜘蛛一样爬取UC页面，只需勾选“忽略robots.txt”即可；

案例3：何源只想抓取dx首页的所有链接。选中所有链接，但取消选中“忽略”和“限制搜索总数”。当然，记得勾选Limit Search Depth并将级别设置为1；

如果你还是不明白，那我也无能为力了。只能请D姐给你一些SEO培训了。

其实Spider的功能还有很多，就不一一列举了。说一下我常用的几个功能吧！

第一个是常规抓取页面。

有的地方可以在配置中的include和exclusion里写正则规则，在这里可以专门设置你要爬取的链接。至于如何变得更糟，就需要你自己想象了。

第二，限速。

配置中的Speed中有速度限制。这里需要提到的是，限速不仅仅指线程，还限制爬取URL的速度。例如，您需要1 个URL/S，或2 个URL/S。该功能可以避免一些有反重复抓取限制的网站。

第三个是用户代理设置。

配置中有一个用户代理，您可以在其中设置您的身份。您可以将其设置为某个搜索引擎的蜘蛛或浏览器。

四、自定义字段检查功能。

这也是配置中的自定义。这个功能可以说是一个比较好用的功能了。主要是让Spider在爬行时根据你设置的自定义字段进行过滤。例如：如果我在自定义中设置了DVD这个词，那么所有出现DVD这个词的页面都会被专门过滤掉。

还有其他功能，比如代理爬取、站点地图创建、URL导出等，都比较实用。