今天邮箱发件人名为:X_X的大大发来关于网站链接抓取的反馈内容:
我先假设有A和B2个链接
A链接为:lmcjl.com B链接为:www.lmcjl.com
首先A链接是没办法打开网页的,B链接是可以打开网页的。大大遇到的问题就是,
用A链接抓取的时候,会出现B链接的抓取数目,或者出现抓取成功的提示,但是没有内容。
解答:
由于A链接没法打开,所以抓取的时候,抓到空白网页,就没必要往下面抓取。所以就会提示抓取成功。 也有时会因为,抓取到空白,会直接拿上一次抓取成功的数据,继续抓取。所以才会出现,用A链接抓取 出现了空白提示成功或者抓取到B站的链接。 小弟非常感谢大大的反馈,也马上更新了这个问题。
最后:
对于以后抓取到的无法打开的网页,会提示抓取成功。不会再继续沿着上一次的抓取进行抓取。
谢谢邮箱名为:X_X大大的反馈。小弟也会继续更新新的功能。也希望大大们提出更好的建议