使用站点爬虫重新爬取测试站点,看看它与当前站点相比有何不同。 如何操作 打开您当前站点的第一个抓取内容并进行复制。单击“另存为”并将文件命名为“当前站点抓取以供编辑”.这是您的可编辑副本. 抓取测试站点。
并将其保存为“测试站点爬取”。复制一份并将其命 白俄罗斯 号码数据 名为“测试站点抓取以供编辑” ——从现在开始我们将使用它。 采用新创建的旧站点抓取(从步骤 1 开始编辑的现有站点抓取)并在 Excel 中找并替换所有 URL 将您的域名"example.com"替换为您的测试服务器的域名"test.example.com"۔ 选择所有 URL 并将其复制到txt 文件(使用 Notepad++ 或类似程序)。
将其保存为“尖叫青蛙的爬行测试” 。此时,您必须拥有以下文件: 当前网站抓取 (xls) 当前站点抓取以供编辑 (xls) 测试站点抓取 (xls) 测试站点抓取以供编辑 (xls) 测试 Screaming Frog 的爬取功能 (txt) 在 Screaming Frog 中,在菜单栏中找到模式,然后选择列表。
系统会稍有变化,你将能够将.txt文件上传到爬虫程序. 找到您更改的 URL 的txt 文件(Screaming Frog 的测试抓取)并将其弹出到。