全球主机交流论坛

标题: 现在蜘蛛抓取是不是基本都会执行网页的JS脚本了啊? [打印本页]

作者: wawos 时间: 2025-2-13 15:47
标题: 现在蜘蛛抓取是不是基本都会执行网页的JS脚本了啊?
网上教程都说蜘蛛机器人抓取不会去执行网页的.js脚本,

但是现在很多站点的真实内容, 都是先加载一个主框架,

然后通过.js 代码再在页面后台获取的, 搜索引擎抓取展示的内容根本不受影响,

是不是现在蜘蛛抓取是不是基本都会执行网页的JS脚本了?

作者: wawos 时间: 2025-2-13 15:50
如果蜘蛛会允许js代码, 是不是我现在用判断访问是否含有某个cookie,

来判断是蜘蛛还是真实用户, 这个方法就不行了 (cookie是在js代码设置的) ?

如果蜘蛛会运行js, 那它肯定也会有这个cookie了啊

作者: hins 时间: 2025-2-13 16:10
有时候会执行js的

作者: 胖虎_ 时间: 2025-2-13 20:12

wawos 发表于 2025-2-13 15:50
如果蜘蛛会允许js代码, 是不是我现在用判断访问是否含有某个cookie,

来判断是蜘蛛还是真实用户, 这个方 ...

蜘蛛请求头不是会带User Agent的嘛，把常用的UA收集一下。去拿他的User Agent。
百度ua： Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
谷歌ua： Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

作者: wawos 时间: 2025-2-13 20:20

胖虎_ 发表于 2025-2-13 20:12
蜘蛛请求头不是会带User Agent的嘛，把常用的UA收集一下。去拿他的User Agent。
百度ua： Mozilla/5.0 ( ...

标准的蜘蛛UA才会带这些spider信息,

蜘蛛会模仿普通浏览器来判断你网站内容有没有作弊的

作者: 胖虎_ 时间: 2025-2-13 20:22

wawos 发表于 2025-2-13 20:20
标准的蜘蛛UA才会带这些spider信息,

蜘蛛会模仿普通浏览器来判断你网站内容有没有作弊的 ...

那就不清楚咯，现在大部分蜘蛛都是可以执行js的。
问问ai看看，有哪些是浏览器特有的，蜘蛛无法模仿的。

欢迎光临全球主机交流论坛 (https://hostloc.9hanju.com/)