火车头的大佬了？ 一包烟钱，帮忙写一下西瓜视频的分页

citywar

采集与 防采集的 PK

yjsx86

你给的网站 我爬取试过， _signature的生成看下图（一个图我就不上图床了）
1.jpg (14.71 KB, 下载次数: 0)

2020-9-30 09:27 上传

点击文件名下载附件

代码在js文件里 https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js
在window对象上挂载了方法 byted_acrawler.sign()
我用python复现js代码， 简单的我可以， 这个我不行
后来我把acrawler.js下载下来用python运行 可以分页爬取了， 但是由于方法是挂载到window上的， 所以本机需要安装nodejs和jsdom
想着你要火车头的规则， 这个明显不行

一般来说移动端网页要比pc端好爬， 这个也不意外
我就直接给你答案了
首页：
https://m.ixigua.com/video/app/user/home/?to_user_id=1508145346906638&format=json&subtype=played&notea=true
返回的json数据， 在data里面的最后一条数据里找到 behot_time （本例为 behot_time: 1594618959）
构造下一页的网址：
https://m.ixigua.com/video/app/user/home/?to_user_id=1508145346906638&format=json&subtype=played&notea=true&max_behot_time=1594618959

至于需不需要cookie或者user-agent或者referrer这些你自己去尝试了