火车头的大佬了？ 一包烟钱，帮忙写一下西瓜视频的分页

改过自新

如这个地址：https://www.ixigua.com/home/1508145346906638/video/?subtype=played&notea=true

如何用火车头拼接出多页地址，一包烟钱30不成敬意，要告诉我原理哈。


第一个回复的大佬得，pm我留下qq或wx，我加你发红包。谢谢


自己解决了，谢谢各位大佬。

yjsx86

你给的网站 我爬取试过， _signature的生成看下图（一个图我就不上图床了）
1.jpg (14.71 KB, 下载次数: 0)

2020-9-30 09:27 上传

点击文件名下载附件

代码在js文件里 https://sf1-ttcdn-tos.pstatp.com/obj/rc-web-sdk/acrawler.js
在window对象上挂载了方法 byted_acrawler.sign()
我用python复现js代码， 简单的我可以， 这个我不行
后来我把acrawler.js下载下来用python运行 可以分页爬取了， 但是由于方法是挂载到window上的， 所以本机需要安装nodejs和jsdom
想着你要火车头的规则， 这个明显不行

一般来说移动端网页要比pc端好爬， 这个也不意外
我就直接给你答案了
首页：
https://m.ixigua.com/video/app/user/home/?to_user_id=1508145346906638&format=json&subtype=played&notea=true
返回的json数据， 在data里面的最后一条数据里找到 behot_time （本例为 behot_time: 1594618959）
构造下一页的网址：
https://m.ixigua.com/video/app/user/home/?to_user_id=1508145346906638&format=json&subtype=played&notea=true&max_behot_time=1594618959

至于需不需要cookie或者user-agent或者referrer这些你自己去尝试了

citywar

采集与 防采集的 PK

malu6688

lz是不是要用这个做坏事

改过自新

木易酱 发表于 2020-9-29 22:43
需要有referer

这个很容易。
是signature的算法解不出来

木易酱

需要有referer

1. https://www.ixigua.com/api/videov2/author/hot_video_list?_signature=_02B4Z6wo00f010rL2HgAAIBD8g2mJBSAYvdKytzAAI3Kba&author_id=1508145346906638&type=video&offset=0&limit=30
   
2. 
   
3. https://www.ixigua.com/api/videov2/author/hot_video_list?_signature=_02B4Z6wo00f010rL2HgAAIBD8g2mJBSAYvdKytzAAI3Kba&author_id=1508145346906638&type=video&offset=30&limit=30
   
4. 
   
5. https://www.ixigua.com/api/videov2/author/hot_video_list?_signature=_02B4Z6wo00f010rL2HgAAIBD8g2mJBSAYvdKytzAAI3Kba&author_id=1508145346906638&type=video&offset=60&limit=30

复制代码

改过自新

小蓝姐姐 发表于 2020-9-29 21:13
来看看楼主被喷！

被喷？ 菜鸡一个都不想给你解释太多，就问你知道头条的加密吗？

1121744186

如果没看错的话，下一页 &format=json&max_behot_time=1594618959 中 max_behot_time的意思是获取这段时间之前的一页，只要取每一页的最后一条发布时间戳，当下一页的时间参数应该就可以