无图版
帮助
论坛首页
登录
注册
讨论区
搜索
社区服务
屏蔽配置
刷新黑名单
好奇模式
清空列表
管理列表
■
帖子 |
■
头像
社区论坛任务
用户名
UID
Email
认证码
点此显示验证码
热门版块:
茶馆
免空资源区
询问&求物
同人音声
网赚资源区
实用动画
Soulplus
Wind
用户中心首页
编辑个人资料
查看个人资料
好友列表
用户权限查看
积分管理
积分转换
特殊组购买
收藏夹
我的主题
基本统计信息
到访IP统计
管理团队
管理统计
在线统计
会员排行
版块排行
帖子排行
个人首页
我的收藏
好友近况
南+ South Plus
茶馆
分享一个爬虫吧,可爬2048,cunhua,laowang,moxing论坛最新帖子
漫区特设
Comic Market 103
Comic Market 102
サンクリ
Comic1☆
其他同人志
一般漫画
例大祭&紅楼夢
汉化本发布
旧物仓库
蜜柑计划
- 蜜柑计划 - Mikan Project
综合交流
ACG交流
轻小说
原创绘画
原创小说区
询问&求物
茶馆
AI交流 (beta)
免空资源区
网赚资源区
人民囧府
事务受理
上一主题
下一主题
新 帖
|
浏览器收藏
|
打印
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
GF
2021-02-25 22:38
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
分享一个爬虫吧,可爬2048,cunhua,laowang,moxing论坛最新帖子
主要目的是省去了每次上这几个论坛找资源的时间,可以一键知道最新的资源贴里有没有你想要的。
可以根据关键词,发帖作者名,筛选出最新发布的帖子里符合对应条件的帖子,把结果写入对应的html文件,显示效果类似论坛的图片模式,可直接点击链接进入帖子页面,参考下图。
可设置需要爬取的对应版块号,爬取页数,和需要排除的关键字,我把我的配置贴在下图以供参考。
爬取的结果会缓存到本地,每次爬取会对比缓存,筛选出之前爬取中没出现过的帖子放在html文件的最前面。
需要python3.8或以上
分别运行:
复制代码
python daily_updates.py cunhua
python daily_updates.py moxing
python daily_updates.py laowang
python daily_updates.py 2048
附件:
southplus.zip
(29 K) 下载次数:489
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B1F
2021-02-27 17:15
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 12楼(railannad) 的帖子
不需要登录
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B2F
2021-02-27 17:36
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 26楼(qizihai) 的帖子
谷歌查查看吧,我这里录的时候没出现这种情况
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B3F
2021-03-01 11:32
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 29楼(qizihai) 的帖子
ffmpeg -headers "User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36" -i real_url -c:v copy -c:a copy -bsf:a aac_adtstoasc file_path
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B4F
2021-03-01 20:29
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 40楼(a0507658) 的帖子
python daily_updates.py cunhua
你没有传命令行参数。
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B5F
2021-03-02 20:20
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 44楼(a0507658) 的帖子
上面说了
python daily_updates.py cunhua
你没有传命令行参数。
cunhua 或者 2048 或者其他平台,作为第一个参数在运行脚本的时候传入,其他不用动。
顶端
回复
引用
分享
keoki
作者资料
发送短消息
加为好友
UID:
1156494
精华:
0
发帖:
3258
HP:
0 点
SP币:
904 G
昵称: keoki
在线时间: 623(小时)
注册时间:
2019-06-22
最后登录:
2024-04-21
B6F
2021-03-03 19:26
(一些脚本:https://bbs.imoutolove.me/read.php?tid=1353704)
全看
|
屏蔽
屏蔽此人
屏蔽头像
|
小
中
大
回 64楼(a0507658) 的帖子
需要python3.8或以上
顶端
回复
引用
分享
上一主题
下一主题
南+ South Plus
茶馆
[-- 查看移动版 --]