IDM 整站抓取实战
用 Grabber 把一个站点的目标资源「清单化」再批量下载,比逐页手点高效得多。
参数逐项讲
| 参数 | 实战值 |
|---|---|
| 起始 URL | 资源所在列表页,而非首页 |
| 深度 | 列表页→详情页两层,深度 2 起步 |
| 文件过滤 | *.mp4;*.pdf 等扩展名白名单 |
| 服务器与路径 | 限定起始 URL 同域,防爬散 |
| 授权 | 勾 use authorization 填登录凭据 |
流程
试抓
先深度 1 小范围试抓,确认清单方向正确。
全量抓
确认后放宽深度与范围,跑完整清单。
核对下载
按大小排序剔除广告小文件,勾选目标入队。
清单巨大时配合 夜间队列 执行;抓取站点对频率敏感时手动分批,避免触发封禁。