首页 › 教程 › 整站抓取

IDM 整站抓取实战

用 Grabber 把一个站点的目标资源「清单化」再批量下载,比逐页手点高效得多。

参数逐项讲

参数实战值
起始 URL资源所在列表页,而非首页
深度列表页→详情页两层,深度 2 起步
文件过滤*.mp4;*.pdf 等扩展名白名单
服务器与路径限定起始 URL 同域,防爬散
授权勾 use authorization 填登录凭据

流程

试抓

先深度 1 小范围试抓,确认清单方向正确。

全量抓

确认后放宽深度与范围,跑完整清单。

核对下载

按大小排序剔除广告小文件,勾选目标入队。

清单巨大时配合 夜间队列 执行;抓取站点对频率敏感时手动分批,避免触发封禁。