跳转到主内容
趣航编程网 - 趣学编程,启航技术之路!

怎么利用 continue 在爬虫程序中跳过已抓取过或已失效的 URL 链接列表

continue用于跳过无效URL迭代,需结合去重(标准化URL后查set)、预过滤(协议/长度/资源类型)、异常捕获(requests异常及状态码)和更新策略(时间戳判断)实现高效爬取。 在 爬虫 程序中,
continue
语句常用于跳过当前循环迭代,避免对已处理、重复或失效的 URL 执行冗余请求。关键不是单纯用
continue
,而是结合去重逻辑、状态检查和异常处理,在循环体内提前终止无效流程。 检查 URL 是否已抓取过(去重) 爬虫通常维护一个已访问集合(如
set
),每次循环开始时判断当前 URL 是否存在其中。若已存在,直接
continue
跳过: 用
visited_urls = set()
记录成功抓取过的 URL(建议持久化到数据库或文件,避免重启丢失) 循环中先写
if url in visited_urls: continue
注意:URL 可能带参数顺序不同但内容相同(如
?a=1&b=2
和
?b=2&a=1
),建议标准化后再判断(如用
urllib.parse.urlparse
+
parse_qs
排序参数) 验证 URL 格式与可访问性(预过滤) 在发起请求前,快速排除明显无效链接,减少 HTTP 请求开销: 跳过空值、非 http/https 协议、含非法字符或长度超限的 URL:
if not url or not url.startswith(('http://', 'https://')) or len(url) > 2000: continue
可用正则粗筛常见坏链模式,如
re.search(r'\.(jpg|png|pdf|zip|exe)(\?|$)', url)
跳过二进制资源(按需) 不建议在此处做 DNS 解析或 HEAD 请求——太慢;留到真正请求阶段再处理 捕获请求异常并跳过失效链接 即使 URL 格式合法,也可能返回 404、503、连接超时等。应在
try...except
中捕获后
continue
,防止中断整个循环: php爬虫采集类-phpQuery:支持抓取网站,非常强大的php类库 下载 把
requests.get()
放在
try
块内,对
requests.exceptions.RequestException
或具体状态码(如
r.status_code >= 400
)触发
continue
记录失败原因(如日志写入文件或打印),方便后续分析失效规律 避免静默跳过:不加日志的
continue
会让问题难以追踪 结合时间戳或更新策略跳过旧数据 对于需定期更新的页面,可存储上次抓取时间,跳过未到刷新周期的 URL: 用字典或数据库保存
{url: last_fetched_timestamp}
循环中计算
if time.time() - last_fetched (例如一小时内不重复抓)
注意时区与系统时间一致性,生产环境建议用 UTC 时间戳 本质上,
continue
是控制流工具,真正起作用的是它前面的判断条件。把校验逻辑放在循环开头、靠近
for url in url_list:
的位置,结构清晰且效率高。不复杂但容易忽略细节。

相关文章