continue用于跳过无效URL迭代,需结合去重(标准化URL后查set)、预过滤(协议/长度/资源类型)、异常捕获(requests异常及状态码)和更新策略(时间戳判断)实现高效爬取。
在
爬虫
程序中,
语句常用于跳过当前循环迭代,避免对已处理、重复或失效的 URL 执行冗余请求。关键不是单纯用
,而是结合去重逻辑、状态检查和异常处理,在循环体内提前终止无效流程。
检查 URL 是否已抓取过(去重)
爬虫通常维护一个已访问集合(如
),每次循环开始时判断当前 URL 是否存在其中。若已存在,直接
跳过:
用
记录成功抓取过的 URL(建议持久化到数据库或文件,避免重启丢失)
循环中先写
注意:URL 可能带参数顺序不同但内容相同(如
和
),建议标准化后再判断(如用
+
排序参数)
验证 URL 格式与可访问性(预过滤)
在发起请求前,快速排除明显无效链接,减少 HTTP 请求开销:
跳过空值、非 http/https 协议、含非法字符或长度超限的 URL:
可用正则粗筛常见坏链模式,如
跳过二进制资源(按需)
不建议在此处做 DNS 解析或 HEAD 请求——太慢;留到真正请求阶段再处理
捕获请求异常并跳过失效链接
即使 URL 格式合法,也可能返回 404、503、连接超时等。应在
中捕获后
,防止中断整个循环:
php爬虫采集类-phpQuery:支持抓取网站,非常强大的php类库
下载
把
放在
块内,对
或具体状态码(如
)触发
记录失败原因(如日志写入文件或打印),方便后续分析失效规律
避免静默跳过:不加日志的
会让问题难以追踪
结合时间戳或更新策略跳过旧数据
对于需定期更新的页面,可存储上次抓取时间,跳过未到刷新周期的 URL:
用字典或数据库保存
循环中计算
注意时区与系统时间一致性,生产环境建议用 UTC 时间戳
本质上,
是控制流工具,真正起作用的是它前面的判断条件。把校验逻辑放在循环开头、靠近
的位置,结构清晰且效率高。不复杂但容易忽略细节。
continuecontinuesetcontinuevisited_urls = set()if url in visited_urls: continue?a=1&b=2?b=2&a=1urllib.parse.urlparseparse_qsif not url or not url.startswith(('http://', 'https://')) or len(url) > 2000: continuere.search(r'\.(jpg|png|pdf|zip|exe)(\?|$)', url)try...exceptcontinuerequests.get()tryrequests.exceptions.RequestExceptionr.status_code >= 400continuecontinue{url: last_fetched_timestamp}if time.time() - last_fetched (例如一小时内不重复抓)continuefor url in url_list: