首先配置起始URL并设置分页规则，启用“列表页循环抓取”，填写带页码变量的下一页网址规则如http://example.com/list_*.html，并设定页码范围；其次针对不规则分页结构，在高级选项中使用正则表达式提取链接，例如匹配模式，将所有列表页链接导入采集队列；最后通过XPath定位列表项，如//ul[@class='item-list']/li/a/@href，提取每条记录的详情页链接，并启用“循环采集子链接”功能，实现自动批量抓取多页面数据。
如果您需要从目标网站的多个列表页面中提取数据，但手动逐页操作效率低下，则可以通过火车头采集器的循环抓取功能实现批量采集。以下是实现列表页面批量抓取的具体步骤：
一、配置起始URL并设置分页规则
在火车头采集器中，正确设置起始链接和分页模式是实现批量采集的基础。系统将根据设定的规则自动跳转到下一页并持续抓取内容。
1、打开火车头采集器，创建新任务，并在“起始地址”栏输入第一个列表页面的完整URL。
2、勾选“列表页循环抓取”选项，启用自动翻页功能。
3、在“下一页网址规则”中填写动态变化的部分，例如：
http://example.com/list_*.html，其中“*”代表页码变量。
4、设置页码范围，如从1开始到100结束，确保覆盖所有需要采集的列表页。
二、使用
正则表达式匹配多级分页链接当目标网站的分页结构不规则或无法通过数字递增生成时，可采用正则表达式提取所有相关页面链接。
1、进入“高级选项”中的“链接提取”设置界面。
2、选择“通过正则表达式提取链接”，并在输入框中编写匹配规则，例如：用于捕获所有列表页锚点。
Comet AI 浏览器下载 Comet AI 浏览器，体验由 Perplexity AI 驱动的革命性上网方式。内置 AI 助手可实时总结网页、跨标签页对比信息、自动执行任务。告别繁琐操作，让 AI 成为你的浏览副驾，大幅提升研究与工作效率。支持 Windows、macOS、Android 和 iOS。
下载3、将提取出的链接导入采集队列，使采集器依次访问每个页面进行数据抓取。
4、测试链接提取结果，确认所有预期页面均被正确识别。
三、结合XPath定位列表项并循环采集详情链接
为了从每一页中准确获取条目链接，需使用XPath语法定位列表中的每一项，并提取其跳转地址。
1、在“内容采集”模块中，点击“添加采集节点”，选择“列表型”节点类型。
2、使用
浏览器开发者工具分析列表HTML结构，找到包含所有条目的父容器XPath路径，例如：//ul[@class='item-list']/li/a/@href。
3、设置该路径为链接提取规则，确保每条记录的详情页URL能被自动捕获。
4、启用“循环采集子链接”功能，让系统在获取所有详情链接后逐一访问并抓取具体内容。