Python Web Scraping技巧：处理同名类标签并精确筛选数据

顺亿

2026-09-24 • 👁 0人浏览过

本文详细介绍了如何利用Python的requests和BeautifulSoup库进行网页数据抓取，特别是当网页中存在多个具有相同HTML类名的元素时，如何精确筛选出所需信息。文章着重演示了如何通过高级CSS选择器，例如:-soup-contains()，来排除不符合条件的数据（如“在线视频咨询”），从而实现高效且准确的数据提取。网页数据抓取中的常见挑战在进行网页数据抓取（web scraping）时，开发者经常会遇到一个普遍的问题：网页上的不同类型的信息可能被包裹在具有相同 html 类名（class name）的标签中。例如，一个医生可能有多个执业地点，包括实体医院和在线咨询服务，而这些地点信息可能都使用相同的

标签和class属性。如果我们的目标是仅获取实体医院的地点信息，而排除在线咨询，就需要一种有效的方法来区分和筛选这些数据。工具准备要解决上述问题，我们将使用Python中两个强大的库： requests : 用于向目标网站发送HTTP请求，获取网页的HTML内容。 BeautifulSoup : 一个解析HTML和XML文档的库，能够方便地从复杂结构中提取数据。在开始之前，请确保已安装这些库：

pip install requests beautifulsoup4

核心问题：同名类标签与数据筛选假设我们正在抓取医生信息，每个医生可能在多个地点提供服务。这些地点（无论是实体医院还是在线咨询）都可能使用相同的CSS类名（例如listing-locations）。我们的目标是只获取医生提供的实体医院服务地点，并忽略任何“在线视频咨询”的地点。解决方案详解解决此问题的关键在于利用BeautifulSoup提供的强大CSS选择器功能，特别是:-soup-contains() 伪类选择器，它允许我们根据元素内包含的文本内容进行筛选。立即学习 “ Python免费学习笔记（深入） ”； 1. 获取网页内容首先，我们需要使用requests库获取目标网页的HTML内容。

import requests
from bs4 import BeautifulSoup

url = "https://oladoc.com/pakistan/lahore/gynecologist"
# 发送GET请求并获取响应
response = requests.get(url)
# 检查请求是否成功
response.raise_for_status() 
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(response.content, "html.parser")

2. 定位医生信息通常，网页上的每个独立信息块（例如，每个医生的完整信息）都会被一个特定的HTML元素包裹。我们需要找到这些主要的容器。根据示例，每个医生的信息都包含在class="gynecologist"的元素中。使用HTML,CSS,JavaScript开发Android应用程序英文文字pdf版附源文件如果你了解HTML，CSS和JavaScript，您已经拥有所需的工具开发Android应用程序。本动手本书展示了如何使用这些开源web标准设计和建造，可适应任何Android设备的应用程序 - 无需使用Java。您将学习如何创建一个在您选择的平台的Android友好的网络应用程序，然后转换与自由PhoneGap框架到一个原生的Android应用程序。了解为什么设备无关的移动应用是未来的潮流，并开始构建应用程序，提供更下载

# 遍历所有医生信息块
for g in soup.select(".gynecologist"):
    # 提取医生姓名
    doctor_name = g.h2.get_text(strip=True)
    print("姓名:", doctor_name)

    # ... 接下来是提取地点信息

3. 精确筛选医院位置这是解决问题的核心步骤。我们需要选择所有具有listing-locations类的元素，但同时排除那些文本内容包含“Online Video Consultation”的元素。BeautifulSoup的select()方法支持复杂的CSS选择器，包括:-soup-contains()。 listing-locations: 选择所有class为listing-locations的元素。 :-soup-contains('Online Video Consultation'): 选择包含特定文本“Online Video Consultation”的元素。 :not(...): 否定选择器，排除括号内匹配的元素。结合起来，".listing-locations:not(:-soup-contains('Online Video Consultation'))"将选择所有class为listing-locations，但不包含“Online Video Consultation”文本的元素。

    # 筛选医院地点：选择所有class为listing-locations，且不包含“Online Video Consultation”文本的元素
    hospitals = g.select(
        ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
    )

    # 提取每个筛选出的医院名称
    hospital_names = [h.span.text.strip() for h in hospitals]
    print("医院:", hospital_names)
    print("-" * 30) # 分隔线，使输出更清晰

4. 完整代码示例将以上步骤整合，得到完整的Python抓取脚本：

import requests
from bs4 import BeautifulSoup

# 目标URL
url = "https://oladoc.com/pakistan/lahore/gynecologist"

try:
    # 发送GET请求并获取网页内容
    response = requests.get(url)
    response.raise_for_status()  # 检查请求是否成功，如果状态码不是200，则抛出异常

    # 使用BeautifulSoup解析HTML
    soup = BeautifulSoup(response.content, "html.parser")

    # 遍历页面上所有的医生信息块
    for g in soup.select(".gynecologist"):
        # 提取医生姓名
        doctor_name = g.h2.get_text(strip=True)
        print("姓名:", doctor_name)

        # 筛选医院地点：
        # 选择所有class为"listing-locations"的元素，
        # 但排除那些内部文本包含"Online Video Consultation"的元素。
        hospitals = g.select(
            ".listing-locations:not(:-soup-contains('Online Video Consultation'))"
        )

        # 提取每个筛选出的医院名称，并去除首尾空白
        hospital_names = [h.span.text.strip() for h in hospitals]
        print("医院:", hospital_names)
        print("-" * 40) # 打印分隔线

except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
except Exception as e:
    print(f"发生错误: {e}")

输出示例：

姓名: Dr. Ayesha Azam Khan
医院: ['National Hospital & Medical Centre  (DHA)', 'Surgimed Hospital (Gulberg)']
----------------------------------------
姓名: Dr. Maliha Amjad
医院: ['Omar Hospital & Cardiac Centre (Johar Town) (Johar Town)', 'Shalamar Hospital (Mughalpura)']
----------------------------------------
姓名: Dr. Sara Rasul
医院: ['Hameed Latif Hospital (New Garden Town)', 'Hameed Latif Medical Center (DHA)']
----------------------------------------
# ... 更多医生信息

注意事项网页结构变化 : 网页的HTML结构可能会随时更新。如果目标网站的HTML类名、标签结构或文本内容发生变化，上述CSS选择器可能需要调整。伦理与法律 : 在进行网页抓取时，请务必遵守网站的robots.txt协议和使用条款。避免对网站造成过大负载，可以设置请求间隔（time.sleep()）。错误处理 : 在实际项目中，应加入更健壮的错误处理机制，例如处理网络连接问题、页面元素不存在的情况等。上述代码已加入基本的try-except块。进一步筛选 : 如果您严格要求每个医生只获取一个地点（例如，只取第一个物理地点），可以在hospital_names列表不为空的情况下，进一步选择hospital_names[0]。代理与用户代理 : 对于某些网站，可能需要设置请求头（User-Agent）或使用代理IP来避免被反爬机制阻止。总结通过本教程，我们学习了如何利用Python的requests和BeautifulSoup库，结合强大的CSS选择器（特别是:-soup-contains()和:not()），有效地处理网页抓取中同名类标签的挑战。这种方法不仅能够精确地筛选出所需数据，还能排除不必要或干扰性的信息，从而提高数据抓取的准确性和效率。掌握这些技巧，将使您在面对复杂网页结构时更加游刃有余。

相关文章