如何让 Selenium 不等到整个页面加载(脚本很慢)?

2024-12-25 08:51:00
admin
原创
163
摘要:问题描述:Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。from selenium import webdriver driver = webdriver....

问题描述:

Seleniumdriver.get (url)等待整个页面加载。但是抓取页面尝试加载一些无效的 JS 脚本。所以我的 Python 脚本等待它并且几分钟不工作。这个问题可能出现在网站的每个页面上。

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.cortinadecor.com/productos/17/estores-enrollables-screen/estores-screen-corti-3000')
# It try load: https://www.cetelem.es/eCommerceCalculadora/resources/js/eCalculadoraCetelemCombo.js 
driver.find_element_by_name('ANCHO').send_keys("100")

如何限制等待时间、阻止文件的 AJAX 加载,或者有其他方法吗?

此外,我还在 中测试了我的脚本webdriver.Chrome(),但将使用 PhantomJS(),或者可能是 Firefox()。因此,如果某种方法使用了浏览器设置的更改,那么它必须是通用的。


解决方案 1:

当 Selenium 默认加载页面/url 时,它会遵循pageLoadStrategy设置为 的默认配置normal。为了让 Selenium 不等待完整的页面加载,我们可以配置pageLoadStrategypageLoadStrategy支持以下 3 个不同的值:

  1. normal(完整页面加载)

  2. eager(交互的)

  3. none

以下是配置的代码块pageLoadStrategy

  • 火狐浏览器

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().FIREFOX
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Firefox(desired_capabilities=caps, executable_path=r'C:path    ogeckodriver.exe')
driver.get("http://google.com")
  • 铬合金

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

caps = DesiredCapabilities().CHROME
caps["pageLoadStrategy"] = "normal"  #  complete
#caps["pageLoadStrategy"] = "eager"  #  interactive
#caps["pageLoadStrategy"] = "none"
driver = webdriver.Chrome(desired_capabilities=caps, executable_path=r'C:path    ochromedriver.exe')
driver.get("http://google.com")

注意pageLoadStrategynormaleagerWebDriver W3C 编辑草案的none要求,但值仍然是ChromeDriver实现中的WIP(正在进行的工作) 。您可以在 Python 中 Chromedriver Selenium 的“急切”页面加载策略解决方法中找到详细讨论pageLoadStrategyeager

解决方案 2:

根据 selenium文档 V4.0,现在看起来是这样的:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.page_load_strategy = 'none'
driver = webdriver.Chrome(options=options)
driver.get("http://www.google.com")
driver.quit()

解决方案 3:

@undetected Selenium 答案很好用,但对于 chrome,部分不起作用,请使用下面的 chrome 答案

from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
capa = DesiredCapabilities.CHROME
capa["pageLoadStrategy"] = "none"
browser= webdriver.Chrome(desired_capabilities=capa,executable_path='PATH',options=options)

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   2556  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1551  
  知识管理在企业发展中扮演着至关重要的角色,它能够帮助企业积累经验、提升创新能力并增强竞争力。PLM(产品生命周期管理)系统作为企业管理产品全生命周期的重要工具,其知识管理功能对于企业实现经验沉淀与复用具有不可忽视的作用。通过有效的知识管理机制,企业可以在PLM系统中更好地整合和利用产品相关的知识,从而优化产品开发流程、...
PLM项目管理软件   0  
  产品生命周期管理(PLM)和企业资源计划(ERP)是现代企业管理中至关重要的两个系统。它们在企业的运营和发展中发挥着不同但又相互关联的作用。对于企业管理者和相关从业者来说,清晰地理解PLM与ERP的核心区别,有助于更精准地运用这两个系统,提升企业的管理效率和竞争力。接下来,我们将深入剖析这两个系统的核心区别。定义与概念...
plm项目管理系统是什么   0  
  敏捷项目管理与产品生命周期管理(PLM)的融合以及六西格玛工具链的运用,正逐渐成为企业提升迭代效率、增强竞争力的关键策略。在快速变化的商业环境中,如何将敏捷项目管理的灵活性与PLM的全生命周期管控相结合,并借助六西格玛工具优化流程,是众多企业面临的重要课题。敏捷项目管理与PLM的基础认知敏捷项目管理强调灵活性、快速响应...
plm软件排行榜   0  
热门文章
项目管理软件有哪些?
曾咪二维码

扫码咨询,免费领取项目管理大礼包!

云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用