使用 python 抓取 javascript 生成的 html

问题描述：

我需要使用 Python 抓取网站数据。我使用 urlib 模块获取了源 html 代码，但我还需要抓取一些由 javascript 函数（包含在 html 源代码中）生成的 html 代码。这个函数在网站中的作用是，当您按下按钮时，它会输出一些 html 代码。我如何使用 Python 代码“按下”此按钮？scrapy 能帮我吗？我用 firebug 捕获了 POST 请求，但当我尝试将其传递到 url 上时，出现 403 错误。有什么建议吗？

解决方案 1：

在 Python 中，我认为Selenium 1.0是最佳选择。它是一个库，可让您使用所选语言控制真实的 Web 浏览器。

您需要在运行脚本的机器上安装相关的 Web 浏览器，但它看起来是以编程方式查询使用大量 JavaScript 的网站的最可靠方法。

解决方案 2：

由于这里没有全面的答案，我将继续写一个。

为了抓取 JS 渲染的页面，我们需要一个具有 JavaScript 引擎的浏览器（即支持 JavaScript 渲染）

Mechanize、url2lib等选项将不起作用，因为它们不支持 JavaScript。

因此，您可以这样做：

设置PhantomJS与Selenium一起运行。安装两者的依赖项后（请参阅此处），您可以使用以下代码作为示例来获取完全呈现的网站。

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get('http://jokes.cc.com/')
soupFromJokesCC = BeautifulSoup(driver.page_source) #page_source fetches page after rendering is complete
driver.save_screenshot('screen.png') # save a screenshot to disk

driver.quit()

解决方案 3：

我以前曾经这样做过（在 .NET 中），你基本上必须托管一个浏览器，让它单击按钮，然后查询浏览器的 DOM（文档对象模型）以获取生成的 HTML。

这绝对是 Web 应用程序转向使用 Ajax/Javascript 方法生成 HTML 客户端的缺点之一。

解决方案 4：

我使用 webkit，它是 Chrome 和 Safari 背后的浏览器渲染器。通过 Qt 可以将 Python 绑定到 webkit。这里有一个完整的示例来执行 JavaScript 并提取最终的 HTML。

解决方案 5：

对于Scrapy（伟大的 Python 抓取框架），有scrapyjs：一个额外的下载程序处理程序/中间件处理程序，能够抓取 JavaScript 生成的内容。

它基于 pygtk、python-webkit 和 python-jswebkit 的 webkit 引擎，非常简单。