pyspider 爬虫教程 (2)：AJAX 和 HTTP

文章预览

（点击 上方蓝字 ，快速关注我们） 编译：足兆叉虫，英文：pyspider segmentfault.com/a/1190000002477870 如有好文章投稿，请点击 → 这里了解详情 在上一篇教程《 pyspider 爬虫教程 (1)：HTML 和 CSS 选择 》中，我们使用 self.crawl API 抓取豆瓣电影的 HTML 内容，并使用 CSS 选择器解析了一些内容。不过，现在的网站通过使用 AJAX 等技术，在你与服务器交互的同时，不用重新加载整个页面。但是，这些交互手段，让抓取变得稍微难了一些：你会发现，这些网页在抓回来后，和浏览器中的并不相同。你需要的信息并不在返回 HTML 代码中。 在这一篇教程中，我们会讨论这些技术 和 抓取他们的方法。 AJAX AJAX 是 Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）的缩写。AJAX 通过使用原 ………………………………