10-pyspider-frame-use

pyspider的基本使用以爬取 去哪儿网 所有攻略的作者、标题、出发日期、人均费用、攻略正文、背景图片及呆了几天等信息。 1.cmd 运行 pyspider all 运行界面 调试页面 代码： 123456789101112131415161718192021222324252627282930313233343536373839#!/usr/bin/env python# -

9-APP-get

8-simulated-login

8. 模拟登录Cookies池的搭建 配置文件： 1234567891011121314151617181920212223242526272829303132333435363738394041# 数据库地址REDIS_HOST = 'localhost'#Redis端口REDIS_PORT = 6379#Redis密码，无则填NoneREDIS_PASSWORD = None#生成器使用的

7-proxy-use

7. 代理的使用代理的设置、代理池的维护、付费代理的使用、ADSL拨号代理等。这里以 使用代理爬取微信公共号文章为例： config.py 12345678910111213141516171819202122232425REDIS_HOST = 'localhost'REDIS_PORT = 6379REDIS_PASSWORD = '123456'REDIS_KEY = 'weixin'P

6-验证码的识别

6. 验证码的识别6.1 图形验证码的识别由于VSCode安装 tesserocr失败，后续再更新… 6.2 点触验证码的识别 自动登录极验验证码后台举例：(获取所有微博四宫格的验证类型，并保存为模板)12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535

5-Selenium与Splash的使用

5. Selenium与Splash的使用####5.1 Selenium的使用 查找节点、节点交互操作 12345678910111213141516171819202122232425262728293031323334353637from selenium import webdriverimport osimport timeabspath = os.path.abspath(r"C:

4. Ajax数据爬取

4. Ajax数据爬取Ajax爬取某特别测试微博 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364from urllib.parse import urlencodeimport requestsfrom py

3. 数据存储

3. 数据存储3.1 文件存储3.1.1 TXT文本存储以爬取知乎–发现–页面-今日最热-部分为例，爬取标题、回答者、答案，并保存到文本中。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869

2. 解析库的使用

2. 解析库的使用2.1 XPath的使用先利用htmls = etree.HTML(root_htmls)或打开一个本地文本文件htmls = etree.parse(‘test.html’, etree.HTMLParser())构建一个XPath对象(htmls), 接着利用其xpath方法获取目标节点、节点属性、节点文本等信息:a. 获取所有节点：htmls.xpath(‘//*’) ;

1.学习爬虫的基本库

1.Python爬虫基本库的使用1.1 学习使用urllib库urllib库是Python内置的HTTP请求库之一(还有httplib2、requests、treq等)，包含以下4个模块： request: 最基本的HTTP请求模块，用来模拟发送请求； error: 异常处理模块； parse: 一个工具模块，提供许多URL处理方法； robotparser: 主要用来识别网址的robots.t