归档: 2018

0

flask-2-data-flask--route

1. 书籍查询与搜索判断用户输入的是key(关键字)还是isbnisbn13 13个0到9的数字组成isbn10 10个0到9的数字组成,含有一些’-‘ 在if多and语句中,应该把大概率是假的条件放到前面,耗时的尽量放到后面,以减少对服务器的消耗开支 2. 代码简化方法if语句简写方式:1、if+return方式:正常流程和特例流程2、return表达式3、利用三元表达式for、while内部代

0

flask-1-原理及准备工作

1. 利用pipenv创建虚拟环境a. 常用命令cmd命令:新建文件(mkdir 文件名)创建虚拟环境-全局安装:pip install pipenv-项目创建虚拟环境:在项目路径下 pipenv installpipenv优势和作用:-相较virtualenv安装更方便,没有权限问题-可以隔离不同版本的python,包等。安装flask:pipenv istall flaskpipenv管理命令

0

SamBa-Server

Samba共享服务器搭建1.使用yum 命令安装Samba4及所需要的包1yum install samba samba-client samba-common 2. 安装好samba包后,将samba服务添加到允许通过Linux防火墙中12firewall-cmd --permanent --zone=public --add-service=sambafirewall-cmd --rel

0

10-pyspider-frame-use

pyspider的基本使用以爬取 去哪儿网 所有攻略的作者、标题、出发日期、人均费用、攻略正文、背景图片及呆了几天等信息。 1.cmd 运行 pyspider all 运行界面 调试页面 代码: 123456789101112131415161718192021222324252627282930313233343536373839#!/usr/bin/env python# -

0

8-simulated-login

8. 模拟登录Cookies池的搭建 配置文件: 1234567891011121314151617181920212223242526272829303132333435363738394041# 数据库地址REDIS_HOST = 'localhost'#Redis端口REDIS_PORT = 6379#Redis密码,无则填NoneREDIS_PASSWORD = None#生成器使用的

0

7-proxy-use

7. 代理的使用代理的设置、代理池的维护、付费代理的使用、ADSL拨号代理等。这里以 使用代理爬取微信公共号文章为例: config.py 12345678910111213141516171819202122232425REDIS_HOST = 'localhost'REDIS_PORT = 6379REDIS_PASSWORD = '123456'REDIS_KEY = 'weixin'P

0

6-验证码的识别

6. 验证码的识别6.1 图形验证码的识别由于VSCode安装 tesserocr失败,后续再更新… 6.2 点触验证码的识别 自动登录极验验证码后台举例:(获取所有微博四宫格的验证类型,并保存为模板)12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535

0

5-Selenium与Splash的使用

5. Selenium与Splash的使用####5.1 Selenium的使用 查找节点、节点交互操作 12345678910111213141516171819202122232425262728293031323334353637from selenium import webdriverimport osimport timeabspath = os.path.abspath(r"C:

0

4. Ajax数据爬取

4. Ajax数据爬取Ajax爬取某特别测试微博 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364from urllib.parse import urlencodeimport requestsfrom py

0

3. 数据存储

3. 数据存储3.1 文件存储3.1.1 TXT文本存储以爬取知乎–发现–页面-今日最热-部分为例,爬取标题、回答者、答案,并保存到文本中。 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869

0

2. 解析库的使用

2. 解析库的使用2.1 XPath的使用先利用htmls = etree.HTML(root_htmls)或打开一个本地文本文件htmls = etree.parse(‘test.html’, etree.HTMLParser())构建一个XPath对象(htmls), 接着利用其xpath方法获取目标节点、节点属性、节点文本等信息:a. 获取所有节点:htmls.xpath(‘//*’) ;

0

1.学习爬虫的基本库

1.Python爬虫基本库的使用1.1 学习使用urllib库urllib库是Python内置的HTTP请求库之一(还有httplib2、requests、treq等),包含以下4个模块: request: 最基本的HTTP请求模块,用来模拟发送请求; error: 异常处理模块; parse: 一个工具模块,提供许多URL处理方法; robotparser: 主要用来识别网址的robots.t

0

十二、Python杂记

12.Python杂记12.1 用字典dict映射代替switch case语句1234567891011121314151617181920212223""" 用字典映射代替 switch case """def get_apple(): return 'apple'def get_meat(): return 'meat'def get_mice(): return 'mic

0

十一、实战:原生爬虫

11 原生爬虫11.1 爬虫前奏爬虫前奏a.明确目的b.找到数据对应的网页c.分析网页的结构找到数据所在的标签位置d.模拟http请求,向服务器发送这个请求,获取到服务器返回给我们的html(返回的是完整的html数据); 用正则表达式提取我们需要的数据 11.2 爬虫及断点调试a.断点打好,F5运行–F10单步–F5跳断点(从一个断点跳到下一个断点)–F11进入某个对象或函数的内部;b.

0

十、函数式编程:匿名函数、高阶函数、装饰器

10 函数式编程:匿名函数、高阶函数、装饰器10.1 lambda表达式与三元表达式123456789101112# 匿名函数# lambda parameter_list: expression# lambda 参数列表: 表达式f = lambda x,y: x+y#此处的expression只能是简单的B表达式,而不能实现像函数内部的代码块。print(f(1,9)) # 10x = 1y

0

九、Python的高级语法和用法

9 python的高级语法和用法9.1 枚举9.1.1 初识枚举python中所有枚举类型都是enum模块下Enum类的子类, 在使用前,要导入相应的模块和类:1234567891011from enum import Enumclass VIP(Enum): # 枚举中的标识最好全部使用大写 CAT = 1 DOG = 2 ANT = 3# 枚举的意义重在标签而不在于数值

0

八、正则表达式与Json

8 正则表达式与Json8.1 正则表达式正则表达式是一个特殊的字符序列,它能检测一个字符串是否与我们所设定的字符序列相匹配;正则表达式由一系列普通字符和元字符(如’\d’等)组成;它能实现快速检索文本、一些替换文本的操作;正则表达式最重要的是在于规则.12345678910111213141516171819#元字符(概括字符集)r3 = re.findall('\d',ss)r33 = re.

0

七、面向对象

7 面向对象7.1 类与对象7.1.1 类的定义命名规则:首字母大写,不用_相连,命名驼峰式最基本作用: 封装代码,只负责定义,不负责执行123456789class StuInfo(): name = ' ' age = 0 def print_file(self): print('name: ' + self.name) print('age: '

0

六、Python中的函数

6 Python中的函数6.1 初识python函数a.初步接触函数:了解查看一个函数可用: help(函数名);查看函数之禅: import this ;函数三大特点:功能性(实现某些功能)、隐藏细节(方便调用)、避免编写重复代码;示例如图: b.函数定义及运行特点特点:a.自上而下的执行过程,函数需要先定义才能通过调用使用;b.定义函数或变量名时,要尽量避免和python的内置函数同名,

0

五、python的包、模块、函数及变量作用域

5 python的包、模块、函数及变量作用域5.1 while、for及 break、continue基本用法1234567891011121314151617181920212223242526272829303132333435363738394041""" 1.while 循环 其主要使用场景:递归 其他一般用for 2.for循环 其主要使用场景:遍历、循环 序列、集合或字典等"""#

0

四、Python的分支、循环、条件与枚举

4 分支、循环、条件与枚举4.1 表达式表达式(Expression)是运算符(operator)和操作数(operand)所构成的序列.表达式的优先级问题(一般按照优先级,进行左结合运算),不需要刻意去记,拿不准用()即可.123456789101112131415161718192021222324252627282930>>> 1+2**3 # 常见表达式9>>

0

三、Python的变量与运算符

3 变量与运算符3.1 变量a.变量的命名规则变量用字母、下划线及数字组成(不能以数字开头),且变量名不能是Python系统关键字。123456789>>> _aA = 2>>> print(_aA)2>>> a = '24r'>>> print(a)24r>>> 1w = 2SyntaxError: inv

0

二、Python基础类型2--组的概念

2.Python中组的概念2.1 列表(list: 可变的)初识列表:12345678910>>> type([1,2,3])<class 'list'>>>> type([1,2,'test',True,7j])<class 'list'>>>> type([[3,'st'],[9,False,'be'],[5]])

0

一、Python的基本类型1--数字

(基于IDLE的演示) 1.Python的基本类型1–Number1.1 数字: 整形与浮点型、布尔与复数Python中数字(Number)分为: (int)整形、(float)浮点型、(bool)布尔类型、(complex)复数。int 与 float :1234567891011>>> type(1)<class 'int'>>>> type(1

0

2.Python解释器的使用

2.1 调用解释器Ptython解释器一般以 /usr/local/bin/python3.6 安装在可用机器上,把/usr/local/bin 放在你的Unix shell搜索路径下,然后可以通过在shell里输入以下命令启动它:1$ python 3.6 由于解释器的安装目录位置是可选择的,所有也可能被安装了在其他地方,具体的可以咨询你本地的Python专家或系统管理员。(比如: /usr/l

0

1.来点兴趣

如果你工作中用到的电脑不多,然后有一天你想让一些活儿自动化。比如你可能想在大量文本中进行查找替换操作,或者你想给一堆照片以一种复杂的方式重新命名并排列。也许你想编写一个特定的数据库,一个专业的图形用户界面程序或者一个简单的游戏。 如果你是一位专业的软件开发人员,你可能不得不要用到好几个C/C++/Java的库来做那些,但是会发现常规的编写、编译、测试、重编译这个过程太低效了。或者当你为某个库编写测