高效码农

撰写、分享国内外先进的IT技术

分类 Python 下的文章

March 19, 2019

Python常用校验类

Python常用校验类简介在项目开发中,常常需要校验客户端提交参数和入参参数的合法性,PyVaildTool是一个Python工具类,它帮助我们简化每一行代码,减少每一个方法。项目地址:PyVaildTool.py持续更新中...1、校验手机号# 校验手机号 @staticmethod def vaildPhoneNum(phoneNum): phone_pa...
March 15, 2019

vscode 断点调试scrapy的设置

vscode创建scrapy项目请点击一、设置launch.json点击DEBUG按钮,再点击设置图标,会自动弹出launch.json设置文件。如下图:点击 Add Configuration... 按钮, 选择{}python:scrapy最后修改为你自己的爬虫名称按F5执行你的爬虫就可以了,再也不用scrapy crawl XXX 了如有报错信息:Unknown command: cr...
March 13, 2019

Python爬虫实战:爬取糗事百科段子

Python爬虫实战:爬取糗事百科段子1. 抓取页面代码并提取所有段子from urllib import request, error import ssl import re content = ssl._create_unverified_context() page = 1 url = 'https://www.qiushibaike.com/hot/page/' + str(p...
March 12, 2019

Python爬虫:Ptyhon中RE模块的使用

Ptyhon中RE模块的使用1. 正则表达式参考:廖雪峰的官方网站2. Python Re模块Python提供re模块,包含所有正则表达式的功能。由于Python的字符串本身也用转义,因此我们强烈建议使用Python的r前缀,就不用考虑转义的问题了2.1   re.match(pattern, string[, flags])如果字符串开头的零个或多个字符与正则表达式模式...
March 12, 2019

Python爬虫:UrlLib库的高级使用

UrlLib库的高级使用1. Headers设置有很多网站为了防止程序爬虫爬网站造成网站瘫痪,会需要携带一些headers头部信息才能访问,最长见的有user-agent参数# -*- coding:UTF-8 -*- # urllib.request 请求模块 # import urllib.request # import urllib.parse # 以上2个导入可以合并为 from...
March 12, 2019

Python爬虫:Urllib库的基本使用

1.抓取一个网页抓取网页就是根据URL来获取它的网页信息:# -*- coding:utf-8 -*- import urllib # urllib.request 请求模块 response = urllib.request.urlopen("http://www.baidu.com") print(response.read())在vscode中按F5执行后结果如图...

Python从零单排(一):Python数据类型

1.字符串1.1 使用单引号用单引号括起来表示字符串,例如: str = 'this is python-note' 1.2 使用双引号双引号中的字符串与单引号中的字符串用法完全相同,例如: str = "this is python-note" 1.3 使用三引号利用三引号,表示多行的字符串,可以在三引号中自由的使用单引号和双引号,例如:str='''this is s...