【Python】高级笔记第一部分：文件读写和正则表达式
全系列导航见：Python教程整理

:four_leaf_clover:碎碎念:four_leaf_clover:
Hello米娜桑，这里是英国留学中的杨丝儿。我的博客的关键词集中在算法、机器人、人工智能、数学等等，点个关注吧，持续高质量输出中。
:cherry_blossom:唠嗑QQ群：兔叽的魔术工房 (942848525)
:star:B站账号：杨丝儿今天也在科学修仙（UP主跨站求个关注）

:star2:数据处理概述

数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。当下数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响了人类社会发展的进程。数据处理也是大数据，数据分析等后续科学的基本环节。

:star2:基本概念

数据 ： 能够输入到计算机中并被识别处理的信息集合。

数据存储的发展阶段：

  • 人工管理阶段：人为管理，没有固定的格式和存储方法，容易混乱。
  • 文件管理阶段 ：数据可以长期保存，存储数据量大，使用简单。
  • 数据库管理阶段：高效，可以存储更大量数据，便于管理，更加专业。

:star2:文件处理

:star:概述

文件是保存在持久化存储设备(硬盘、U盘、光盘..)上的一段数据，一个文本，一个py文件，一张图片，视频音频等这些都是文件。主要有以下两种类别：

  • 文本文件：打开后会自动解码为字符，如txt文件，word文件，py程序文件。
  • 二进制文件：内部编码为二进制码，无法通过文字编码解析，如压缩包，音频，视频，图片等。

在python3中引入了 字节串 的概念，与str不同，字节串以字节序列值表达数据，更方便用来处理二进程数据。

字符串与字节串相互转化方法

  • 普通的英文字符字符串常量可以在前面加b转换为字节串，例如：b'hello'
  • 变量或者包含非英文字符的字符串转换为字节串方法 ：str.encode()
  • 字节串转换为字符串方法 : bytes.decode()

注意：python字符串用来表达utf8字符，因为并不是所有二进制内容都可以转化为utf8字符，所以不是所有字节串都能转化为字符串，但是所有字符串都能转化成二进制，所以所有字符串都能转换为字节串。

:star:文件读写操作

使用程序操作文件，无外乎对文件进行读或者写

  • 读 ：即从文件中获取内容
  • 写 ：即修改文件中的内容

对文件实现读写的基本操作步骤为：打开文件，读写文件，关闭文件。

:sparkles:打开文件

功能：打开一个文件，返回一个文件对象。

1
file_object = open(file_name, access_mode='r', buffering=-1，encoding=None)
  • 参数：
    • file_name： 文件名；
    • access_mode： 打开文件的方式,如果不写默认为‘r’
    • buffering： 1表示有行缓冲，默认则表示使用系统默认提供的缓冲机制。
    • encoding：设置打开文件的编码方式，如 ‘UTF-8’。一般Linux下不需要，Windows需要。
  • 返回值：成功返回文件操作对象。

注意：以二进制方式打开文件，读取内容为字节串，写入也需要写入字节串。
小贴士：无论什么文件都可以使用二进制方式打开，但是二进制文件则不能以文本方式打开，否则后续读写会报错。

打开模式 效果
r 以只读方式打开，文件必须存在
w 以只写方式打开，文件不存在则创建，存在清空原有内容
a 以 (只) 追加模式打开，文件不存在则创建，存在则继续进行写操作
r+ 以读写模式打开，文件必须存在
w+ 以读写模式打开文件，不存在则创建，存在清空原有内容
a+ 追加并可读模式，文件不存在则创建，存在则继续进行写操作
rb 以二进制读模式打开 同r
wb 以二进制写模式打开 同w
ab 以二进制追加模式打开 同a
rb+ 以二进制读写模式打开 同r+
wb+ 以二进制读写模式打开 同w+
ab+ 以二进制读写模式打开 同a+ 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
文件打开代码示例：open_file.py

# 读方式打开文件
file = open("../day02/2.txt","r")

# 写方法打开
file = open("file.txt","w") # 清除原来内容
file = open("file.txt","a") # 不会清除原来内容
# 操作文件
···

# 关闭
file.close()

:sparkles:读取文件

  • 方法1

    功能： 来直接读取文件中字符（字符包括换行符和缩进符）。

    1
    read([size])
    • 参数： 如果没有给定size参数（默认值为-1）或者size值为负，文件将被读取直至末尾，给定size最多读取给定数目个字符（字节）。
    • 返回值： 返回读取到的内容。读到文件结尾如果继续进行读操作会返回空字符串，可以根据这个信息判断读取结束。

    注意：文件过大时候不建议直接读取到文件结尾，占用内存较多，效率较低。

  • 方法2

    功能： 用来读取文件中一行。

    1
    readline([size])
    • 参数： 类似read函数。如果没有给定size参数（默认值为-1）或者size值为负，表示读取一行，给定size表示最多读取制定的字符（字节）。
    • 返回值： 返回读取到的内容

  • 方法3

    功能： 读取文件中的每一行作为列表中的一项。

    1
    readlines([sizeint])
    • 参数： 如果没有给定size参数（默认值为-1）或者size值为负，文件将被读取直至末尾，给定size表示读取到size字符所在行为止。
    • 返回值： 返回读取到的内容列表

  • 方法4

    文件对象本身也是一个可迭代对象，在for循环中可以迭代文件的每一行。

    1
    2
    for line in f:
         print(line)

:sparkles:写入文件

  • 方法1

    功能: 把文本数据或二进制数据块的字符串写入到文件中去

    1
    write(data)
    • 参数：要写入的内容
    • 返回值：写入的字符个数

    注意： 所有的格式都需要使用字符添加。例如：需要换行要在写入内容中添加\n。

  • 方法2

    功能：接受一个字符串列表作为参数，将它们写入文件。

    1
    writelines(str_list)
    • 参数: 要写入的内容列表

:sparkles:关闭文件

打开一个文件后我们就可以通过文件对象对文件进行操作了，当操作结束后可以关闭文件操作

1
file_object.close()
  1. 可以销毁对象节省资源，（当然如果不关闭程序结束后对象也会被销毁）。
  2. 防止后面对这个对象的误操作。

:sparkles:with操作

python中的with语句也可以用于访问文件，在语句块结束后会自动释放资源。

1
2
with context_expression [as obj]:
    with-body

with访问文件。语句块结束后会自动释放f所以不再需要close().

1
2
with open('file','r+') as f:
    f.read()

:sparkles:读写缓冲区

  • 定义
    系统自动的在内存中为每一个正在使用的文件开辟一个空间，在对文件读写时都是先将文件内容加载到缓冲区，再进行读写。

  • 作用

    1. 减少和磁盘的交互次数，保护磁盘。
    2. 提高了对文件的读写效率。（次次从硬盘读写，速度太慢了）

  • 缓冲区设置

    类型 设置方法 注意事项
    系统自定义 buffering=-1
    行缓冲 buffering=1 当遇到\n时会刷新缓冲
    指定缓冲区大小 buffering=[>1] 必须以二进制方式打开

  • 刷新缓冲区条件

    1. 缓冲区被写满
    2. 程序执行结束或者文件对象被关闭
    3. 程序中调用flush()函数，主动刷新缓冲区。
    1
    file_obj.flush()

:sparkles:文件偏移量

  • 定义

    打开一个文件进行操作时系统会自动生成一个记录，记录每次读写操作时所处的文件位置，每次文件的读写操作都是从这个位置开始进行的。

    注意：

    1. r或者w方式打开，文件偏移量在文件开始位置
    2. a方式打开，文件偏移量在文件结尾位置

  • 文件偏移量控制

    功能：获取文件偏移量大小

    1
    tell()
    • 返回值：文件偏移量

    功能: 移动文件偏移量位置

    1
    seek(offset [,whence])
    • 参数1：offset 代表相对于基准位置移动的字节数。负数表示向前移动，正数表示向后移动。
    • 参数2：whence 设置基准位置为0/1/2。默认值为 0，代表从文件开头算起。1代表从当前位置算起，2 代表从文件 末尾算起。
      注意：必须以二进制方式打开文件时，基准位置才能是1或者2

:star:os模块

os模块是Python标准库模块，包含了大量的文件处理函数。

  • 获取文件大小 

    1
    2
    3
    4
    os.path.getsize(file)
    功能： 获取文件大小
    参数： 指定文件
    返回值： 文件大小

  • 查看文件列表 

    1
    2
    3
    4
    os.listdir(dir)
    功能： 查看文件列表
    参数： 指定目录
    返回值：目录中的文件名列表

  • 判断文件是否存在

    1
    2
    3
    4
    os.path.exists(file)
    功能： 判断文件是否存在
    参数： 指定文件
    返回值： 布尔值

  • 删除文件 

    1
    2
    3
    os.remove(file)
    功能： 删除文件 
    参数： 指定文件

:star2:正则表达式

:star:概述

  • 学习动机
    1. 文本数据处理已经成为常见的编程工作之一
    2. 对文本内容的搜索，定位，提取是逻辑比较复杂的工作
    3. 为了快速方便的解决上述问题，产生了正则表达式技术
  • 定义
    即文本的高级匹配模式，其本质是由一系列字符和特殊符号构成的字串，这个字串即正则表达式。
  • 原理
    通过普通字符和有特定含义的字符，来组成字符串，用以描述一定的字符串规则，比如：重复，位置等，来表达某类特定的字符串，进而匹配。
  • 学习目标
    1. 熟练掌握正则表达式元字符
    2. 能够读懂常用正则表达式，编辑简单的正则规则
    3. 能够熟练使用re模块操作正则表达式

:star:元字符使用

类别 元字符
匹配字符 . [...] [^...] \d \D \w \W \s \S
匹配重复 * + ? {n} {m,n}
匹配位置 ^ $ \b \B
其他 `

普通字符
匹配规则：每个普通字符匹配其对应的字符

1
2
3
e.g.
In : re.findall('ab',"abcdefabcd")
Out: ['ab', 'ab']

注意：正则表达式在python中也可以匹配中文

或关系
元字符: |
匹配规则: 匹配 | 两侧任意的正则表达式即可

1
2
3
e.g.
In : re.findall('com|cn',"www.baidu.com/www.tmooc.cn")
Out: ['com', 'cn']

匹配单个字符
元字符：.
匹配规则：匹配除换行外的任意一个字符

1
2
3
e.g.
In : re.findall('张.丰',"张三丰,张四丰,张五丰")
Out: ['张三丰', '张四丰', '张五丰']

匹配字符集
元字符： [字符集]
匹配规则: 匹配字符集中的任意一个字符

表达形式
[aeiou你我他] 表示 [] 中的任意一个字符
[0-9],[a-z],[A-Z] 表示区间内的任意一个字符
[_#?0-9a-z] 混合书写，一般区间表达写在后面

1
2
3
e.g.
In : re.findall('[aeiou]',"How are you!")
Out: ['o', 'a', 'e', 'o', 'u']

匹配字符集反集
元字符：[^字符集]
匹配规则：匹配除了字符集以外的任意一个字符

1
2
3
e.g.
In : re.findall('[^0-9]',"Use 007 port")
Out: ['U', 's', 'e', ' ', ' ', 'p', 'o', 'r', 't']

匹配字符重复

元字符: *
匹配规则：匹配前面的字符出现0次或多次

1
2
3
e.g.
In : re.findall('wo*',"wooooo~~w!")
Out: ['wooooo', 'w']

元字符：+
匹配规则： 匹配前面的字符出现1次或多次。且采用贪婪原则，优先返回长的字符串。如果在其后加?则放弃贪婪原则，直接返回最短匹配到的字符串。

1
2
3
e.g.
In : re.findall('[A-Z][a-z]+',"Hello World")
Out: ['Hello', 'World']

元字符：?

匹配规则： 匹配前面的字符出现0次或1次

1
2
3
e.g. 匹配整数
In [28]: re.findall('-?[0-9]+',"Jame,age:18, -26")
Out[28]: ['18', '-26']

元字符：{n}
匹配规则： 匹配前面的字符出现n次

1
2
3
e.g. 匹配手机号码
In : re.findall('1[0-9]{10}',"Jame:13886495728")
Out: ['13886495728']

元字符：{m,n}
匹配规则： 匹配前面的字符出现m到n次。

1
2
3
e.g. 匹配qq号
In : re.findall('[1-9][0-9]{5,10}',"Baron:1259296994") 
Out: ['1259296994']

匹配字符串开始位置
元字符: ^
匹配规则：匹配目标字符串的开头位置

1
2
3
e.g.
In : re.findall('^Jame',"Jame,hello")
Out: ['Jame']

匹配字符串的结束位置
元字符: $
匹配规则: 匹配目标字符串的结尾位置

1
2
3
e.g.
In : re.findall('Jame$',"Hi,Jame")
Out: ['Jame']

规则技巧: ^ 和 $必然出现在正则表达式的开头和结尾处。如果两者同时出现，则中间的部分必须匹配整个目标字符串的全部内容。

匹配任意（非）数字字符
元字符： \d \D
匹配规则：\d 匹配任意数字字符，\D 匹配任意非数字字符

1
2
3
e.g. 匹配端口
In : re.findall('\d{1,5}',"Mysql: 3306, http:80")
Out: ['3306', '80']

匹配任意（非）普通字符
元字符： \w \W
匹配规则: \w 匹配普通字符，\W 匹配非普通字符
说明: 普通字符指数字，字母，下划线，汉字。（可以提取公式里的数字）

1
2
3
e.g.
In : re.findall('\w+',"server_port = 8888")
Out: ['server_port', '8888']

匹配任意（非）空字符
元字符： \s \S
匹配规则: \s匹配空字符，\S 匹配非空字符
说明：空字符指 空格 \r \n \t \v \f 字符

1
2
3
e.g.
In : re.findall('\w+\s+\w+',"hello    world")
Out: ['hello    world']

匹配（非）单词的边界位置
元字符： \b \B
匹配规则： \b 表示单词边界，\B 表示非单词边界
说明：单词边界指数字字母(汉字)下划线与其他字符的交界位置。

1
2
3
e.g.
In : re.findall(r'\bis\b',"This is a test.")
Out: ['is']

注意： 当元字符符号与Python字符串中转义字符冲突的情况则需要使用r将正则表达式字符串声明为原始字符串，如果不确定那些是Python字符串的转义字符，则可以在所有正则表达式前加r。

:star:匹配规则

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 特殊符号匹配
result = re.findall(r'-?\d+\.?\d*',"-5.4 3.28 45 76.3 -21")
print(result)

# 贪婪
result = re.findall("ab+","abbbbbbbbbc")
print(result)
# 非贪婪 （懒惰模式）  + --> +?
result = re.findall("ab+?","abbbbbbbbbc")
print(result)

# 子组
result = re.search("(ab)+","abababab")
result = re.search(r'(?P<xing>王|李)\w{1,3}', "王者荣耀")
print(result.group())  # 获取匹配内容

:sparkles:特殊字符匹配

  • 目的 ： 如果匹配的目标字符串中包含正则表达式特殊字符，则在表达式中元字符就想表示其本身含义时就需要进行转义处理。
  • 特殊字符: . * + ? ^ $ [] () {} | \
  • 操作方法：在正则表达式元字符前加 \ 则元字符就是去其特殊含义，就表示字符本身
1
2
3
e.g. 匹配特殊字符 . 时使用 \. 表示本身含义
In : re.findall('-?\d+\.?\d*',"123,-123,1.23,-1.23")
Out: ['123', '-123', '1.23', '-1.23']

:sparkles:贪婪模式和非贪婪模式

  • 定义

    贪婪模式: 默认情况下，匹配重复的元字符总是尽可能多的向后匹配内容。比如: * + ? {m,n}
    非贪婪模式(懒惰模式): 让匹配重复的元字符尽可能少的向后匹配内容。

  • 贪婪模式转换为非贪婪模式
    在对应的匹配重复的元字符后加 ‘?’ 号即可

    1
    2
    3
    4
    *  ->  *?
    +  ->  +?
    ?  ->  ??
    {m,n} -> {m,n}?
1
2
3
e.g.
In : re.findall(r'\(.+?\)',"(abcd)efgh(higk)")
Out: ['(abcd)', '(higk)']

:sparkles:正则表达式分组

  • 定义
    在正则表达式中，以()建立正则表达式的内部分组，子组是正则表达式的一部分，可以作为内部整体操作对象。
  • 作用 : 可以被作为整体操作，改变元字符的操作对象
    1
    2
    3
    4
    5
    6
    7
    e.g.  改变 +号 重复的对象
    In : re.search(r'(ab)+',"ababababab").group()
    Out: 'ababababab'

    e.g. 改变 |号 操作对象
    In : re.search(r'(王|李)\w{1,3}',"王者荣耀").group()
    Out: '王者荣耀'

捕获组
捕获组本质也是一个子组，只不过拥有一个名称用以表达该子组的意义，这种有名称的子组即为捕获组。
格式：(?P<name>pattern)

1
2
3
e.g. 给子组命名为 "pig"
In : re.search(r'(?P<pig>ab)+',"ababababab").group('pig')
Out: 'ab'

注意事项

  • 一个正则表达式中可以包含多个子组
  • 子组可以嵌套但是不宜结构过于复杂
  • 子组序列号一般从外到内，从左到右计数

分组

:sparkles:正则表达式匹配原则

  1. 正确性,能够正确的匹配出目标字符串.
  2. 排他性,除了目标字符串之外尽可能少的匹配其他内容.
  3. 全面性,尽可能考虑到目标字符串的所有情况,不遗漏.

:star:Python re模块使用

:sparkles:基础函数使用

1
2
3
4
5
re.findall(pattern,string)
功能: 根据正则表达式匹配目标字符串内容
参数: pattern  正则表达式
     string 目标字符串
返回值: 匹配到的内容列表,如果正则表达式有子组则只能获取到子组对应的内容
1
2
3
4
5
6
re.split(pattern,string,max)
功能: 使用正则表达式匹配内容,切割目标字符串
参数: pattern  正则表达式
     string 目标字符串
     max 最多切割几部分
返回值: 切割后的内容列表
1
2
3
4
5
6
7
re.sub(pattern,replace,string,count)
功能: 使用一个字符串替换正则表达式匹配到的内容
参数: pattern  正则表达式
     replace  替换的字符串
     string 目标字符串
     count  最多替换几处,默认替换全部
返回值: 替换后的字符串

:sparkles:生成match对象

1
2
3
4
5
re.finditer(pattern,string)
功能: 根据正则表达式匹配目标字符串内容
参数: pattern  正则表达式
     string 目标字符串
返回值: 匹配结果的**迭代器**
1
2
3
4
5
re.match(pattern,string)
功能：匹配某个目标字符串开始位置
参数：pattern 正则
	   string  目标字符串
返回值：匹配内容match object
1
2
3
4
5
re.search(pattern,string)
功能：匹配目标字符串第一个符合内容
参数：pattern 正则
	   string  目标字符串
返回值：匹配内容match object

:sparkles:match对象使用

  • match.span() 获取匹配内容的起止位置
  • match.group(n = 0)
    功能：获取match对象匹配内容
    参数：默认为0表示获取整个match对象内容，如果是序列号或者组名（捕获组）则表示获取对应子组内容。
    返回值：匹配字符串