数据预处理~初探python-csv库
近期,笔者到一些数据竞赛网站进行观察学习,发现很多数据是以csv文件处理的(废话).因而,磨刀不误砍柴工,笔者先对Python的csv库进行学习.
csv模块实现了CSV格式表单数据的读写.这可以以一个兼容Excel的方式读写其数据文件,csv模块中的reader和writer类被用来读写序列化的数据.也可以使用DictReader类和DictWriter类以字典的方式读取数据.
函数
csv.reader(csvfile,dialect='excel,fmtparams)**
返回一个reader对象,该对象逐行遍历csvfile(文件和列表均适用,但是文件的话应该newline=''.
默认每一行读取一个字符串组成的列表(而非数值,除非修改QUOTE_NONUMERIC).
import csv
with open("xxx.csv",newline='')as csvf:
rows = csv.reader(csvf)
for row in rows:
print(row)
csv.writer(csvfile,dialect='excel,fmtparams)**
返回一个writer对象,负责将数据在给定的文件类对象上转换成带分隔符的字符串.csvfile(只要该对象有write()方法,文件的话应该newline=''.)
import csv
with open("xxx.csv",newline='')as csvf:
swriter = csv.writer(csvf)
swriter.write('CCF')
csv.register_dialect(name[,dialect[,fmtparams]])**
csv.unregister_dialect(name)
这两个方法可以把name字符串和dialect关联/脱钩.dialect可以是Dialect的子类,或者fmtparams的关键字参数.
csv.get_dialect(name)
返回一个Dialect对象为name的变种,若其未注册,抛出Error.
csv.list_dialects()
返回已经注册的所有变种的名称
csv.field_size_limit([new_limit])
返回当前解析器允许的最大字段大小,如果制定了参数,参数将成为新的最大字段大小.
类
class csv.DictReader(f,fieldnames=None,restkey=None,restval=None,dialect='excel',*args,**kwds)
该对象操作上类似reader,但是把每行中的信息映射到一个字典,字典的键由fieldnames给出
fieldname的参数是一个序列sequence[1],如果参数缺省,默认第一行的值作为字段名.
如果某一行中的字段多于字段名(比如说约定有5项属性,但是这一行却出现了6个数据)，则其余字段将放入列表中，字段名由 restkey 指定（默认为 None）。如果非空白行的字段少于字段名，则缺少的值将用 None 填充。
#其实这玩意应该就跟各种填表里面的备注用法差不多.
3.8中返回的行是dict类型.
import csv
with open('xxx.csv',newline='')as csvf:
reader = csv.DicReader(csvf)
for row in reader:
print(row)
**class csv.DictWriter(f, fieldnames, restval='', extrasaction='raise', dialect='excel', *args, kwds)
该对象操作上类似reader,但是把每行中的信息映射到一个字典,字典的键由fieldnames给出,fieldname参数是不可缺省的.restval用来指定字典缺少键的时候要写入的值.extrasaction用于指定关键键在fieldname中找不到的情况的处理机制.'raise'引发ValueError,而'ignore'则会被忽略.
import csv
with open('xxx.csv', 'w', newline='') as csvf:
fieldnames = ['first', 'second']
writer = csv.DictWriter(csvf, fieldnames=fieldnames)
writer.writeheader()
writer.writerow({'first': 'A', 'last': 'L'})
class csv.Sniffer
这个类被用来瑞段csv文件的格式
- sniff(sample,delimiters=None)
分析sample并且返回一个Dialect的子类包含分析出的格式参数.delimiters参数会被解释为包含了可能的有效定界符的字符串. - has_header(sample)
分析sample并且分析第一行有没有可能是列标题.
class csv.Dialect
以下诸类均在括号中标注了在其变种注册表中的名称
class csv.excel
定义了Excel生成的csv文件的常规属性.('excel')
class csv.excel_tab
定义了Excel生成的,tab分割的csv文件的常规属
性.('excel-tab')
class csv.unix_dialect
定义了UNIX系统上生成的csv文件的常规属性('unix'):
- 使用'\n'作为换行符
- 所有字段都有引号包围
常量:
csv.QUOTE_ALL
- 让writer对象给所有字段加引号
csv.QUOTE_MINIMAL
- 让writer只对包含了特殊字符(定界\引号\换行)的字段加引号
QUOTE_NONNUMERIC
- 让writer为所有非数字字段加引号
- 让reader把所有未显式指定的(未用引号引出)串的转成float
QUOTE_NONE
- 指示 writer 对象引出字段不使用引号。当定界符 出现在输出数据中时，其前面应该有转义符。如果未设置转义符，则遇到任何需要转义的字符时，writer 都会抛出 Error 异常。
- 指示 reader 不对引号字符进行特殊处理。
异常
exception csv.Error
任意可能发生的csv库函数错误.
参考链接
Python3.8.2文档中关于csv库的相关文档
-
sequence是tuple和list的合称,tuple()不可变更元素而list[]可以调整元素. ↩
