前面写过用python的pandas模块处理csv表，得到想要的统计结果并用excel不同sheet进行展示。当时处理的CSV是每日的信息表，为了有个纵向的比较，我想把所有信息表（例如整个周或者整月）汇总起来，然后得到每周或者每月的一个统计信息。那第一步我们就将所有的信息表都写入数据库吧，后期只要按照日期列就可以取出不同时间断的所有信息了。思路如下：
- 创建数据库；
- 创建数据表；
- 处理每个文件的文件名得到时间参数，这个参数后面会写入数据表；
- 向数据表中逐条插入数据；
- 提交命令并关闭
因为当前路径下有很多个csv文件，所以我们定义了一个get_all_csv_name函数，该函数主要作用就是提取当前路径下的所有csv文件。当然下次执行时，我们肯定不想重复写入数据到数据库，所以我们又定义了一个wjj.txt文件用于存放所有已经写入数据库的csv文件名。如下图：
无标题2.png
# -*- encoding=UTF-8 -*-
__author__ = 'wjj1982'
__date__ = '2019/8/24 12:02'
__product__ = 'PyCharm'
__filename__ = '每日当前告警写入数据库'
import sqlite3
import os
import pandas as pd
# 读txt文件，这个txt里面存的上次写入数据库的所有文件名
def read_txt(filename):
if os.path.exists(filename):
rf = open(filename, 'r')
rf_content = rf.read()
rf.close()
return rf_content
else:
return []
# 程序运行的最后把本次写入数据库的所有csv文件名 写入txt文件，防止下次重复写入
def write_txt(filename, filename_list):
wf = open(filename, 'a')
for i in filename_list:
wf.write(i + '\n')
wf.close()
# 用os.walk模块获取当前路径下所有csv文件名，为了后续的逐个csv文件处理做准备。
def get_all_csv_name(path, filename_txt):
rf_content = read_txt(filename_txt)
filename_list = []
for folderName, subfolders, filenames in os.walk(path):
for file_name in filenames:
if '.csv' in file_name and file_name not in rf_content:
filename_list.append(file_name)
return filename_list
# 定义数据表
def FM_table(conn):
conn.execute("""CREATE TABLE IF NOT EXISTS FMTable (
'告警日期' TEXT NOT NULL,
'网元北向标识' TEXT,
'网元' TEXT,
'告警码名称' TEXT,
'发生时间' TEXT,
'告警原因' TEXT,
'位置' TEXT)""")
conn.commit()
def handle_filename_get_date(filename):
# 提取年月日有两种写法，第一种用for循环，第二种用匿名函数
# 方法1：
# ymd_list = []
# for i in range(3):
# ymd_list.append(filename.split('_')[2].split('-')[i])
# 方法2：
ymd_list = [filename.split('_')[2].split('-')[i] for i in range(3)]
return '-'.join(ymd_list)
def read_csv_rb(filename):
# 直接read_csv读取会报错，所以就增加了一步open来规避，注意：open后面一定要跟一个close
filename = open(filename, 'rb')
pd_csv = pd.read_csv(filename)
filename.close()
return pd_csv
def main():
"""1.定义数据库和数据表；2.处理文件名得到时间参数；3.读取当前告警csv表；4.逐条写入数据库"""
# 定义变量
path = 'E:\python\python-code\数据库操作\每日当前告警写入数据库'
txt_name = 'wjj.txt'
filename_list = get_all_csv_name(path, txt_name)
db_name = 'current_FM_chengdian.db'
# 1.(1)连接数据库，如果不存在会新建该数据库
conn = sqlite3.connect(db_name)
# 1.(2)调用建表函数，新建FM表
FM_table(conn)
for filename in filename_list:
# 2.处理文件名得到时间参数
FM_table_date = handle_filename_get_date(filename)
# 3.读取当前告警csv表
pd_csv = read_csv_rb(filename)
# 4.逐条写入数据库
for index in range(pd_csv.shape[0]):
if '网元北向标志' in pd_csv.columns:
me_id = pd_csv.iloc[index]['网元北向标志']
else:
me_id = pd_csv.iloc[index]['网元北向标识']
# 所有数据具备有，统一添加当前告警表
conn.execute(
"INSERT INTO FMTable(告警日期,网元北向标识,网元,告警码名称,发生时间,告警原因,位置) VALUES(?,?,?,?,?,?,?)",
(FM_table_date, me_id, pd_csv.iloc[index]['网元'], pd_csv.iloc[index]['告警码名称'],
pd_csv.iloc[index]['发生时间'], pd_csv.iloc[index]['告警原因'], pd_csv.iloc[index]['位置']))
print("insert {} to {} successfully!".format(filename, db_name))
# 最后提交插入命令，然后关闭数据库
conn.commit()
conn.close()
write_txt(txt_name, filename_list)
if __name__ == '__main__':
main()
最终执行结果如下：
无标题.png
查看数据库结果如下（信息安全的原因，我把涉及客户的信息擦掉了哈）：
无标题3.png
