本文可以学习到以下内容：
- 用Python、pandas获取sqlite3中的数据
- 用Python、pandas获取MySQL中的数据
- 用Python、pandas获取Excel、csv、json中的数据
数据及源码地址：https://gitee.com/myrensheng/data_analysis
项目背景
小凡所在的数据部门需要经常和各种数据打交道，包括数据库、Excel、csv、json。面对各种各样的数据，小凡总结了一套数据读取的方法。
获取sqlite3中的数据
- sqlite3是一个很轻量级C语言库，可以提供一种基于磁盘的数据库。在浏览器、手机、电子设备中广泛使用。
- 我们可以用SQL语句查询数据，还可以用Python操作sqlite3数据库对数据进行查询。
- 更多详细操作，官网地址：https://docs.python.org/zh-cn/3.9/library/sqlite3.html
sqlite3库获取sqlite数据
import sqlite3
# 创建一个连接对象，连接上上级目录下的 data.db 数据库
conn = sqlite3.connect("../data.db")
# 创建一个游标对象，操作数据库中的数据
c = conn.cursor()
# 执行 SQL 语句查询数据
sql = "select * FROM salesSummary limit 5;"
result = c.execute(sql)
# 查看数据
for r in result:
print(r)
# 数据操作完成后，需要关闭数据库的连接
conn.close()
将此操作封装为函数：
def get_sqlite3_data(sql,db_path="../data.db"):
conn = sqlite3.connect(db_path)
c = conn.cursor()
# 将数据保存到列表中
result = [r for r in c.execute(sql)]
conn.close()
return result
调用函数：
sql = "select * FROM salesSummary limit 5;"
result = get_sqlite3_data(sql)
print(result)
pandas库获取sqlite数据
- pandas读取sqlite3数据需要用到sqlalchemy库
- sqlalchemy官网地址：https://www.osgeo.cn/sqlalchemy/
- pandas的read_sql方法通过sql语言获取数据
import os
import pandas as pd
import numpy as np
from sqlalchemy import create_engine
# 数据库地址：数据库放在上一级目录下
db_path = os.path.join(os.path.dirname(os.getcwd()),"data.db")
engine_path = "sqlite:///"+db_path
# 获取数据函数，根据输入的SQL语句返回 DataFrame 类型数据
def link_sqlite(sql):
engine = create_engine(engine_path)
df = pd.read_sql(sql,con=engine)
return df
sql = "select * from salesSummary"
df = link_sqlite(sql)
# 查看数据前5条数据
df.head()
获取MySQL中的数据
- MySQL是个人和中小型企业常用的关系型数据库
- 体积小、速度快、成本低，开放源码
- python读取没有MySQL需要安装 pymysql 第三方库
pip install pymysql
pymsql库获取MySQL数据
import pymysql
host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"
conn = pymysql.connect(
host=host,
port=port,
user=user,
password=password,
database=database
)
cursor = conn.cursor()
sql = "select * from country limit 5;"
cursor.execute(sql)
cursor.fetchone()
conn.close()
将此操作封装为函数使用：
import pymysql
host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"
def get_mysql_data(sql):
conn = pymysql.connect(host=host,port=port,user=user,password=password,database=database)
cursor = conn.cursor()
cursor.execute(sql)
result = [r for r in cursor.fetchall()]
conn.close()
return result
pandas库获取mysql数据
- 官方文档：https://docs.sqlalchemy.org/en/20/intro.html
- 需要先安装 SQLAlchemy和pymysql第三方库
from sqlalchemy import create_engine
# 当密码中有特殊符合时：@!@#$%^&*(),需要处理一下
from urllib.parse import quote_plus as urlquote
host = "127.0.0.1"
port=3306
user="user"
password="password"
database="database"
url = f"mysql+pymysql://{user}:{urlquote(password)}@{host}:{port}/{database}"
engine = create_engine(url=url)
sql = "select * from country limit 5;"
df = pd.read_sql(sql,con=engine)
获取Excel中的数据
- Excel是一款电子表格软件，出色的计算功能和图表工具
- Python获取Excel数据需要安装 xlrd 库
- 文档地址：https://xlrd.readthedocs.io/en/latest/
pip install xlrd
xlrd库获取Excel数据
import xlrd
# 打开指定的Excel文件
workbook = xlrd.open_workbook("../数据源/省市区adcode与经纬度映射表.xlsx")
# Excel文件中的工作薄数量
sheet_num = workbook.nsheets
# Excel 文件中工作薄名字
sheet_name = workbook.sheet_names()
# 打开第一个工作簿
sheet = workbook.sheet_by_index(0)
# 工作薄名字
sh_name = sheet.name
# 工作簿行数
sh_rows = sheet.nrows
# 工作簿列数
sh_cols = sheet.nclos
# 获取指定单元格的数据
cell = sheet.cell_value(rowx=29,colx=3)
# 获取一行数据
row_value = sheet.row(0)
# 获取一列数据
col_value = sheet.col(0)
print(sheet_name,sh_name,sh_rows,sh_cols,cell,row_value)
print(col_value)
pandas库获取Excel数据
- pandas使用read_excel方法获取Excel数据
import numpy as np
import pandas as pd
df= pd.read_excel("../数据源/省市区adcode与经纬度映射表.xlsx")
df.head()
获取csv中的数据
- csv以纯文本形式存储表格数据，已字符分割不同值
- CSV是一种通用的、相对简单的文件格式，被用户、商业和科学广泛应用
- Python内置的csv模块可以读取csv数据
csv库读取csv数据
import csv
with open("../数据源/sale.csv",encoding="gbk") as f:
f_csv = csv.reader(f)
header = next(f_csv)
print(header)
for r in f_csv:
print(r)
pandas读取csv数据
- pandas的read_csv方法获取数据
import numpy as np
import pandas as pd
df= pd.read_csv("../数据源/earphone_sentiment.csv")
获取json中的数据
- json是一种轻量级的数据交换格式
- 简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言
- Python内置的json模块可以读取csv数据
json库读取json数据
import json
with open("../数据源/商品销售额.json") as f:
json_data = json.load(f)
print(json_data)
pandas读取json数据
- pandas中的read_json方法获取数据
import numpy as np
import pandas as pd
df = pd.read_json("../数据源/商品销售额.json")
总结
数据获取是数据分析的基础，小凡总结的只是常用代码中的一小部分，数据分析的道路任重道远...
