在Pandas中,如果你想要在写入Excel文件后继续追加更多的DataFrame数据,可以使用ExcelWriter
对象的mode='a'
(追加模式)选项。这允许你打开现有的Excel文件,并在不覆盖现有数据的情况下写入新的数据。
- 使用ExcelWriter的追加模式(mode='a')来写入数据。
with pd.ExcelWriter('文章列表.xlsx', engine='openpyxl', mode='a') as writer:
parse_and_save_data(base_url, headers, context, writer)
- 使用writer.sheets.keys().len()动态生成sheet名称。
# 将DataFrame写入Excel,每次追加到新的sheet中
df.to_excel(writer, sheet_name=f'Sheet{writer.sheets.keys().__len__()}', index=False)
print(f'数据已保存到Excel文件的 "Sheet{writer.sheets.keys().__len__() - 1}"')
以下是如何使用ExcelWriter
以追加模式写入Excel文件的示例:
import pandas as pd
# 假设df1和df2是你要写入的两个DataFrame
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [5, 6], 'B': [7, 8]})
# 写入第一个DataFrame到Excel
with pd.ExcelWriter('data.xlsx', engine='openpyxl', mode='w') as writer:
df1.to_excel(writer, index=False)
# 追加第二个DataFrame到Excel的新的sheet
with pd.ExcelWriter('data.xlsx', engine='openpyxl', mode='a') as writer:
df2.to_excel(writer, sheet_name='Sheet2', index=False)
在这个例子中:
- 第一次使用
ExcelWriter
时,mode='w'
表示写入模式,如果文件已存在,它会被覆盖。 - 第二次使用
ExcelWriter
时,mode='a'
表示追加模式,df2
将被写入Excel文件的新工作表(sheet)中,而不是覆盖原有数据。
请注意以下几点:
- 确保你使用的是
openpyxl
引擎,因为xlsxwriter
不支持追加写入。 - 在追加模式下,如果指定的工作表已经存在,新的DataFrame将会写入到该工作表的下一行开始的位置。如果工作表不存在,将会创建一个新的工作表。
- 如果Excel文件是首次创建,使用
mode='w'
;如果文件已存在并且你想要追加数据,使用mode='a'
。 - 如果你想要在追加数据时跳过已存在的数据,可以在
to_excel
方法中设置参数if_sheet_exists='new'
。这将导致Pandas在指定的工作表存在时创建一个新的工作表。
使用追加模式是一种节省内存的有效方法,特别是当你需要分批次处理和写入大量数据时。