科技银狐
01 前言
前段时间分享了华为NETCONF结合协程gevent，在大规模数据中心自动化批量操作的方法，不过我忽略了两个问题，一个是协程gevent的加入会让排错难度大幅提升，导致很多小伙伴自己应用时无限掉坑被逼疯，第二是gevent在windows环境下总会出现莫名其妙的问题，而很多使用者对linux又不算熟悉，最终导致很多人使用gevent并不顺利。
秉着简单易用的原则，我重新研究了下nornir这个专为网络而生的模块，个人感觉3000台以下网络设备的简单跑批操作使用nr就可以了。相比于ansible来说这个模块在效率和灵活性上都有质的飞跃，相比协程+api的方式又简单了许多，相比单独的netmiko模块又有更多的优化。所以中小规模企业推荐直接使用nornir。nornir的基础知识王印老师（知乎@弈心）已经做过介绍，华为安装的一些坑朱嘉盛老师也介绍过，这些内容直接在知乎搜索即可，我就不重复介绍了。
虽然nr模块确实非常好用，但从实践的角度我发现一个问题，就是从现有的资料来看并不适合大规模跑批操作，因为网上分享的内容（包括官方案例）都有一个问题，就是nr模块强依赖hosts.yaml这个文件，但没人强调如何大批量导入资产信息到这个yaml文件内，如果你有1000台设备，按照yaml格式一个一个输入到yaml文件里手都要断了，所以我手写了一个自动生成hosts.yaml+nr跑批的py脚本，这样在大规模场景下更加实用。
02 实现逻辑
- 简化hosts.yaml内部配置，只保存设备名称和IP地址（yaml内的hostname），用户名、密码、platform全放在defaults.yaml中，不使用group.yaml（想使用也可以，因为我这个内容主要是HUAWEI，没有第二个厂商，所以不需要）。
config.yaml
---
inventory:
plugin: SimpleInventory
options:
host_file: "hosts.yaml"
defaults_file: "defaults.yaml"
runner:
plugin: threaded
options:
num_workers: 20
defaults.yaml
---
username: user
password: pass
platform: huawei_vrpv8
- 读取excel内容（excel内容如下：），形成dict，在用dict专为yaml文件，生成hosts.yaml，再使用nornir进行跑批操作。
03 代码示例
#!/usr/bin/env python
#coding: utf-8
import os
from pprint import pprint
from ruamel import yaml
#ruamel.yaml用来读写yaml文件
from openpyxl import Workbook
from openpyxl import load_workbook
from collections import defaultdict
#使用defaultdict必须导入
from nornir import InitNornir
from nornir_netmiko import netmiko_send_command
from nornir_utils.plugins.functions import print_result,print_title
def read_device_excel():
current_path = os.path.abspath(".")
devices_filename = current_path + "/info02.xlsx"
wb1 = load_workbook(devices_filename)
ws1 = wb1.get_sheet_by_name("device list")
device_dict = defaultdict(dict)
for cow_num in range(2,ws1.max_row+1):
device_dict[ws1["a"+str(cow_num)].value.strip()]["hostname"]=ws1["b"+str(cow_num)].value.strip()
return (dict(device_dict))
def dict_to_yaml(yaml_file):
device_dict = read_device_excel()
with open(yaml_file, 'w', encoding='utf-8') as file:
file.write("---\\n")
yaml.dump(device_dict, file, Dumper=yaml.RoundTripDumper)
def main():
current_path = os.path.abspath(".")
yaml_path = os.path.join(current_path, "hosts.yaml")
dict_to_yaml(yaml_path)
nr = InitNornir(config_file="config.yaml", dry_run=True)
results = nr.run(netmiko_send_command, command_string='disp ver')
print_result(results)
#===========================================================
# 读取excel内容自动生成hosts.yaml文件，再使用nr进行跑批操作
#===========================================================
if __name__ == '__main__':
main()
执行结果（示例我就执行了1台）
netmiko_send_command************************************************************
* SHM-RO4-POD2-1 ** changed : False ********************************************
vvvv netmiko_send_command ** changed : False vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv INFO
Huawei Versatile Routing Platform Software
VRP (R) software, Version 8.150 (CE6851HI V200R002C50SPC018T)
Copyright (C) 2012-2017 Huawei Technologies Co., Ltd.
HUAWEI CE6851-48S6Q-HI uptime is 1476 days, 2 hours, 26 minutes
CE6851-48S6Q-HI(Master) 1 : uptime is 1476 days, 2 hours, 25 minutes
StartupTime 2017/06/09 14:44:20
Memory Size : 2048 M bytes
Flash Size : 1024 M bytes
CE6851-48S6Q-HI version information
1\. PCB Version : CEM48S6QP04 VER B
2\. MAB Version : 1
3\. Board Type : CE6851-48S6Q-HI
4\. CPLD1 Version : 103
5\. CPLD2 Version : 103
6\. BIOS Version : 383
^^^^ END netmiko_send_command ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
04 代码详解
def read_device_excel():
current_path = os.path.abspath(".")
devices_filename = current_path + "/info02.xlsx"
wb1 = load_workbook(devices_filename)
ws1 = wb1.get_sheet_by_name("device list")
device_dict = defaultdict(dict)
for cow_num in range(2,ws1.max_row+1):
device_dict[ws1["a"+str(cow_num)].value.strip()]["hostname"]=ws1["b"+str(cow_num)].value.strip()
return (dict(device_dict))
看过我分享的都比较熟悉上面的代码了，就不做介绍了，主要说下defaultdict(dict)，这个可以用作嵌套dict，比如要根据已知内容生成{'SHM-RO4-POD2-1': {'hostname': '10.13.0.224'}}，那我们就用for循环遍历excel内容，然后以A列为key，hostname:B列内容作为value，生成嵌套dict。
def dict_to_yaml(yaml_file):
device_dict = read_device_excel()
with open(yaml_file, 'w', encoding='utf-8') as file:
file.write("---\\n")
yaml.dump(device_dict, file, Dumper=yaml.RoundTripDumper)
使用yaml.dump()方法将dict内容以标准yaml格式写入hosts.yaml文件，注意需要加参数Dumper=yaml.RoundTripDumper。
生成的hosts.yaml
---
SHM-RO4-POD2-1:
hostname: 10.13.0.224
SHM-RO4-POD2-2:
hostname: 10.13.0.225
SHM-RO4-POD2-3:
hostname: 10.13.0.226
SHM-RO4-POD2-4:
hostname: 10.13.0.227
def main():
current_path = os.path.abspath(".")
yaml_path = os.path.join(current_path, "hosts.yaml")
dict_to_yaml(yaml_path)
nr = InitNornir(config_file="config.yaml", dry_run=True)
results = nr.run(netmiko_send_command, command_string='disp ver')
# results = nr.run(task=napalm_get, getters=["facts"]) #napalm API不好用
print_result(results)
主函数很简单，调用生成yaml文件的方法，然后使用Nornir进行跑批操作。
