使用Hugging Face的Transformers库来下载预训练模型bert模型时。以下是下载和使用该模型的示例代码:
from transformers import BertTokenizer, BertModel
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')
这将自动下载预训练模型bert-base-chinese并创建一个BertTokenizer和BertModel对象,您可以使用它们来进行文本编码和模型推理。
这一切的前提,建立在开发机是可以联网的
当机器无法联网时,读取预训练模型会失败,此时需要我们在能上网的地方下载模型文件,上传开发机。然后从本地缓存中加载模型。
方法如下
首先进入hugging face,找到自己想要下载的模型,点击下载对应的文件。针对pytorch模型,需要下载以下文件,下载后新建一个文件夹bert-base-chinese,将这些文件放入,一并上传开发机。
修改读取预训练模型代码如下,即可正常运行。
config = BertConfig.from_json_file("bert-base-chinese/config.json")
model = BertModel.from_pretrained("bert-base-chinese/pytorch_model.bin", config=config)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese/') ##注意此处为本地文件夹