LoRA（Low-Rank Adaptation）是一种用于大模型微调的方法，其核心思想是通过引入低秩矩阵来调整模型的权重，以降低微调时的参数量和计算复杂度。
- 权重分解：在微调过程中，不直接更新模型的所有权重，而是通过将权重矩阵 W 分解为两个低秩矩阵 A 和 B 的乘积，来实现参数的更新：W′=W+ΔW=W+A⋅B
- 只训练低秩矩阵：在训练时，仅更新 A 和 B，而保持原始权重 W 不变。这种方法显著减少了需要更新的参数数量。
- 适用性：LoRA 可以应用于各种模型架构中，尤其是在 Transformer 模型中，可以在每个层添加低秩适应。
pytorch实现：
import torch
import torch.nn as nn
class LoRA(nn.Module):
def __init__(self, original_weight: torch.Tensor, r: int):
super(LoRA, self).__init__()
self.original_weight = original_weight
self.k, self.d = original_weight.shape
self.r = r
# Low-rank matrices A and B
self.A = nn.Parameter(torch.randn(self.k, r))
self.B = nn.Parameter(torch.randn(r, self.d))
def forward(self):
# Compute the adapted weight
adapted_weight = self.original_weight + self.A @ self.B
return adapted_weight
# 示例：初始化一个 k*d 维的权重矩阵
k, d, r = 100, 200, 10
original_weight = torch.randn(k, d)
# 创建 LoRA 模块
lora_model = LoRA(original_weight, r)
# 使用适应的权重
adapted_weight = lora_model.forward()
print(adapted_weight.shape) # 应该是 (k, d)
LoRA需要权重矩阵w本身是低秩的吗？
LoRA 并不要求原始权重矩阵W本身是低秩的。它的主要思想是在微调过程中通过引入低秩矩阵 A 和 B 来有效地调整权重。即使 W 是全秩的，LoRA 仍然可以通过学习低秩矩阵来捕捉重要的特征，从而实现有效的模型微调。
-
使用低秩适应的优点在于：
- 参数效率：引入的低秩矩阵显著减少了需要更新的参数数量，尤其是在处理大型模型时。
- 计算效率：由于只更新少量参数，训练过程变得更加高效。
总结来说，LoRA 的设计使其适用于各种权重矩阵，无论它们是否是低秩的。在实际应用中，LoRA 可以为大规模模型的微调提供更好的灵活性和效率。
