大模型微调
# 大模型微调
# 介绍
Fine-tuning是一种在自然语言处理（NLP）中使用的技术，用于将预训练的语言模型适应于特定任务或领域。Fine-tuning的基本思想是采用已经在大量文本上进行训练的预训练语言模型，然后在小规模的任务特定文本上继续训练它。
参数高效的fine-tuning（parameter-efficient fine-tuning），简称PEFT，旨在在尽可能减少所需的参数和计算资源的情况下，实现对预训练语言模型的有效微调。它是自然语言处理（NLP）中一组用于将预训练语言模型适应特定任务的方法，其所需参数和计算资源比传统的fine-tuning方法更少。这些参数可能是现有模型参数的子集或新添加的一组参数。
prompt-tuning是一种更近期的精调预训练语言模型的方法，重点是调整输入提示（input prompt）而非修改模型参数。这意味着预训练模型保持不变，只有输入提示被修改以适应下游的任务。通过设计和优化一组提示，可以使预训练模型执行特定任务。
# 背景介绍
# 参考资料
大模型参数高效微调技术原理综述（一）-背景、参数高效微调简介 (qq.com) (opens new window)
# 相关工作
# BitFit（2022 ACL）
BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
BitFit是一种稀疏的微调方法，它训练时只更新bias的参数或者部分bias参数。
对于Transformer模型而言，冻结大部分 transformer-encoder 参数，只更新bias参数跟特定任务的分类层参数。涉及到的bias参数有attention模块中计算query,key,value跟合并多个attention结果时涉及到的bias，MLP层中的bias，Layernormalization层的bias参数。
# Prefix-Tuning（2021）
Prefix-Tuning: Optimizing Continuous Prompts for Generation
Prefix Tuning提出固定预训练LM，为LM添加可训练，任务特定的前缀，这样就可以为不同任务保存不同的前缀，微调成本也小；同时，这种Prefix实际就是连续可微的Virtual Token（Soft Prompt/Continuous Prompt），相比离散的Token，更好优化，效果更好。
# Prompt Tuning（2021 EMNLP）
The Power of Scale for Parameter-Efficient Prompt Tuning
该方法可以看作是Prefix Tuning的简化版本。它给每个任务定义了自己的Prompt，然后拼接到数据上作为输入，但只在输入层加入prompt tokens，并且不需要加入 MLP 进行调整来解决难训练的问题。
# P-Tuning（2021）
GPT Understands, Too
相比Prefix Tuning，P-Tuning加入的可微的virtual token，但仅限于输入层，没有在每一层都加；另外，virtual token的位置也不一定是前缀，插入的位置是可选的。这里的出发点实际是把传统人工设计模版中的真实token替换成可微的virtual token。
# P-Tuning V2（2022 ACL）
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks