Adapter是什么?Adapter在NLP中的用途是什么,能带来哪些好处?
adapter出现背景adapter原理adapter效果Referenceadapter出现背景自从bert出现以来,全模型微调(Fine-Tune)可以在下游任务中充分利用 预训练数据中包含的知识,逐步在下游任务中占据主流。但是Fine-Tune的显存需求太高, 因此寻求更经济的微调方式。Houlsby N等人将Adapter引入NLP领域,作为全模型微调的一种替代方案。adapter原理adapter通过向原始transformer layer 增加新的 Adpater 模块的方式,增加