记一次小模型微调/蒸馏学习(Qwen3-0.6B 从收货地址中提取结构化信息)
无意间，看见阿里云提供了针对 Qwen3-0.6B 的蒸馏教程，本文章本质上是跟着阿里云提供的教程学习微调过程，官方教程地址。 借用下阿里云教程的介绍： 大参数模型效果好，但成本高、响应慢。为了在保障效果的同时提升推理速度、降低成本，可首先借助大参数模型完成目标任务的数据生成，并使用这些数据微调小参数模型，使其在特定任务中达到接近大参数模型的表现，这一过程也被称为模型蒸馏。 本方案将以从一句话中提取结构化信息（如收件人、地址、电话）为例，演示如何通过模型蒸馏，让 Qwen3-0.6B 模型在此任务上达到大参数模型的表现。 ...