LLM大模型的fine-tune如何避免过拟合？

数据集小，可不fine-tune。有高质量领域数据，用传统模型效果更好。LLM微调时，若高质量数据不足，fine-tune结果得失不均。不受成本限制，用大模型领域微调可自我满足和迷惑领导。商业应用任重且道远。典型灾难遗忘问题，原任务网络训练好后，新任务训练后效果崩溃。需综合考虑数据集、模型和训练策略，取得最佳结果。