|
Post by account_disabled on Feb 12, 2024 3:10:10 GMT -6
数据划分与比例以及使用时机等方面均有不同之处。 1. 目的与功能不同 训练集、测试集、验证集这三者的目的和功能不同。训练集主要用于训练模型,验证集主要用于在训练过程中选择模型和调整超参数,测试集则用来最终评估模型的性能。 【训练集】:训练模型 训练集用于模型训练,帮助模型确定权重和偏置等参数,模型通过深入学习和理解训练集中的数据,逐渐学会识别其中的模式和规律,并逐步优化其预测能力。 这就像是人类在学习语言和知识,一步步建立起自己的认知体系。 “九层之台,起于累土。”没有良好的训练集,模型就像是失去了根基的大树,无法稳固地生长和扩展。 B 端产品经理如何快速成长? 产品与业务架构主要是将整个业务工作流进行分层,梳理,然后抽象出一个个需求,将业务需求与产品合情合理的映射起来,最终使业务数据在产品中流动,执行,记录,使用。 查看详情 > 因此,我们需要精心准备和挑选训练集,确保它具有代表性和高质量,这样模型才能更好地理解和适应真实世界的变化。 【验证集】:选择和调参 验证集用于模型选择和超参数调整。 它不参与学习参数的确定,主要帮助我们在众多可能性中,找到那些能够使模型性能达到巅峰的超参数,如网络层数、网络节点数、迭代次数、学习率等。 它有点像是幕后的智囊团,默默地为挑选最优模型超参数提供优质的咨询和建议。 验证集让我们 新加坡电报号码 能够在实战之前,就预知模型的性能,从而做出最佳的选择。这种前瞻性的策略,不仅能够提高模型的效率,更能够节省宝贵的时间和资源。 【测试集】:评估性能 测试集用于评估模型的最终性能,是考验模型的最后一关。它不参与模型的学习参数过程,也不介入超参数的选择,它的存在,就是为了对模型的最终性能(即泛化能力)做出公正的评价。 如果把自己想象成一个AI大模型,有没有觉得测试集有点像古代的科举考试,或者是当今的高考,是对自己所学知识的一次全面检验。 “真金不怕火炼”,测试集就是那炼金的火焰,一个AI模型只有通过了它的考验,才能真正称得上是具备良好泛化能力的模型。 2. 数据交互频率不同 训练集、测试集、验证集这三者和模型的数据交互频率不同。训练集会不断交互,验证集是定期交互,而测试集只交互一次。 【训练集】:不断交互 使用训练集时,模型在训练阶段不断与训练集交互,通过多次地学习、调整和迭代来提高性能。它是在训练集的多次反馈中完成优化的。 这让我想到“熟能生巧”这个词,在训练集中,模型就像是一位手艺人在反复锤炼自己的技艺,通过一次次的迭代优化,逐步提升自己的工艺水平。 【验证集】:定期交互 验证集在训练过程中的不同时间点交互,帮助开发人员调整模型参数和决定训练的结束点。它在训练过程中的每一个关键时刻出现,为开发人员提供宝贵的反馈和指引,帮助开发人员调整模型的超参数。 所以,模型并不会在验证集中反复训练。和训练集中的情况不一样,模型只会定期和验证集进行数据交互,验证集的每一次反馈,都是对模型的一次重要检验,所获得的数据评估指标,也是优化AI性能的重要依据。 【测试集】:交互一次 测试集在整个训练过程完成后只交互一次,用于模型的最终评估。就像是那最后一场决定胜负的较量,只有在整个训练过程圆满完成后,它才会出现。 正因为只有一次,所以才倍感珍惜,测试集是模型的最后一道关卡,通过了,它就“出师”了,可以“下山”去江湖中见世面,接受真实世界的考验了。
|
|