LLM大模型的fine-tune如何避免过拟合？

数据集小，可不fine-tune。有高质量领域数据，用传统模型效果更好。LLM微调时，若高质量数据不足，fine-tune结果得失不均。不受成本限制，用大模型领域微调可自我满足和迷惑领导。商业应用任重且道远。典型灾难遗忘问题，原任务网络训练好后，新任务训练后效果崩溃。需综合考虑数据集、模型和训练策略，取得最佳结果。

阅读全文 → 2023-07-03

济南超算中心能给齐工大的计算机专业硕士带来多大的优势和平台？

济南超算中心作为一个高性能计算平台，可以给齐工大的计算机专业硕士带来以下优势其中包括强大的计算能力，丰富的软件和工具支持，学术交流与合作机会和实践机会和科研项目支持。

阅读全文 → 2023-06-30

在大模型时代，学习GPU并行计算与学习深度学习算法相比，哪个应该放在更重要的位置上？

在大模型时代，学习深度学习算法应该放在更重要的位置上。

GPU并行计算是在深度学习训练过程中的一种优化技术，可以加速模型的训练和推理过程。深度学习算法的理解和运用对于构建高效且准确的模型更加关键。掌握深度学习算法可以让你理解模型的原理、选择适当的模型结构、调整超参数等等，这些都是构建一个有效模型所必需的技能。

GPU并行计算技术已经非常成熟，大部分深度学习框架（如TensorFlow、PyTorch等）已经内置了对GPU的支持，使用GPU进行并行计算变得非常容易。因此，虽然了解GPU并行计算可

阅读全文 → 2023-06-30

ChatGPT后NLP工程师的竞争力是啥？

对于开放域这一块对话，ChatGPT这些模型的确做的挺好了，但是对于垂域，ChatGPT相关模型目前的性能达到使用级别还是有比较多的问题。下面将从研究和应用的角度来分析。

研究层面：

（1）如何解决知识的记忆和存储。目前采用的知识的记忆和存储是基于历史对话数据的向量化存储，这种方式是比较简单和粗暴的，类比于人的知识存储方式，不具备知识存储的高效性和知识关联性；

（2）知识幻觉问题。知识幻觉是LLMs大规模使用的拦路虎，尤其对回复信息要求比较严格的行业，如金融、保险等领域；

（3）

阅读全文 → 2023-06-30

为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？

所谓灾难性遗忘，就是一个在原始任务上训练好的神经网络在训练完新任务后，在原始任务上的表现崩溃式的降低。目测灾难性遗忘会成为一个非常关键热门的问题。毕竟连GPT4都无法解

阅读全文 → 2023-06-29

芯片公司寒武纪2022年净亏损扩大41% ，边缘智能芯片未来的发展如何？

在边缘端做ai目前很难落地的。很简单，小的任务传统机器学习就行了，对于没见过的数据，性能还比深度学习好。中型任务目前就自动驾驶算落地了，但是问题是这种任务不仅仅是需要深度学习，还需要很多其他预处理计算。边缘端ai芯片只针对了特定网络和深度学习计算，对于其他预处理任务，甚至不一定能部署。而且中型任务在商业上对功耗要求高，但那是保证成本，性能，灵活性前提下。因此目前还是使用边缘端通用计算芯片，比如英伟达推出的计算芯片。

阅读全文 → 2023-06-29

首页上一页 32 33 34 35 36 37 38 39 40 41 下一页尾页