深度学习的多个loss如何平衡？

这也是个困扰了我多年的问题：
loss = a * loss1 + b * loss2 + c * loss3 怎么设置 a，b，c？
我的经验是 loss 的尺度一般不太影响性能，除非本来主 loss 是 loss1，但是因为 b，c 设置太大了导致其他 loss 变成了主 loss。
实践上有几个调整方法：
1.手动把所有 loss 放缩到差不多的尺度，设 a = 1，b 和 c 取 10^k，k 选完不管了；
2.如果有两项 loss，可以 loss = a * loss1 + (1 -

阅读全文 → 2022-11-10

你有哪些炼丹神器深度学习（rnn、cnn）调参的经验？

谢邀，重度参与过 OLTP(MySQL) 和 OLAP(ClickHouse) 的内核研发，手写过好几个数据库原型，正好借这个问题谈谈个人的一些感受。

首先可以确定的是：数据库方向是非常有前(钱)途的，是门手艺活，学好可以吃一辈子(还可以传承到下一代)。

CPU/操作系统/数据库三大基础软件中，数据库是个人/小公司最有条件先做起来的。

数据库还有一个重要的地方：非常迷人，一旦入门，一发不可收拾，我是从十多年前一路狂奔到现在，每周都会写上一些内核代码。

另外一个问题是要实现一个 My

阅读全文 → 2022-11-10

深度学习方向科研工作的神器有哪些？

几个深度学习方向科研工作的神器
arxiv：论文收录网站（防止自己的idea被剽窃，完成论文后可以先挂上去，证明原创性）；
PaperwithCode：论文和代码的结合工具，包含了很多NLP、CV方向的SOTA论文和模型实现；
dblp：计算机英文资料收集网站，支持各种字段搜索（会议、作者、时间等）；
Connected Paper：论文引用信息可视化工具，分析出文献的前世今生；
NLPIndex：NLP学术搜索神器，同时链接了paper、code、graph，是上述上个神器的综合体；
Dee

阅读全文 → 2022-11-10

训练好的深度学习模型是怎么部署的？

部署的方式取决于需求

需求一：简单的demo演示，只要看看效果的，像是学校里面的demo展示这种

caffe、tf、pytorch等框架随便选一个，切到test模式，拿python跑一跑就好，顺手写个简单的GUI展示结果

高级一点，可以用CPython包一层接口，然后用C++工程去调用

需求二：要放到服务器上去跑，但一不要求吞吐二不要求时延的那种，说白了还是有点玩玩的意思

caffe、tf、pytorch等

阅读全文 → 2022-11-10

对于卷积神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？

入坑深度学习大概经历以下几个阶段：

1.能从开源代码pull下来，换成自己的数据集，能跑个结果出来。

2.从理论上理解模型工作的思想，知道重要的一些超参背后的思想，能够非常有信心调整它，并符合自己的预期效果。

3.深入理解模型的代码实现细节，能够为模型添加一些主流的提升模型性能的模块或者tricks，能够分析修改前后，模型的差异，并且能够映射到真实数据上去。另外，能够对模型的训练及推理过程了如指掌。

4.能够根据自己的实际业务需求，拓

阅读全文 → 2022-11-10

多模态训练，怎么解决不同模态之间差异的问题？

语音和文本之间的模态差异虽大，但利用训练过的Tokenizer将所有未标注的语音和文本转换到相同的离散表示空间。这样，两种模态亦能在预训练中通过共享接口自然地交互。回首语音

阅读全文 → 2022-11-09

首页上一页 130 131 132 133 134 135 136 137 138 139 下一页尾页