ROC_AUC：指ROC曲线下的面积。
通过在 [0, 1] 范围内选取阈值 (threshold) 来计算对应的 TPR 和 FPR，最终将所有点连起来构成 ROC 曲线。
PR_AUC：指PR曲线下的面积。
通过在 [0, 1] 范围内选取阈值 (threshold) 来计算对应的 Precision和 Recall，最终将所有点连起来构成 ROC 曲线。
ROC-AUC 衡量的是模型排序的能力；
阅读全文 → 2023-01-03
1、 Transformer模型的核心是self-attention机制，而CNN模型的核心是卷积和池化；
2、Transformer模型可以学习到数据中每个词之间的相关性，而CNN关注于二维局部数据之间的相互关联，随着层的加深，关注区域会更广。
阅读全文 → 2023-01-03
Transformer网络是一个Encoder-Decoder（编码，解码）的结构，整体是由输入部分，Encoder部分和Decoder部分组成。
Encoder端和Decoder端均有6个Block，Encoder端的Block包括两个模块，多头self-attention模块以及一个前馈神经网络模块；Decoder端的Block包括三个模块，Masked多头self-attention模块，多头Encoder-Decoder attent
阅读全文 → 2022-12-30
数据的角度：获取和使用更多的数据（数据集增强）；
模型角度：降低模型复杂度、L1\\L2\\Dropout正则化、Early stopping（提前终止）
模型融合的角度：使用bagging等模型融合方法。
阅读全文 → 2022-12-30
遗传算法原理是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。该算法通过数学的方式，利用计算机仿真运算，将问题的求解过程转换成类似生物进化中的染色体基因的交叉、变异等过程。
阅读全文 → 2022-12-30
layernorm和batchnorm的区别：LN中同层神经元输入拥有相同的均值和方差，不同的输入样本有不同的均值和方差；
BN中则针对不同神经元输入计算均值和方差，同一个batch中的输入拥有相同的均值和方差。
LN不依赖于batch的大小和输入sequence的深度，因此可以用于batchsize为1和RNN中对变长的输入sequence的normalize操作。
由于NLP中的文本输入一般为变长，所以
阅读全文 → 2022-12-30
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1