FM 和SVM的区别有哪些? FM和SVM最大的不同,在于特征组合时权重的计算方法 SVM的二元特征交叉参数是独立的,而FM的二元特征交叉参数是两个k维的向量 v_i,v_j ,交叉参数不是独立的,而是互相影响的 FM可以在原始形式下进行优化学习,而基于kernel的非线性SVM通常需要在对偶形式下进行 FM的模型预测与训练样本独立,而SVM则与部分训练样本有关,即支持向量. FM模型有两个优势: 在高度稀疏的情况下特征之间的交叉仍然能够估计,而且可以泛化到未被观察的交叉参数的学习和模型的预测的时间复杂度是线性的 阅读全文 → 2023-01-12
怎样理解强化学习(Reinforcement Learning)? 监督学习的特点是有一个“老师”来“监督”我们,告诉我们正确的结果是什么。在我们在小的时候,会有老师来教我们,本质上监督学习是一种知识的传递,但不能发现新的知识。对于人类整体而言,真正(甚至唯一)的知识来源是实践——也就是强化学习。比如神农尝百草,最早人类并不知道哪些草能治病,但是通过尝试,就能学到新的知识。 学习与决策者被称为智能体,与智能体交互的部分则称为环境。智能体与环境不断进行交互,具体而言,这一交互的过程可以看做是多个时刻,每一时刻,智能体根据环境的状态,依据一定的策略选择一个动作(这里的策 阅读全文 → 2023-01-12
怎样理解逻辑回归算法? 逻辑回归是在数据服从伯努利分布的假设下,通过极大似然的方法,运用梯度下降法来求解参数,从而达到将数据二分类的目的。 逻辑回归的优缺点 优点: 形式简单,模型的可解释性非常好。从特征的权重可以看到不同的特征对最后结果的影响,某个特征的权重值比较高,那么这个特征最后对结果的影响会比较大。 模型效果不错。在工程上是可以接受的(作为 baseline),如果特征工程做的好,效果不会太差,并且特征工程可以并行开发,大大加快开发的速度。 训练速度较 阅读全文 → 2023-01-11
如何理解SVM算法? 是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机。 SVM可分为三种: 1、线性可分SVM 当训练数据线性可分时,通过最大化硬间隔(hard margin)可以学习得到一个线性分类器,即硬间隔SVM。 2、线性SVM 当训练数据不能线性可分但是近似线性可分时,通过最大化软间隔(soft margin)也可以学习到一个线性分类器,即软间隔SVM。 3、非线性SVM 当训练 阅读全文 → 2023-01-11
深拷贝和浅拷贝的区别有哪些? 对于不可变类型(字符串、数值型、布尔值):浅拷贝和深拷贝一样,对象的引用(内存地址)没有发生变化。 对于可变对象(列表、字典、集合):浅拷贝在拷贝时,只会copy一层,在内存中开辟一个空间,存放这个copy的列表。更深的层次并没有copy,即第二层用的都是同一个内存;深拷贝时,会逐层进行拷贝,遇到可变类型,就开辟一块内存复制下来,遇到不可变类型就沿用之前的引用。因为不可变数据修改会从新开辟新的空间,所以,深拷贝数据之间的修改都不会相互影响。 阅读全文 → 2023-01-11
LSTM和BERT的区别有哪些? LSTM是代表性的rnn结构,rnn提出是为了解决时序的问题;典型的例子就是NLP中的句子理解,视频的内容理解;模型结构的设计保证输入顺序按照时序顺序对结果产生影响,当前时间步的输入是当前位置和上一个时间步的输出。 优点:解决了dnn或者是bow词袋模型的问题,不能区分时序 缺点:处理长文本的时候耗时较长,考虑到上下文,一般还采用双向rnn结构;模型效果上,对于长依赖问题效果不好,容易理解 经过很多个step的传递,信息会减弱 BERT BERT通过注意力机制实现时序的理 阅读全文 → 2023-01-11