MXNet这些框架都在做支持混合精度的API，那么PAI是不是在做重复的工作呢？

PAI在启动混合精度训练图改写的工作已经落地大半年了，相当于启动时间远早于英伟达，当然我们跟英伟达也有非常密切的合作，并且也得到了英伟达的高度评价，评价我们是第一个大规模有效发挥V100硬件新特性的技术团队，现在把整个图改写的工作推回到社区，也是跟英伟达一起合作的，也就是说我们跟英伟达一起合作完成了将混合精度训练软件层的实现，联合支持训练，所以不存在所谓重复操作的情况。

阅读全文 → 2022-12-07

地球科学应用程序，加速的瓶颈在哪？比如memory bottleneck Computing performance等。

上述的瓶颈大部分都有，对于大气模式，它是一个代码量很大的工程，有时候一个程序中就有上千行代码，在程序进行到一开始时，很有可能像Stencil一样是一个慢慢的Memory bottleneck，这会使得在取数据时不便于去访存等。当访存完之后，由于有一些sin、cos（正弦和余弦）等数学函数的存在，因此又变成了计算bottleneck。这时对访存的优化解决方案是通过异构把仿存的时间包括通讯时间隐藏起来，而对于sin、cos（正弦和余弦）等数学函数是通过GPU的高并发

阅读全文 → 2022-12-07

DLRM是什么？

DLRM 是一种基于 DL 的模型，适用于推荐，由 Facebook 研究院提出。它旨在同时使用推荐系统训练数据中通常呈现的分类输入和数值输入。要处理分类数据，嵌入层将每个类别映射到密集表征，然后再将其输入到多层感知器 (MLP)。数值特征可直接输入到 MLP。

在下一级别中，通过在所有嵌入向量对和已处理的密集特征之间取点积，显式计算不同特征的二次交互。并将这些成对交互输入到顶层 MLP 中，以计算用户和物品对之间的交互概率。

阅读全文 → 2022-12-07

怎么理解Wide & Deep？

Wide & Deep 是指使用并行处理两个部分（Wide 模型和 Deep 模型）的输出，并对其输出进行求和以创建交互概率的网络类别。Wide 模型是特征及其转换的一个广义线性模型。Deep 模型是一个密集神经网络 (DNN)，由 5 个隐藏 MLP 层（包含 1024 个神经元）组成，每个层都从密集特征嵌入开始。分类变量会嵌入到连续向量空间中，然后通过学习的嵌入或用户确定的嵌入输入到 DNN 中。

为何模型能够成功执行推荐任务，原因之一是提供数据中的两种学习模式：“deep”和“shallow”

阅读全文 → 2022-12-07

用于推荐的深度神经网络模型指的是？

只将信息从一层向前馈送至下一层的人工神经网络称为前馈神经网络。多层感知器 (MLP) 是一种前馈 ANN，由至少三层节点组成：输入层、隐藏层和输出层。MLP 是可应用于各种场景的灵活网络。卷积神经网络是识别物体的图像处理器。时间递归神经网络是解析语言模式和序列数据的数学工具。

深度学习 (DL) 推荐模型基于现有技术（例如，分解）而构建，以便对变量和嵌入之间的交互进行建模，从而处理类别变量。嵌入是表示实体特征的已学习的数字向量，因此相

阅读全文 → 2022-12-06

推荐系统类型有哪些？

虽然有许多推荐算法和技术，但大多数都属于以下广泛类别：协作过滤、内容过滤和上下文过滤。

协作过滤算法根据许多用户的偏好信息（这是协作部分）推荐物品（这是过滤部分）。此方法使用用户偏好行为的相似性，并鉴于用户与物品之间的之前交互，推荐算法便可以学会预测未来交互。这些推荐系统基于用户过去的行为构建模型，例如之前购买的物品或给予这些物品的评分以及其他用户的类似决策。相关理念在于，如果有些人过去也做出过类似的决策和购买，比如电影选择，

阅读全文 → 2022-12-06

首页上一页 116 117 118 119 120 121 122 123 124 125 下一页尾页