什么是推荐系统? 推荐系统是一种人工智能或人工智能算法,通常与机器学习相关,使用大数据向消费者建议或推荐其他产品。这些推荐可以基于各种标准,包括过去的购买、搜索历史记录、人口统计信息和其他因素。推荐系统非常有用,因为它们可以帮助用户了解自己无法自行找到的产品和服务。 推荐系统经过训练,可使用收集的交互数据了解用户和产品偏好、之前的决策和特征。其中包括展示、点击、喜欢和购买。推荐系统由于能够高度个性化地预测消费者兴趣和需求,因此受到内容和产品提供商的喜爱。从书籍、视频 阅读全文 → 2022-12-06
SPARK 应用在哪些领域? 主要体现在欺诈检测、医疗健康两方面: 欺诈检测 对于需要快速决策并涉及多个数据源的情况而言,运行快速的 Spark 是不二之选。例如,金融机构检测信用卡欺诈的方法之一是,分析单一帐户上的交易量和交易地点。如果交易次数超出个人能力范围,或者多个交易发生在不同地点,而交易地点相距不合情理,则表明一个帐户已被泄露。 银行可以使用 Apache Spark 来根据使用模式创建帐户持有者的统一视图。机器学习可用于根据先前观察到的模式,检 阅读全文 → 2022-12-06
为何 SPARK 在应用 GPU 后表现更出色? Spark 的各个版本均有所改进,有助于更轻松地编程和执行。Apache Spark 3.0 通过创新来维持此趋势,改善 Spark SQL 性能和 NVIDIA GPU 加速。 图形处理器 (GPU) 因其超低浮点运算(性能)单价深受欢迎,其还可通过加快多核服务器的并行处理速度,解决当前的计算性能瓶颈问题。CPU 由专为按序串行处理优化的几个核心组成。而 GPU 则拥有一个大规模并行架构,当中包含数千个更小、更高效的核心,专为同时处 阅读全文 → 2022-12-06
为何选择 APACHE SPARK进行数据分析工作? Apache Spark 继续了 Apache Hadoop 在 15 年前开始的大数据分析工作,并已成为大规模分布式数据处理的先进框架。 2010 年代初,大数据分析的流行促使 Hadoop 的使用量增长,而 Hadoop MapReduce 的性能限制成为了阻碍。MapReduce 的性能因其磁盘检查点结果模型而遭遇瓶颈。同时,MapReduce 的低级别编程模型也限制了 Hadoop 的采用。 Apache 阅读全文 → 2022-12-05
什么是 APACHE SPARK? 伴随数据的巨量增长,Apache Spark 已成为分布式横向扩展数据处理的热门框架之一,可以在本地和云端数以百万计的服务器上运行。 Apache Spark 是应用于大型数据处理的快速通用分析引擎,可在 YARN、Apache Mesos、Kubernetes 上运行,也可独立或在云端运行。借助用于 SQL、流处理、机器学习和图形处理的高级运算符及库,Spark 使开发者能够通过交互式 shell、笔记本或应用程序包来使用 Scala、 阅读全文 → 2022-12-05
什么是 Exaflop? Exaflop 是衡量超级计算机性能的单位,表示该计算机每秒可以至少进行 10^18 或百亿亿次浮点运算。 Exaflop 中的 exa-前缀表示“百亿亿”,即 10 亿乘以 10 亿或1的后面有 18 个零。同样,单个 exabyte 的内存子系统可以储存百亿亿字节的数据。 exaflop 中的“flop”是浮点运算的缩写。exaflop/s 是表示系统每秒浮点运算次数的单位。 浮点是指所有数字都用小数点表 阅读全文 → 2022-12-05