Spark
 为什么说Spark SQL远远超越了MPP SQL
为什么说Spark SQL远远超越了MPP SQL
MPP SQL 是 Spark SQL 的一个子集,Spark SQL 成为了一种跨越领域的交互形态,MPP SQL 是 Spark SQL 的一个子集。...
(0)人顶过2016-07-03
借助 Redis ,让 Spark 提速 45 倍!
借助 Redis ,让 Spark 提速 45 倍!
提速幅度有多大?如果Redis和Spark结合使用,结果证明,处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%,而是快整整45倍!...
(0)人顶过2016-03-29
别再比较Hadoop和Spark了,那不是设计人员的初衷
别再比较Hadoop和Spark了,那不是设计人员的初衷
直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系,也不是说一方是另一方的简易替代者。两者彼此兼容,这使得这对组合成为...
(0)人顶过2016-03-29
如何基于Spark进行用户画像?
如何基于Spark进行用户画像?
如果你面对5万个匿名驾驶员线路的数据集,你知道如何根据路线研发出一个驾驶类型的算法类签名,来表征驾驶员的特征吗?本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。...
(0)人顶过2016-03-29
Spark 1.6.0 新手快速入门
Spark 1.6.0 新手快速入门
随着越来越多的代码贡献者和使用经验,Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式,希望对各位初学者有所帮助。...
(0)人顶过2016-03-09
Apache Spark 2.0 最快4月亮相 预计效能翻九倍
Apache Spark 2.0 最快4月亮相 预计效能翻九倍
大数据技术Spark今年1月才刚释出1.6版,下一个2.0版本就已经蓄势待发,预计今年4、5月释出,近日Spark创办人Matei Zaharia在2016 Spark Summit上,抢先揭露了Spark 2.0即将带来的3大主要特色。...
(0)人顶过2016-03-09
7种最常见的Hadoop和Spark项目
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同,但根据我的经验,以下所列的是最常见的七种项目。...
(0)人顶过2016-03-01
雅虎开源人工智能独门武器 CaffeOnSpark
雅虎开源人工智能独门武器 CaffeOnSpark
Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日,Yahoo 发布了 CaffeOnSpark 人工智能的源代码,每个学术研究人员或是大公司都可以使用或是加以修改。...
(0)人顶过2016-03-01
Hadoop/Spark生态圈里的新气象
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡,不过我确信,知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。...
(0)人顶过2016-03-01
Spark 是否真的比 MapReduce 技高一筹
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架,Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的,而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spa...
(0)人顶过2016-03-01
Spark 2.0面纱半揭,相关细节引人遐想
Spark 2.0面纱半揭,相关细节引人遐想
在上周召开的Spark东部峰会上,Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0,其将包含三大核心转变。...
(0)人顶过2016-03-01
事实上,Spark是一项非常值得学习的技术
事实上,Spark是一项非常值得学习的技术
如今,诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上,Spark是一项非常值得学习的技术。...
(0)人顶过2016-03-01
Spark Streaming 的玫瑰与刺
Spark Streaming 的玫瑰与刺
玫瑰篇主要是说Spark Streaming的优势点,刺篇就是描述Spark Streaming 的一些问题,做选型前关注这些问题可以有效的降低使用风险。说人话:其实就是讲Spark Streaming 的好处与坑。...
(0)人顶过2016-01-29
2分钟读懂Hadoop和Spark的异同
2分钟读懂Hadoop和Spark的异同
谈到大数据框架,现在最火的就是Hadoop和Spark,倒底现在业界都在使用哪种技术?二者间究竟有哪些异同?它们各自解决了哪些问题?让我们通过本文来了解。...
(0)人顶过2016-01-29
 一个SparkSQL作业的一生可能只是一集琅琊榜
一个SparkSQL作业的一生可能只是一集琅琊榜
小红是数据分析,她某天写了个SQL来统计一个分院系的加权均值分数汇总。她提交了这个查询到某个SQL On Hadoop平台执行,然后她放下工作,切到视频网页看一会《琅琊榜》……...
(0)人顶过2016-01-29