查看会员资料
用 户 名:siulie******
发送消息- Email:用户隐藏
- Icq/MSN:
- 电话号码:
- Homepage:
- 会员简介:
最新会员发布资源
Spark快速大数据分析
- 每个spark应用都由一个驱动器程序来发起集群上的各种分布式并行操作。驱动器程序包含应用的main函数,并且定义了集群上的分布式数据集,还对这些分布式数据集应用了相关操作。 在上面的例子中,实际的驱动器程序就是spark shell本身,只要输入想运行的程序就可以了。 驱动器程序通过一个SparkContext对象来访问spark.这个对象代表对计算集群的一个连接。shell启动时已经自己创建了一个SparkContext对象,是一个叫做sc的变量。 一旦有了SparkContext,就可