手抄报 安全手抄报 手抄报内容 手抄报图片 英语手抄报 清明节手抄报 节约用水手抄报

怎么安装Local模式并使用

时间:2025-01-06 06:23:07

1、1)上传并解压spark安装包

怎么安装Local模式并使用

2、2)官方求P

怎么安装Local模式并使用

3、(1)基本语法

怎么安装Local模式并使用

4、(2)参数说明--master 指定Master的地址;--class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi);--deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client);--conf: 任意的Spark配置属性, 格式key=value. 如果值包含空格,可以加引号“key=value” ;application-jar: 打包好的应用jar,包含依赖. 这个URL在集群中全局可见。 比如hdfs:// 共享存储系统, 如果是 file:// path, 那么所有的节点的path都包含同样的jarapplication-arguments: 传给main()方法的参数;--executor-memory 1G 指定每个executor可用内存为1G;--total-executor-cores 2 指定每个executor使用的cup核数为2个。

5、3)结果展示该算法是利用蒙特·卡罗算法求PI

怎么安装Local模式并使用

6、4)准备文件

怎么安装Local模式并使用

7、在input下创建3个文件1.txt和2.txt,并输入以下内容

怎么安装Local模式并使用

8、5)启动spark-shell

怎么安装Local模式并使用

9、开启另一个CRD窗口

怎么安装Local模式并使用

10、可登录hadoop102:4040查看程序运行

怎么安装Local模式并使用

11、6)运行WordCount程序

怎么安装Local模式并使用

12、可登录hadoop102:4040查看程序运行

怎么安装Local模式并使用
© 手抄报圈