您好,欢迎访问代理记账网站
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

spark学习5:spark-shell

 

1.spark提供了交互式接口 spark-shell

spark-shell 实现了用户可以逐行输入代码,进行操作的功能。  即可以不像Java一样,编写完所有代码,然后编译才能运行

spark-shell 支持 Scala交互环境 和 python交互环境

在学习测试中可以使用spark-shell 进行API学习

2.进入Scala交互环境

在spark安装目录的根目录下,有个bin目录中有个 spark_shell 

 

2.1 在本机生成spark指挥所,创建sparkContext指挥官

在 spark安装根目录中 执行, 

 

 

eg:根目录下执行

./bin/spark-shell --master local    

标识用一个worker 线程运行spark, 即单线程

 

 

也可以指定线程数

./bin/spark-shell --master local[2]

标识用两个线程执行

 

./bin/spark-shell --master local[*]

用 * 表示用当前物理机最大 线程数, 比如 说当前机器 物理CPU是 2个,然后每个物理CPU是2个核,  那就是4个逻辑核,所以 【*】 最大线程是4

,所以说 如果当前物理机 最大逻辑核是 4, 如果 参数写个【8】 也是没有用的,8个线程中只有4个线程执行,然后另外4个线程等待

 

2.2 在集群中生成spark指挥所,生成sparkContext

 

在spark根目录中执行

 


分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进