学习spark的相关示例
最简单也是最经典的例子 后面搭了spark集群 并使用了hdfs来存储文件,有几点需要注意
context.textFile("D:\\data\\spark\\blsmy.txt"); -- 用于idea测试 context.textFile("file:///mnt/data/blsmy.txt"); -- 用于集群运行(前提,运行的各节点都需要有此文件) context.textFile("hdfs://spark-master:9000/wordcount/blsmy.txt"); -- 使用hdfs调用文件
在页面中,输出的日志有sterr和stdout两种,在stdout可以查看程序中输出的内容。如果你在程序中使用了println(....)输出语句,这些信息会在stdout文件里面显示;其余的Spark运行日志会在stderr文件里面显示。 也可以直接进行日志文件进行查看,如:
/spark/software/spark/work/app-20180428142302-0003/0/stdout /spark/software/spark/work/app-20180428142302-0003/0/stderr
bin/spark-submit \
--master spark://spark-master:7077 \
--driver-memory 1g \
--executor-cores 1 \
--class com.spark.WordCount \
simple/word-count-1.0-SNAPSHOT.jar也是一个比较经典的栗子
使用sparksql做的简单操作