在上篇文章mac下Spark的安装与使用的一个示例中,我们使用RDD的Map和Reduce操作对一个文本中的文字做了简单的字数检查。本篇文章的目的是讲述Spark 中的流数据处理。结构分为三个部分:第一部分简单对Spark进行介绍,第二部分介绍Spark Streaming,最后一部分通过一个简单的Demo讲讲Spark是如何通过Spark Streaming进行流式数据的处理。

每次接触一个新的知识之前我都抱有恐惧之心,因为总认为自己没有接触到的知识都很高大上,比如上篇介绍到的Hadoop的安装与使用与本篇要介绍的Spark,其实在自己真正琢磨以后才发现本以为高大上的知识其实也不过如此。

最近接触大数据,所以当然有必要学习下Hadoop和Spark(概念请自行百google或者百度)。Spark是Apache目前最火的一款快速处理大数据的开源框架,当然Hadoop也是一款处理大数据的框架,只是Sparck青出于蓝而胜于蓝,在出生之后就得到迅猛发展,所以有学者说日后Spark可能会将Hadoop淘汰(不是我说的,是学者说的哦)。

因为mac上的很多功能都涉及到命令行的工作,然而记性差的我总是一次熟两次生,第三次就要...google,所以下面总结下自己在使用自己电脑上相关软件时涉及到的一些命令,以供自己日后参考。

本篇文章分为两个部分,一个部分是总结使用Socket实现TCP的编程的知识,主要就是完成服务器端和客户端两个对象的代码编写;另一个部分是通过Java写一个聊天室来对我们的Socket编程进行巩固。

本篇文章总结自己开发秒杀系统Web层的过程,主要介绍前端交互设计、Restful:url满足Restful设计规范、Spring MVC、bootstrap+jquery这四个方面的开发。

开始Service层的编码之前,我们首先需要进行Dao层编码之后的思考:在Dao层我们只完成了针对表的相关操作包括写了接口方法和映射文件中的sql语句,并没有编写逻辑的代码,例如对多个Dao层方法的拼接,当我们用户成功秒杀商品时我们需要进行商品的减库存操作(调用SeckillDao接口)和增加用户明细(调用SuccessKilledDao接口),这些逻辑我们都需要在Service层完成。

之前写了一个用SSM框架搭建的商品查询系统,分两篇文章分别记录了自己整合SSM框架的过程以及利用SSM开发的一些基础知识,由于那时候刚学完SSM框架,所以自己觉得整合的过程总结的不够好。

上篇文章介绍了Maven的安装、配置及创建自己的第一个Maven项目的两种方式。在往后的开发中我们需要用到Maven对我们的项目进行管理以简化项目开发过程,具体就是当我们的项目需要导入哪个第三方jar包时直接在Maven为我们生成的的pom.xml文件中添加相关jar包依赖就行。

我是在学完SSM框架的整合与基本开发后接触的Maven,它是一个项目管理的利器,网上也有说java后台的项目管理肯定要用到maven的。为什么要用maven?