golang的缓存io简单的使用

// 执行mapreduce前会先将分块来进行处理
func (mr *MapReduce) Split(fileName string) {
	fmt.Printf("Split %s\n", fileName)
	infile, err := os.Open(fileName)
	if err != nil {
		log.Fatal("Split: ", err)
	}
	defer infile.Close()
	// 返回文件的基本信息
	fi, err := infile.Stat()
	if err != nil {
		log.Fatal("Split: ", err)
	}
	// 返回文件的大小
	size := fi.Size()
	// 得到文件每块的大小,按照map数来分块
	nchunk := size / int64(mr.nMap)
	nchunk += 1
	//kjv12.txt-0
	outfile, err := os.Create(MapName(fileName, 0))
	if err != nil {
		log.Fatal("Split: ", err)
	}
	//缓存的io的写操作
	writer := bufio.NewWriter(outfile)
	m := 1
	i := 0
	//一块一块的进行读取;创建一个读取文件的scanner
	scanner := bufio.NewScanner(infile)
	// 存在数据就会一直扫描下去
	for scanner.Scan() {
		if int64(i) > nchunk*int64(m) {
			// 清除原来的缓存
			writer.Flush()
			outfile.Close()
			// 创建第二个write
			outfile, err = os.Create(MapName(fileName, m))
			writer = bufio.NewWriter(outfile)
			m += 1
		}
		// 一行一行的读取数据
		line := scanner.Text() + "\n"
		writer.WriteString(line)
		i += len(line)
	}
	writer.Flush()
	outfile.Close()
}

有疑问加站长微信联系(非本文作者)

• 请尽量让自己的回复能够对别人有帮助
• 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
• 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
• 图片支持拖拽、截图粘贴等方式上传