跳转到主内容
趣航编程网 - 趣学编程,启航技术之路!

如何在 Golang 中实现文件内容统计_Golang 文本处理与统计算法示例

首先使用os.Open和bufio.Scanner逐行读取文件,统计行数、字符数和单词数;再通过map实现词频统计,对英文转小写并分割,中文则借助gojieba分词,最终高效完成各类文本分析需求。 在 Golang 中实现文件内容统计是一个常见需求,比如统计行数、单词数、字符数或特定词频。Go 语言 标准库 提供了 os 、 bufio 和 strings 等包,可以高效完成文本读取与处理。下面通过一个完整示例展示如何实现常见的文件内容统计功能。 读取文件并统计基础信息 使用 os.Open 打开文件,配合 bufio.Scanner 逐行读取,适合大文件处理,避免内存溢出。 以下代码统计文件的总行数、字符数和单词数:
package main import ( "bufio" "fmt" "os" "strings" ) func countFile(filename string) (lines, words, chars int, err error) { file, err := os.Open(filename) if err != nil { return } defer file.Close() scanner := bufio.NewScanner(file) for scanner.Scan() { line := scanner.Text() lines++ chars += len(line) words += len(strings.Fields(line)) } if err = scanner.Err(); err != nil { return } return } func main() { lines, words, chars, err := countFile("example.txt") if err != nil { fmt.Printf("读取文件失败: %v\n", err) return } fmt.Printf("行数: %d\n", lines) fmt.Printf("单词数: %d\n", words) fmt.Printf("字符数: %d\n", chars) }
统计词频(Word Frequency) 若需分析文本中每个词的出现频率,可使用 map 结构进行计数。先将每行文本转为小写并分割成单词,再累加到 map 中。 立即学习 “ go语言免费学习笔记(深入) ”; 示例如下:
func wordFrequency(filename string) (map[string]int, error) { freq := make(map[string]int) file, err := os.Open(filename) if err != nil { return nil, err } defer file.Close() scanner := bufio.NewScanner(file) for scanner.Scan() { line := strings.ToLower(scanner.Text()) words := strings.Fields(line) for _, word := range words { freq[word]++ } } return freq, scanner.Err() }
调用后可遍历返回的 map 输出高频词汇: Git 程序猿必备版本控制工具 下载
freq, _ := wordFrequency("example.txt") for word, count := range freq { fmt.Printf("%s: %d\n", word, count) }
处理中文或复杂分词场景 上述方法基于空格切分,适用于英文。若处理中文或需要更精确分词,建议引入第三方库如 gojieba 进行中文分词后再统计。 安装 gojieba:
go get github.com/yanyiwu/gojieba
简单集成示例:
import "github.com/yanyiwu/gojieba" func chineseWordCount(filename string) map[string]int { x := gojieba.NewJieba() defer x.Free() freq := make(map[string]int) file, _ := os.Open(filename) defer file.Close() scanner := bufio.NewScanner(file) for scanner.Scan() { words := x.CutForSearch(scanner.Text()) for _, word := range words { word = strings.TrimSpace(word) if word != "" { freq[word]++ } } } return freq }
基本上就这些。Golang 的文本处理简洁高效,结合标准库和适当工具,能轻松实现各类统计需求。关键是根据文件大小选择流式读取,避免一次性加载到内存。对于 多语言 支持,可扩展分词逻辑。不复杂但容易忽略细节,比如错误处理和字符 编码 兼容性。

相关文章