统计中文词频，为什么换个工具结果就变了？

1分词器内部的三层机制

理解这三层，就知道结果为什么会漂移。

一个很直观的对照：同一个句子，开启新词识别时会把某个简称当成一个词，关闭后就被拆成两个单字。词频榜里的那个词，就这样凭空消失了。

2歧义是真歧义，不是 bug

同一串汉字有两种合法切法，这不是工具错了。

两种切分的词数可能相同

所以不能靠「哪个词少更合理」来判断，必须回到上下文语义。

专有名词是重灾区

机构名、产品名、人名这些词词典里常常没有，只能靠模型猜，而模型对未知领域的猜法不稳定。

长词优先与短词优先各有代价

偏长词能保住固定搭配，偏短词召回更高但会碎；搜索引擎建索引倾向于更细的粒度，正文分析倾向于更粗的粒度。

不同的切分模式会给出不同结果

同一个工具通常提供几种模式，从「只切最可能的组合」到「把所有可能的词都切出来」都有，后者的词数会明显更多。

3怎么让它稳定下来

固定口径比找「更好」的工具重要得多。

固定分词器、固定词典、固定模式

分析报告里把这三项写清楚。换任何一个，历史数据都不可比。

把领域词补进自定义词典

人名、地名、产品名、行业黑话统一加进去，并且给高频词一个足够高的权重，让它优先被当成完整词。

明确停用词表

「的、了、是」这类高频功能词会霸占榜首，必须先剔掉，否则词频榜基本没有信息量。

决定单字词算不算

有些分析需要保留单字词，有些只统计多字词。这条规则要在开始统计之前定下来。

一个简单可靠的验证方法：把分词结果人工抽查几十条，看专有名词有没有被切碎。这一步花十分钟，比事后质疑数字有用得多。

4词频之外还容易踩的坑

切分固定住了，统计口径还有别的坑。

不同长度的文本不能直接比词频

长文天然包含更多词汇，跨文本比较要看相对占比而不是绝对次数。

同义词不合并会分散计数

同一个概念的几种写法各算各的，结果就是「没有任何一个词看起来高频」。

简繁与全半角不统一

同一个词的不同字形会被当成两个词，统计前先做规范化。

英文和数字的边界

中英混排里，英文单词、缩写、数字单位怎么切需要单独规定，否则同一个指标会出现好几种写法。