Chinese Search

PyCon China 上海2015

中文搜索经验分享

By Liang² under CC 4.0 BY license

Esc to overview
← → to navigate

关于我

会说 R 和 Python
PyCon TW 2016 议程组组长
NTU Bioinfo master student
Former intern at Microsoft Research Asia
Intern at Pinkoi

原始繁体长版本，分析为繁体情境

背景介绍

用 ElasticSearch (ES) 做站上商品的搜索
多数亚洲文本（中、日、泰）都需要额外断词处理
内置有一个 ICU（International Components for Unicode）Analyzer，
基本能动但效果有限（参考 ICU - Text Boundary Analysis）
ES 改版之快，估计会被海放到 2.0……反正它海放了一堆第三方套件，所以想升也没办法
关于 ES Analyzer 的使用可以参考官网教学

ES Search Basics

搜索的基本要求

搜索「○○」，则所有跟○○有关的东西都要找到
在「○○」的结果中，不要出现不相关的ｘｘ
宁可有些ｘｘ也不要○○都找不到

找「苹果派」的时候最前面的搜索结果应该都是苹果派，不能有香蕉船，最好没有苹果塔。但宁可有些苹果塔也不要连苹果派都找不到

ES 搜索的最小单位是 Term (Token)

Who controls the past controls the future. Who controls the present controls the past. - 1984, George Orwell

会被 ES Tokenizer 转换成 Who / controls / the / past / controls / the / future / Who / controls / the / present / controls / the / past。
实务上会在 tokenizer 前后加上 filter 小写转换、去除无意义的 a、the。

这里 term 有：controls(4), the(4), Who(2), past(2), future(1), present(1)

ES (Lucene) 如何搜索的？

核心的概念是 TF-IDF。可以自己做一个。

Term Frequency (TF)：在 document 中出现的次数多寡
Inverse Document Frequency (IDF)：这 term 总共在多少 document 中出现，出现太频繁的（we, you）的权重较低
Field length：document 越短，有找到表示越相关

上三个会生成相似度 similarity，最后结合其他自定的指标变成 score

# python3 tf_idf.py 后背包
Searching 后背包 in 7 documents ...
['复古单宁帆布后双背包',  '米色帆布横式侧背包',
 '蓝色石纹斜背包',       '帆布眼镜盒',
 '鳄鱼来了帆布笔袋',     '拼木纹布质文库书衣',
 '单眼相机用亮彩防水包布']
Top 3 similar documents are:
d1: 复古单宁帆布后双背包 [sim=0.4969]
d3: 蓝色石纹斜背包 [sim=0.3262]
d2: 米色帆布横式侧背包 [sim=0.3017]

问题是一字字断词破坏中文词意

Searching 包布 in 7 documents ...

Top 3 similar documents are:
d2: 米色帆布横式侧背包 [sim=0.2981]
d1: 复古单宁帆布后双背包 [sim=0.2762]
d7: 单眼相机用亮彩防水包布 [sim=0.2459]

包布 ≠ 布包 ≠ 布○○包。我们需要更好的分词模式。

中文的断词应该像这样

过去很近，近的就在眼前，以致于你一集中焦距就看出了它的远。
张惠菁。《你不相信的事》

过去 / 很 / 近 / 近 / 的 / 就 / 在 / 眼前 / 以致于 / 你 / 一 / 集中 / 焦距 / 就 / 看出 / 了 / 它 / 的 / 远
米色 / 帆布 / 横式 / 侧背包
很显然地这不是简单的切割
在 ES 就可以靠设计 Tokenizer(Analyzer) 来完成复杂的断词

Jieba
中文
断词

中文断词我们选择 jieba

Jieba 是从 Python 移植过来的。有人写好 ES Analyzer
架构简单，安装完就有不错的效果
完整教学可参考 fukuball 的介绍（繁）（我学的时候也是看他网志）
几个技术关键字：词典、词频、Trie 树、DAG、HMM
概念很简单：看看这个词有没有在词典里，有的话就照着断；没有的话就用中文常见的拆词规律猜（跑出新的词）
词典内置就有一个，效果也很好

Jieba in action

'/'.join(jieba.cut(
      '过去很近，近的就在眼前，'
      '以致于你一集中焦距就看出了它的远。'))
# 过去/很近/，/近/的/就/在/眼前/，/
# 以致于/你/一/集中/焦距/就/看出/了/它/的/远/。

'/'.join(jieba.cut('穿过县界长长的隧道，便是雪国。'))
# 穿过/县界/长长的/隧道/，/便是/雪国/。

Jieba HMM in action

'/'.join(jieba.cut('便是雪国', HMM=True))
# 便是/雪国
'/'.join(jieba.cut('便是雪国', HMM=False))
# 便是/雪/国

在中文，二字二字成词比后者的组合机会高得多
（极端的例子：「科科科科科」也会被拆成「科科/科科科」

Some people, when confronted with a Chinese segmentation porblem, think "I know, I'll use a dictionary look-up." Now they have two problems.(An super old meme)

cut('相机包布')           # 相机包 / 布
cut('台中太阳饼')         # 台 / 中 / 太阳 / 饼
cut('侧背包 侧肩背包')     # 侧背包 / 侧肩 / 背包

词除了要够齐全（台中、太阳饼）
词频也要符合文本的分布（相机、包布）
啊第三个是错在哪里啦（翻桌！）

实际上 jieba 内置的字典并没有这个问题，但我觉得这个例子比较简单

侧背包≠ 侧肩 + 背包？！

用户查「侧背包」
产品里有个「侧肩 / 背包」
ES 的行为：

侧背包 in 侧肩？否
侧背包 in 背包？否
回传找不到相关商品

用户查「侧 / 背包」
产品里有个「侧肩 / 背包」
ES 的行为：

侧 in 侧肩？是
背包 in 背包？是
回传找到相关商品

断词不是切越长越好！查不到比查不准还惨……有没有改进方法？

Jieba search(index in ES) mode

解决上述复合词断词问题，能要求 jieba 把可能的断词组合都列出。

cut_for_search('侧背包')     cut_for_search('帆布鞋')
# 背包 / 侧背包              # 帆布 / 布鞋 / 帆布鞋

但并不能完全解决问题，有时候会缺字^注，在这里就少了个「侧」词。用户能查到背包但缺乏「侧」的消息。
另外词变多了，会增加搜索的负担。

注：推估原因是 jieba 内置的 HMM 没有繁体字，所以 \(P(\text{侧}|B) = 0\) 新词

断词词典与词频要小心

仔细看 jieba 文档的话，它的词典是透过几个简体语料库结合新词探勘所做成，再使用简繁转换
里面有一些「一万一千五百二十颗」、「一九九九年」、「黄蓉拾」、「黄蓉之」等无义词，增加计算负担
其中「帆布背包」、「水晶项链」这种就要小心会让搜索失效
砍掉重练？等等，能重练的话那当初……（无限鸡生蛋 loop）

萌典

国语辞典，来源为教育部《重编国语辞典修订本》

16 万笔条目
CC BY-ND 3.0 台湾授权
不过辞典编辑完成于 1998 年，里面没有「手机」这种词条

两岸词典，来源为中华文化总会

8 万多笔条目，收录了「手机」、「宅男」等词条
不过是采用 CC BY-NC-ND 3.0 台湾授权
适合研究使用（商业能使用吗？）

Ref: moedict

让 jieba 使用萌典

jieba 词典引入萌典的词条，用说明、例句创建词频
OpenCC 做繁简转换
缺词？「手机」、「潮t」、「手作」、「客制」

其他数据源，例：搜索记录
最后仍然可以 fallback 回手动加词
不够技术？之后再回来谈缺词

其实光用这些，效果就很好了

ES Search 总结

ES 能有效地解决搜索问题，他让全文搜索变得非常快速
多样的 analyzer、filter、aggregation，很容易集成搜索到自己的服务
但 ES 在理论本身并没有 magic
断词的必要性与取舍，应该以 max retreival 为优先
断词断得太多，不代表数据就找不到。断得太少才会
在复合词的情况，可以考虑使用 index 模式把所有断词组合都列出，增加搜索机会

Semantic Search

仍有一成的搜索找不（太）到结果

其实找到用户想找的东西了
用户想找的是同义的商品，但用词不同
下太多关键字，站上就没有这样的商品

也许没有完全一样的，但也许很像的

语意搜索：怎么说很像？

模糊的相似关系必须被量化
也许不用很准，最好完全不需要人工标注
有没有办法把每个 term 定量？\[ m(t): t \rightarrow \mathbf{R}^v, t \in \left\{\text{所有可能的中文词}\right\} \]
在 \(\mathbf{R}^v\) 空间能决定两个词像不像 \[ f(m_1, m_2): \mathbf{R}^v \times \mathbf{R}^v \rightarrow [0, 1] \]

Word2vec theory

一个词会被转换到 \(V\) 维度的空间中，\(V \in [200, 1000]\)
这个转换透过给的文本前后文去学习，例如 \( C = 10\) 表示看了前后 5 个字
Unsupervised：只要一直喂给他断好词的文本就可以了
使用 wiki，一次 iteration 后就有效果

Ref: Word2vec tutorial (CBOW)

Word2vec 空间特性

概念上接近的东西会很接近
可能因为他们在文本中经常一起出现、在文本中的位置很接近
虽然未必精准（钥匙、门锁、门、木板）

实际上座标空间有 V 维，这个可以想成映射在某个平面空间时

每个维度大致上控制「某个概念」
Unsupervised learning 并无法掌控、指定哪个维度应该是什么
概念可以相加
近年 LSTM RNN 这类模型也许可以做得更好，但相较而言， word2vec 架构简单多了

注：这是很理想的状况，现实中可能不会这么理想，相加的概念会被高频的单字 dominate。例如「○○茶」基本上就是「茶」，除非○○的词频够足以让 word2vec 的矢量够明确，例如「高山茶」就能与「茶」有所区别；像「伯爵茶」的「伯爵」概念就会被实际的「伯爵」所影响。
这时候就需要更精细的断词系统。

使用中文维基的 word2vec

m.most_similar(['项链'])
坠子       	0.798
项链       	0.736
坠        	0.707
坠饰       	0.684
链长       	0.682
锁骨       	0.681
链        	0.664
炼        	0.662
墬        	0.650
纯银       	0.649

m.most_similar(['背包'])
束口       	0.713
圆筒       	0.617
书包       	0.591
背袋       	0.587
侧        	0.582
中型       	0.572
手提包       0.571
肩背       	0.571
后背       	0.544
斜背       	0.539

m.most_similar(['高山茶'])
乌龙茶      	0.722
阿里山      	0.715
茶        	0.708
蜜香       	0.685
金萱       	0.683
包种茶      	0.681
红茶       	0.681
高山       	0.677
乌龙       	0.675
茶农       	0.670

m.most_similar(['高山', '茶'])
阿里山      	0.837
乌龙       	0.818
乌龙茶      	0.795
红茶       	0.794
金萱       	0.786
茶叶       	0.769
高山茶      	0.765
绿茶       	0.752
茶园       	0.742
手采       	0.741

使用 word2vec 在搜索

即便在字串搜索的情况没有结果，仍然能找它相近的
word2vec 使用 gensim 实作

尚末支持加新词的功能。
意即，新文本中的新词会自动被忽略而没有 mapping
本功能尚在 pull request 中

Demo

Demo 2

🔍 宽肩点点连身洋装

大点点罩衫洋装
双色点点棉洋装
点点蝴蝶结背心长洋装
长长背心裙洋装
点点洋装

图左：设计师：turn turn | 图右：设计师：y1,hsuan

Word2vec 总结

我们的出发点：改善找不（太）到东西的那群人
但 word2vec 提供一个简单、有效的语意 feature
也许不是最准的 / 用的模型也是最简单的
靠 benchmark、行为分析来判断是否需要改进

What's next for ?

アジア最大级のハンドメイド、デザイン商品贩売サイトです。
Asia's largest online marketplace for unique and original design goods.
นเว็บไซต์ซื้อขายงานดีไซน์ออนไลน์ที่ใหญ่ที่สุดในเอเชีย
亚洲领先的设计商品购物网站

我们关心并努力改善来自各地的用户体验

is hiring

台湾 Py 社群近况

北中南东西各地 Python 社群

欢迎大家，环岛兼参加各地聚会！

去年新成立了
Django Girls Taipei

（制图：Mimi Xu）

约一个月聚会一次
除了带新手，也再培养未来讲师
定期与 Py web 聚会合办
（资料由主办人 Michelle 提供）

Chinese Search Sharing

PyCon China 上海2015

中文搜索经验分享

关于我

背景介绍

ES Search Basics

搜索的基本要求

ES 搜索的最小单位是 Term (Token)

ES (Lucene) 如何搜索的？

问题是一字字断词破坏中文词意

中文的断词应该像这样

Jieba
中文
断词

中文断词我们选择 jieba

Jieba in action

Jieba HMM in action

侧背包≠ 侧肩 + 背包？！

Jieba search(index in ES) mode

断词词典与词频要小心

萌典

让 jieba 使用萌典

ES Search 总结

Semantic Search

仍有一成的搜索找不（太）到结果

语意搜索：怎么说很像？

Word2vec theory

Word2vec 空间特性

使用中文维基的 word2vec

使用 word2vec 在搜索

Demo

Demo 2

Word2vec 总结

What's next for ?

is hiring

台湾 Py 社群近况

北中南东西各地 Python 社群

Questions?

PyCon China 上海2015

中文搜索经验分享

关于我

背景介绍

ES Search Basics

搜索的基本要求

ES 搜索的最小单位是 Term (Token)

ES (Lucene) 如何搜索的？

问题是一字字断词破坏中文词意

中文的断词应该像这样

Jieba 中文断词

中文断词我们选择 jieba

Jieba in action

Jieba HMM in action

侧背包≠ 侧肩 + 背包？！

Jieba search(index in ES) mode

断词词典与词频要小心

萌典

让 jieba 使用萌典

ES Search 总结

Semantic Search

仍有一成的搜索找不（太）到结果

语意搜索：怎么说很像？

Word2vec theory

Word2vec 空间特性

使用中文维基的 word2vec

使用 word2vec 在搜索

Demo

Demo 2

Word2vec 总结

What's next for ?

is hiring

台湾 Py 社群近况

北中南东西各地 Python 社群

Questions?

Jieba
中文
断词