Chinese Search Sharing

關於我

• 會說一些 R 和 Python
• PyCon TW 2016 議程組：誠徵志工！！
• NTU Bioinfo master student
  歡迎找我聊我的研究題目
• Former intern at Microsoft Research Asia
• Intern at Pinkoi
• 此人偏宅，但今天不一定有宅梗

背景介紹

• 用 ElasticSearch (ES) 做站上商品的搜尋
• 多數亞洲文字（中、日、泰）都需要額外斷詞處理
• 內建有一個 ICU（International Components for Unicode）Analyzer，
  基本能動但效果有限（參考 ICU - Text Boundary Analysis）
• ES 改版之快，估計會被海放到 2.0……反正它海放了一堆第三方套件，所以想升也沒辦法
• 關於 ES Analyzer 的使用可以參考官網教學

搜尋的基本要求

• 搜尋「○○」，則所有跟○○有關的東西都要找到
• 在「○○」的結果中，不要出現不相關的ｘｘ
• 寧可有些ｘｘ也不要○○都找不到

找「蘋果派」的時候最前面的搜尋結果應該都是蘋果派，應該不會有香蕉船，也希望沒有蘋果塔，但寧可有些蘋果塔也不要連蘋果派都找不到

ES 搜尋的最小單位是 Term (Token)

會被 ES Tokenizer 轉換成 Who / controls / the / past / controls / the / future / Who / controls / the / present / controls / the / past。
實務上會在 tokenizer 前後加上 filter 小寫轉換、去除無意義的 a、the。

這裡 term 有：controls(4), the(4), Who(2), past(2), future(1), present(1)

ES (Lucene) 是怎麼搜尋的？

零魔法，最核心的概念是 TF-IDF。可以自己做一個。

• Term Frequency (TF)：在 document 中出現的次數多寡
• Inverse Document Frequency (IDF)：這 term 總共在多少 document 中出現，出現太頻繁的（we, you）的權重較低
• Field length：document 越短，有找到表示越相關

上三個會生成相似度 similarity，最後結合其他自定的指標變成 score

# python3 tf_idf.py 後背包
Searching 後背包 in 7 documents ...
['復古單寧帆布後雙背包',  '米色帆布橫式側背包',
 '藍色石紋斜背包',       '帆布眼鏡盒',
 '鱷魚來了帆布筆袋',     '拼木紋布質文庫書衣',
 '單眼相機用亮彩防水包布']
Top 3 similar documents are:
d1: 復古單寧帆布後雙背包 [sim=0.4969]
d3: 藍色石紋斜背包 [sim=0.3262]
d2: 米色帆布橫式側背包 [sim=0.3017]

Under the hood - cos similarity

q  = {後: 1.00, 背: 1.00, 包: 1.00}

d1 = {復: 2.25, 古: 2.25, 單: 1.85, 寧: 2.25, 帆: 1.34, 布: 1.00,
      後: 2.25, 雙: 2.25, 背: 1.56, 包: 1.34}
d2 = {米: 2.25, 色: 1.85, 帆: 1.34, 布: 1.00, 橫: 2.25, 式: 2.25,
      側: 2.25, 背: 1.56, 包: 1.34}
d3 = {藍: 2.25, 色: 1.85, 石: 2.25, 紋: 1.85, 斜: 2.25, 背: 1.56, 包: 1.34}
d4 = {帆: 1.34, 布: 1.00, 眼: 1.85, 鏡: 2.25, 盒: 2.25}
d5 = {鱷: 2.25, 魚: 2.25, 帆: 1.34, 布: 1.00, 筆: 2.25, 袋: 2.25}
d6 = {拼: 2.25, 木: 2.25, 紋: 1.85, 布: 1.00, 質: 2.25, 文: 2.25, 庫: 2.25,
      書: 2.25, 衣: 2.25}
d7 = {單: 1.85, 眼: 1.85, 相: 2.25, 機: 2.25, 用: 2.25, 亮: 2.25, 彩: 2.25,
      防: 2.25, 水: 2.25, 包: 1.34, 布: 1.00}

問題是一字字斷詞破壞中文詞意

Searching 包布 in 7 documents ...

Top 3 similar documents are:
d2: 米色帆布橫式側背包 [sim=0.2981]
d1: 復古單寧帆布後雙背包 [sim=0.2762]
d7: 單眼相機用亮彩防水包布 [sim=0.2459]

包布 ≠ 布包 ≠ 布○○包。我們需要更好的分詞模式。

中文的斷詞應該像這樣

• 過去 / 很 / 近 / 近 / 的 / 就 / 在 / 眼前 / 以致於 / 你 / 一 / 集中 / 焦距 / 就 / 看出 / 了 / 它 / 的 / 遠
• 米色 / 帆布 / 橫式 / 側背包
• 很顯然地這不是簡單的切割
• 在 ES 就可以靠設計 Tokenizer(Analyzer) 來完成複雜的斷詞

中文斷詞我們選擇 jieba

• Jieba 是從 Python 移植過來的。有人寫好 ES Analyzer
• 架構簡單，安裝完就有不錯的效果
• 完整教學可參考 fukuball 的介紹（我學的時候也是看他網誌）
• 幾個技術關鍵字：詞典、詞頻、Trie 樹、DAG、HMM
• 概念很簡單：看看這個詞有沒有在詞典裡，有的話就照著斷；沒有的話就用中文常見的拆詞規律猜（跑出新的詞）
• 詞典內建就有一個，效果也很好

Jieba in action

'/'.join(jieba.cut(
      '過去很近，近的就在眼前，'
      '以致於你一集中焦距就看出了它的遠。'))
# 過去/很近/，/近/的/就/在/眼前/，/
# 以致於/你/一/集中/焦距/就/看出/了/它/的/遠/。

'/'.join(jieba.cut('穿過縣界長長的隧道，便是雪國。'))
# 穿過/縣界/長長的/隧道/，/便是/雪國/。

Jieba HMM in action

'/'.join(jieba.cut('便是雪國', HMM=True))
# 便是/雪國
'/'.join(jieba.cut('便是雪國', HMM=False))
# 便是/雪/國

在中文，二字二字成詞比後者的組合機會高得多
（極端的例子：「科科科科科」也會被拆成「科科/科科科」

cut('相機包布')           # 相機包 / 布
cut('台中太陽餅')         # 台 / 中 / 太陽 / 餅
cut('側背包 側肩背包')     # 側背包 / 側肩 / 背包

• 詞除了要夠齊全（台中、太陽餅）
• 詞頻也要符合文本的分佈（相機、包布）
• 啊第三個是錯在哪裡啦（翻桌！）

Jieba search(index) mode

解決上述複合詞斷詞問題，能要求 jieba 把可能的斷詞組合都列出。

cut_for_search('側背包')     cut_for_search('帆布鞋')
# 背包 / 側背包              # 帆布 / 布鞋 / 帆布鞋

但並不能完全解決問題，有時候會缺字^註，在這裡就少了個「側」詞。使用者能查到背包但缺乏「側」的訊息。
另外詞變多了，會增加搜尋的負擔。

斷詞詞典與詞頻要小心

• 仔細看 jieba 文件的話，它的詞典是透過幾個簡體語料庫結合新詞探勘所做成，再使用簡繁轉換
• 裡面有一些「一万一千五百二十颗」、「一九九九年」、「黄蓉拾」、「黄蓉之」等無義詞，增加計算負擔
• 其中「帆布背包」、「水晶項鍊」這種就要小心會讓搜尋鬼打牆
• 砍掉重練？等等，能重練的話那當初……（無限雞生蛋 loop）

萌典、g0v 中文斷詞

2013 年，我坐在台下聽

2015 年，我用到它了

萌典

• 國語辭典，來源為教育部《重編國語辭典修訂本》
• 16 萬筆條目
• CC BY-ND 3.0 臺灣授權
• 不過辭典編輯完成於 1998 年，裡面沒有「手機」這種詞條
• 兩岸詞典，來源為中華文化總會
• 8 萬多筆條目，收錄了「手機」、「宅男」等詞條
• 不過是採用 CC BY-NC-ND 3.0 臺灣授權
• 適合研究使用（商業能使用嗎？）

Ref: moedict

# /a/狂狷.json
{"h": [
  {"d": [
    {"q": ["`論語~．`子路~：「`子~`曰~：『`不得~`中行~`而~……』」",
           "`抱朴子~．`外篇~．`逸民~：「`昔~`狂狷~`華~`士~，……」"],
     "f":"`過於~`激進~`與~`過於~`保守~`的~`人~。"}],
   "p": "kuáng juàn",
   "b": "ㄎㄨㄤˊ ㄐㄩㄢˋ",
   "=": "2654000071"}],
 "t": "`狂~`狷~"}

讓 jieba 使用萌典

• jieba 詞典引入萌典的詞條，用說明、例句建立詞頻
• OpenCC 做繁簡轉換
• 缺詞？「手機」、「潮t」、「手作」、「客製」
• 其他資料來源，例：搜尋記錄
• 最後仍然可以 fallback 回手動加詞
• 不夠技術？之後再回來談缺詞
• 其實光用這些，效果就很好了

單用詞頻斷詞就有不錯的效果

增加文本量更新詞頻

• 萌典中的例句跟釋義有固定的格式，詞頻應該從正常文本統計
• 中文維基百科大約有 24 萬條目
• 原始 XML 文本包含 mediawiki markup（圖表等）
• 維基是世界各地的人共同編輯，各地方言、簡繁交雜
• 借助 OpenCC 對原始文本簡繁轉換及用語的統一
• 結合站上產品說明、刊物已經有很足夠的文本
• 加一加文本共約有 100M 個詞，1M 個段落

維基百科處理

• 使用 gensim 內建的 WikiCorpus
• 在 parsing 有很大的進步空間（跳坑！）
• 在不關閉 jieba 新詞功能時，會增加約 3M 個新詞
• 多數是人名、地名、數字等
• 扣除低詞頻 (<5) 還有約 700K 新詞
• 最後我們並沒有把新詞加回 jieba 中

Jieba 總結與補充

• 利用萌典、wiki 與自己的資料，詞條數從 580K 降到 190K
• Jieba 有提供平行處理斷詞，但我發現自己寫 multiprocess、IPyParallel，把不同的 input 發給很多 jieba worker (embarassingly parallel)，能達到更不錯的加速
• Jieba cache 是根據 dictionary 路徑去建立的，要小心 multiprocess 不要同時寫入，可以先 initialize 其中一台
• 繁體 HMM model 需要跳坑完成

ES Search 總結

• ES 讓全文搜尋變得非常快速，但理論本身並沒有 magic
• 多樣的 analyzer、filter、aggregation，很容易整合搜尋到自己的服務
• 斷詞的必要性與取捨，應該以 max retreival 為優先
• 斷詞斷得太多，不代表資料就找不到。斷得太少才會
• 複合詞可考慮使用 index 模式列出所有斷詞組合
• Jieba analyzer 沒有寫 Tokenizer 無法擴充（ik 也無法，smartcn 可）
  大家快跳坑！

仍有一成的搜尋找不（太）到結果

1. 其實找到使用者想找的東西了
2. 使用者想找的是同義的商品，但用詞不同
3. 下太多關鍵字，站上就沒有這樣的商品

也許沒有完全一樣的，但也許很像的

語意搜尋：怎麼說很像？

• 模糊的相似關係必須被量化
• 也許不用很準，最好完全不需要人工標注
• 有沒有辦法把每個 term 定量？\[ m(t): t \rightarrow \mathbf{R}^v, t \in \left\{\text{所有可能的中文詞}\right\} \]
• 在 \(\mathbf{R}^v\) 空間能決定兩個詞像不像 \[ f(m_1, m_2): \mathbf{R}^v \times \mathbf{R}^v \rightarrow [0, 1] \]

Demo

Word2vec 總結

• 我們的出發點：改善找不（太）到東西的那群人
• 但 word2vec 提供一個簡單、有效的語意 feature
• 也許不是最準的 / 用的模型也是最簡單的
• 靠 benchmark、行為分析來判斷是否需要改進

今天用的未必是最好的方法

「咦你剛剛說用△△△，但那不是………為什麼不用○○○效果更好」

• 因為△△△能動，而且效果能接受，就沒繼續做下去了
• 簡單的方法能動就用簡單的
• 用兩成的工完成六成的效果
• 也不要一開始就想到 big data、deep learning

What's next for ?

• アジア最大級のハンドメイド、デザイン商品販売サイトです。
• Asia's largest online marketplace for unique and original design goods.
• นเว็บไซต์ซื้อขายงานดีไซน์ออนไลน์ที่ใหญ่ที่สุดในเอเชีย
• 亚洲领先的设计商品购物网站

我們關心並努力改善來自各地的使用者體驗

以前 COSCUP 結束後，會眾紛紛撰寫網誌，紀錄一年一度的盛會，現在參與人數這麼多，實際紀錄的人卻更少，而且鮮少是著墨議題本身，反過來說，日本朋友紀錄的內容還比台灣會眾清楚 (?)

— Jim Huang (@jserv) August 19, 2015