{{{ #!html

製作詞庫法

應用於 crawlzilla

}}} [[PageOutline]] = 取得詞庫 = * 取得 gcin 程式碼 * 取得 lib-chuing (酷音) 程式碼將兩個檔的字典檔找出 {{{ grep -r "台" * }}} * 結果可找到 || gcin || tsi.src || || 酷音 || tsin.src || = 整理 = * 略掉不需要的格式，如原本： {{{ #!text 口腔疱疹ㄎㄡ3 ㄑㄧㄤㄆㄠ4 ㄓㄣ3 0 騜驅ㄏㄨㄤ2 ㄑㄩ 0 用針刺ㄩㄥ4 ㄓㄣㄘ4 0 硬擠ㄧㄥ4 ㄐㄧ3 0 流竄ㄌㄧㄡ2 ㄘㄨㄢ4 0 牙周囊袋ㄧㄚ2 ㄓㄡㄋㄤ2 ㄉㄞ4 0 水星ㄕㄨㄟ3 ㄒㄧㄥ 0 烘碗機ㄏㄨㄥㄨㄢ3 ㄐㄧ 0 黑臉白臉ㄏㄟㄌㄧㄢ3 ㄅㄞ2 ㄌㄧㄢ3 0 很耗電ㄏㄣ3 ㄏㄠ4 ㄉㄧㄢ4 0 }}} * 指令整理 {{{ awk 'BEGIN {FS=" "} {print $1 }' tsin.txt > waue.dic awk 'BEGIN {FS=" "} {print $1 }' tsi.txt >> waue.dic }}} * 結果 {{{ #!text 口腔疱疹騜驅用針刺硬擠流竄牙周囊袋水星烘碗機黑臉白臉很耗電 }}} * 略過重複 {{{ #!text 龜茲龜茲龜裂龜裂龜裂龜速龜鑑龜頭龜頭龜鱉龝龞龠龡龡龢龣龣龤龥 }}} {{{ sort -u waue_sort.dic > waue_sort_u.dic }}} {{{ #!text 龜茲龜裂龜速龜鑑龜頭龜鱉龝龞龠龡龢龣龤龥 }}} * 過濾掉單字 {{{ for i in $(cat ./waue_sort_u.dic) ;do Leng=$(expr length "$i"); if [ $Leng -gt 3 ];then echo $i >> new_waue.dic ;fi ;done }}} {{{ #!text 龜茲龜裂龜速龜鑑龜頭龜鱉 }}} * 新中文分詞檔完成 new_waue.dic