?? 系統(tǒng)設(shè)計(jì).txt
字號:
數(shù)據(jù)結(jié)構(gòu)
碼表:雙向鏈表,不排序,有唯一性,但不檢查
碼表索引:碼ID值處的元素存儲該碼在鏈表中的位置
* 碼ID對碼是唯一的
詞表:雙向鏈表,按第一個(gè)漢字排序,有唯一性,做唯一性檢查
詞表索引:詞ID處的元素存儲該詞第一個(gè)漢字在鏈表中第一次出現(xiàn)的位置
* 詞ID由詞的第一個(gè)漢字生成,因此詞對詞ID不唯一
碼詞表:雙向鏈表,按碼排序,同一碼的詞不排序
碼詞表索引:碼ID處的元素存儲該碼在鏈表中第一次出現(xiàn)的位置
詞碼表(條件概率表):雙向鏈表,按詞+碼長序 排序
詞碼表索引:詞ID處存儲該詞第一個(gè)漢字在鏈表中第一次出現(xiàn)的位置
* 注意對詞碼表的檢索可能會比較耗時(shí)
詞詞表(轉(zhuǎn)移概率表):雙向鏈表,按第一詞排序
詞詞表索引:詞ID處存儲該詞第一個(gè)漢字在鏈表中第一次出現(xiàn)的位置
* 注意對詞詞表檢索可能比較耗時(shí)。
算法
修正先驗(yàn)概率:
僅對當(dāng)前碼對應(yīng)的所有詞調(diào)整先驗(yàn)概率,如對 “a - 工“,先計(jì)算 “工“ 其“ 或“ 的先驗(yàn)概率和
然后在該和不變的前提下提高 “工 的先驗(yàn)概率先驗(yàn)概率值
*
修正轉(zhuǎn)移概率的值:
定義轉(zhuǎn)移概率增量,
計(jì)算該詞所有已存在條目轉(zhuǎn)移概率和,如果該和+增量>0.9,超出部分按比例從每一已存在條目中減去,
對該條目轉(zhuǎn)移概率加増量(若該條目不在,先增加該條目)。
* 始終有0.1轉(zhuǎn)移概率不分配給任何已存在條目,而是保留給未存在于轉(zhuǎn)移概率表中的條目
修正條件概率值:
定義條件概率增量,
計(jì)算該詞所有已存在條目的條件概率和,如果該和>1.0,按比例從每一條目中減去超出部分
對該條目轉(zhuǎn)移概率加增量
?? 快捷鍵說明
復(fù)制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -