|
以我們提出的M算法與挖掘關聯規則的權威算法Apriori算法做一典型的對比分析。
1) 基于的學術思想不同：M算法是基于雙庫協同機制的內在認知機理研究，具體而論是基于“知識短缺”（利用有向超圖）進行“定向挖掘”以及知識庫的實時維護；而Apriori算法是基于組合論的數據庫全局搜索。
2) 基本流程(或基于的結構模型)不同：M算法是一條一條短缺知識的挖掘；而Apriori算法是所有的規則一并挖掘。
3) 基礎不同：M算法是基于規則強度，它考慮了主觀和客觀兩個方面；涵蓋了Apriori算法的支持度閾值。
4) 發現知識的量不同：在M算法中知識庫直接參與挖掘過程，從而能真正發現新穎的、用戶感興趣的知識，這正是符合了KDD定義；而Apriori算法是把滿足條件的規則全部挖掘出來；另外，由于M算法中的支持度可以設置的比較小（因為該算法主要是由規則強度來聚焦的），即對短缺知識的刪除是比較謹慎的， 因此M算法部分地克服了Apriori算法的一個缺陷——遺漏重要規則。
5) M算法可融入KDD中形成新的開放型的結構模型——KDD*，整個算法實現的運算背景是KDD*結構；而Apriori算法是原有的KDD系統。
2.3.2 源于DFSSM的Web文本分類的TCDFSSM算法
源于DFSSM的Web文本分類算法TCDFSSM的算法流程如圖12所示。該項內容已獲國家發明專利《一種Web挖掘系統的構造方法》（ZL 03104960.5）（見附件 ）
圖12 TCDFSSM文本分類算法流程圖
該算法與現有文獻中的文本分類算法有很大差異，我們通過實驗驗證了它的優勢。
表2 三類文本分類算法的時間復雜度比較表
|
算法名稱 |
訓練階段時間復雜度 |
分類階段時間復雜度 |
|
TCDFSSM |
O（mn） |
O（cn） |
|
樸素貝葉斯 |
O（mn） |
O（cn） |
|
KNN |
無 |
O（cn+mn） |
表3 三類文本分類算法的綜合分類率（F1值）的實驗對比結果表
|
算法名稱 |
語料庫1的F1值（%） |
語料庫2的F1值（%） |
|
封閉 |
開放 |
封閉 |
開放 |
|
TCDFSSM |
95.5 |
93.5 |
93.6 |
91.1 |
|
樸素貝葉斯 |
91.3 |
90.6 |
89.2 |
88.5 |
|
KNN |
93.7 |
91.7 |
92.3 |
90.8 |
表4為三類分類算法的運行時間分析表。運行時間示意圖如圖13所示。
表4 三種分類算法運行時間分析表
|
文檔數（篇） |
100 |
400 |
600 |
1000 |
|
TCDFSSM算法運行時間（s） |
15 |
25 |
50 |
100 |
|
樸素貝葉斯算法運行時間（s） |
45 |
76 |
135 |
254 |
|
KNN算法運行時間（s） |
90 |
217 |
413 |
927 |
圖13 三類分類算法運行時間比較示意圖
上一頁 [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] 下一頁
|
