地理信息更新主題爬蟲論述論文
1系統(tǒng)結(jié)構(gòu)
本文提出基于鏈接回溯的地理信息更新主題爬蟲方法，以廣度優(yōu)先通用爬蟲方法為基礎(chǔ)，針對現(xiàn)有主題爬蟲算法在實際應(yīng)用中的缺陷，引入回溯的思想，根據(jù)新聞網(wǎng)站的結(jié)構(gòu)特點，計算出最有可能包含主題相關(guān)信息的鏈接方向，從而大幅提高爬取效率，獲取更多與主題相關(guān)的信息。系統(tǒng)整體流程分為兩個階段，如圖1所示：第一階段以初始種子鏈接為基礎(chǔ)，使用基于SVM分類的加權(quán)爬取算法，先指定某一層的鏈接為父鏈接組，然后以廣度優(yōu)先的方式進行網(wǎng)頁爬取，在這個過程中使用SVM分類模型，逐條驗證鏈接信息，找出分類準確的鏈接在之前指定層數(shù)的父鏈接，令該父鏈接權(quán)值增加，整個過程完成后，統(tǒng)計權(quán)值較高的父鏈接作為優(yōu)化種子鏈接；第二階段以優(yōu)化種子鏈接為基礎(chǔ)，利用基于知識庫判別的爬取算法以廣度優(yōu)先的方式進行網(wǎng)頁爬取，使用知識庫逐條驗證鏈接信息，判斷并確定地理信息更新內(nèi)容的主題，最后將優(yōu)化種子鏈接和主題相關(guān)網(wǎng)頁文檔存入數(shù)據(jù)庫，作為今后爬取的經(jīng)驗參考。
2算法介紹
2.1基于SVM分類的加權(quán)爬取算法
2.1.1SVM分類模型
支持向量機(SupportVectorMachine,SVM)是目前分類性能最好的模型之一，本文采用支持向量機進行事件類型判斷。從地理信息變化要素知識庫(詳見3.2.1節(jié))中選擇幾種最常見的特征詞匯作為類型關(guān)鍵詞，以這些特征詞匯及其對應(yīng)的典型要素為基礎(chǔ)收集樣本文檔，使用支持向量機方法進行樣本機器學(xué)習(xí)，以特征詞匯和典型要素作為觸發(fā)詞，在不影響分類精度的情況下提高分類效率，最終通過機器學(xué)習(xí)得到一個分類模型。當判斷一條鏈接包含的消息是否屬于主題相關(guān)的范疇時，由于標題往往是一個文檔包含信息最好的總結(jié)，故先判斷這條標題中是否含有之前選擇的特征詞匯之一，如果包含，則對這條鏈接的正文部分使用SVM分類模型進行分類，如果分類得出的結(jié)果與標題中包含的特征詞匯一致，則證明了這條鏈接中確實包含該特征詞匯所代表的主題相關(guān)內(nèi)容。這種基于機器學(xué)習(xí)和觸發(fā)詞的分類方法相比于單純的字符匹配，可以避免字符一致但語意出現(xiàn)歧義的現(xiàn)象，并且有較高的準確率，是一種快速有效的主題相關(guān)度判別方法。系統(tǒng)第一階段是對網(wǎng)站所包含主題信息位置的一種試探，由于SVM分類性能有限，只能判斷一篇文本是否屬于某一特征詞匯所代表地理信息范疇，無法最終確定以特征詞匯和對應(yīng)典型要素作為主題的內(nèi)容，所以只選擇幾種最常見的特征詞匯作為分類關(guān)鍵詞，作為是否對父鏈接加權(quán)的依據(jù)。
2.1.2算法描述
爬取過程采用廣度優(yōu)先的爬取策略，處理中的鏈接分為兩個隊列：待爬取隊列(Uncrawled)和已爬取隊列(Crawled)；首先將種子鏈接集(Seed)加入待爬取隊列，然后解析待爬取隊列中鏈接的源代碼，獲得下一層超鏈接組，對下一層超鏈接組進行去重并去除已爬取過的鏈接，接著將待爬取隊列加入已爬取隊列中，下一層超鏈接組加入待爬取隊列中，最后再次解析待爬取隊列，重復(fù)上述過程，直至達到指定條件。廣度優(yōu)先爬蟲從種子鏈接出發(fā)，以層數(shù)為單位進行爬取。加權(quán)算法思想是將第S層鏈接指定為父鏈接組，其中每條鏈接初始權(quán)值為0，F(xiàn)為最大爬取層數(shù)；在網(wǎng)頁爬取的過程中，對第S+1層至第F層的鏈接調(diào)用3.1.1節(jié)中提到的SVM分類模型進行驗證，如果分類結(jié)果正確，則證明這條鏈接包含一定程度的主題相關(guān)信息，那么其父鏈接所指向的方向，就有可能包含更多與主題相關(guān)的信息，所以找到這條鏈接在S層的父鏈接，令其權(quán)值加1；爬取過程結(jié)束后，統(tǒng)計第S層所有父鏈接的權(quán)值，選擇權(quán)值最大的K條鏈接作為優(yōu)化種子鏈接。這些鏈接相比于初始種子鏈接，指向主題相關(guān)內(nèi)容的可能性更大，從而提高了整體爬取效率和準確性。S、F、K的取值可以根據(jù)實際網(wǎng)站規(guī)模和結(jié)構(gòu)進行調(diào)整。本算法的偽代碼如算法1所示。
2.2基于知識庫判別的爬取算法
2.2.1知識庫判別方法
本文的應(yīng)用方向是針對地理信息變化的檢測，在參考《GBT13923-2006基礎(chǔ)地理信息要素分類與代碼》中分類標準的基礎(chǔ)上，對各類別的特征詞匯和典型要素進行了總結(jié)，形成一個特征詞匯對應(yīng)多個典型要素的地理信息變化要素知識庫；表達形式以特征詞匯和典型要素兩個關(guān)鍵詞的組合來表示，例如：路+拓寬，路+通車，河+截流等，以此判斷一個文本的內(nèi)容是否屬于地理信息范疇，并確定該文本的主題。具體步驟如下：(1)將待處理的網(wǎng)絡(luò)文本進行分句并編號；(2)利用ICTCLAS分詞軟件對所有句子進行分詞；(3)從第一句開始，檢查被標記為動詞的詞匯是否屬于特征詞匯集，如果匹配，則以該動詞為中心，以詞匯距離從近到遠的順序遍歷所有被標記為名詞的詞匯，參照知識庫中的特征詞匯和典型要素匹配關(guān)系，如果配對成功，將該名詞和動詞作為組合抽取并記錄；(4)遍歷所有句子，找出所有滿足條件的組合。其中，步驟(3)中的提到的關(guān)鍵詞匹配方法，過程例如圖2所示。需要處理的語句是“鄭州彩虹橋隧道5月通車將成北區(qū)新交通樞紐”，后綴為“/n”代表名詞，“/v”代表動詞，首先找到動詞“通車/v”并與知識庫中的典型要素進行匹配，成功后以“通車/v”為中心，以詞匯距離從近到遠的原則分別向左右兩個方向?qū)ふ颐~，向右找到名詞“區(qū)/n”后，將“區(qū)+通車”與知識庫進行匹配后失敗，向左找到名詞“隧道/n”后，將“隧道+通車”與知識庫進行匹配后成功，因此停止尋找并抽取出“隧道+通車”的關(guān)鍵詞組合作為這一句話的主題內(nèi)容。
2.2.2算法描述
爬取算法依然采用廣度優(yōu)先的爬取策略，對爬取到的每條鏈接使用3.2.1節(jié)中的知識庫判別方法，確定相關(guān)信息的主題內(nèi)容，保存網(wǎng)頁文檔。
3實驗測試與性能分析
利用前文介紹的方法，使用適合網(wǎng)絡(luò)編程的Java語言實現(xiàn)了基礎(chǔ)地理信息更新檢測原型系統(tǒng)，以新浪、網(wǎng)易和騰訊等主流新聞網(wǎng)站作為初始種子鏈接進行測試。分詞工具使用中科院設(shè)計開發(fā)的ICTCLAS分詞軟件，機器學(xué)習(xí)使用目前最廣泛應(yīng)用的LIBSVM工具，由于實驗設(shè)備和網(wǎng)絡(luò)條件有限，回溯過程中設(shè)置初始層S=1，爬取最大層數(shù)F=4，回溯后取權(quán)值最大的K=2條鏈接作為優(yōu)化種子鏈接。圖3展示了兩種爬蟲在爬取相同數(shù)量(10000條)鏈接的情況下的整體效率，因為回溯之后再爬取是一個重復(fù)的過程，也就是為了計算出優(yōu)化種子鏈接而付出的代價，所以比較兩種爬蟲的整體效率是為了檢測這個重復(fù)過程對于整體效率的影響。從圖3可以看出由于回溯過程，系統(tǒng)整體效率確實受到了一定的影響，但依舊好于通用的方法，并且在找出一個網(wǎng)站的優(yōu)化種子鏈接后，今后對于該網(wǎng)站的爬取就可以直接使用優(yōu)化種子鏈接，不再需要進行回溯的過程，所以從總體上來看，回溯方法造成的效率影響是可以接受的。同樣在爬取相同數(shù)量(10000條)鏈接的情況下，正如之前所說的，如果不是第一次對某網(wǎng)站進行爬取，那么可以直接使用通過回溯后得到的優(yōu)化種子鏈接為基礎(chǔ)，如圖4所示，這樣找到的主題相關(guān)信息明顯多于通用方法；結(jié)合圖3和圖4的實驗結(jié)果可以證明通過本文提出的回溯方法，確實可以分析出一個網(wǎng)站中最有可能包含主題相關(guān)信息的鏈接方向，從而大大提高爬取效率，減少低效率的爬取過程，從實驗結(jié)果可以看出該方法在各類新聞網(wǎng)站中都具有廣泛的可用性，在其他主題方向也具有一定的推廣性。
4結(jié)束語
主題網(wǎng)絡(luò)爬蟲能夠針對用戶需求，有效地進行特定主題的信息檢索。本文在現(xiàn)有爬取策略和主題相關(guān)度算法的基礎(chǔ)上，提出一種基于鏈接回溯的地理信息更新主題爬蟲方法，通過實驗證明了本方法確實可以提高爬取效率，設(shè)計并實現(xiàn)了基礎(chǔ)地理信息更新檢測原型系統(tǒng)，該系統(tǒng)適合于在新聞類網(wǎng)站中尋找地理信息更新的消息，后續(xù)研究可以考慮在其他主題方向的應(yīng)用，以及減少回溯過程的代價來提升效率的方法。
【地理信息更新主題爬蟲論述論文】相關(guān)文章：
gps在地理信息數(shù)據(jù)采集和更新方面的應(yīng)用08-17
電力營銷服務(wù)管理問題論述的論文10-15
柴油過濾材料復(fù)合方式論述的論文08-15
地理信息系統(tǒng)論文06-22
成本管理觀念的更新與成本控制新思路論文08-11
論述畢業(yè)論文答辯的目的和意義10-21