網(wǎng)站地圖對網(wǎng)站抓取重要性
雖然在制作網(wǎng)站的時候很多要求是樹形結(jié)構(gòu)，但由于受到各種各樣的限制，網(wǎng)站并非完全的樹型或者網(wǎng)狀型結(jié)構(gòu)。所以，就需要網(wǎng)站地圖起到輔助導(dǎo)航的作用：對于用戶，可以對網(wǎng)站內(nèi)容一目了然；對于搜索引擎，可以跟蹤鏈接爬行到網(wǎng)站的主要部分：而對于網(wǎng)站本身，則會讓網(wǎng)站顯得更加標(biāo)準(zhǔn)化和專業(yè)化。所以，網(wǎng)站地圖對于一個網(wǎng)站來說十分有必要。
一般網(wǎng)站地圖分為兩種：HTML版本的網(wǎng)站地圖；另外一種就是XML版本的網(wǎng)站地圖。下邊一一進行說明：
第一、HTML版本網(wǎng)站地圖：這種版本網(wǎng)站地圖英文名稱就是sitemap，s為小寫，專指HTML版，這種版本就是用戶可以通過網(wǎng)站看得到并且列出網(wǎng)站上所有頁面鏈接的頁面。對一些使用JS或者圖片過多，甚至全站FLASH的網(wǎng)站，網(wǎng)站地圖顯得尤為重要，是搜索引擎爬行的一個重要補充。對于小網(wǎng)站，HTML版本的網(wǎng)站地圖可以列車全站的所有頁面。對于中型網(wǎng)站，就不可能列出全部頁面，可以列出重點的一二級分類頁面，或者可以把網(wǎng)站地圖進行分塊，第一塊列出一級目錄，往下一塊列出二級目錄，這樣循環(huán)下去，也能把大部分頁面列出。其實，一個具有良好導(dǎo)航系統(tǒng)和內(nèi)部鏈接結(jié)構(gòu)的網(wǎng)站，就不一定需要列出所有頁面鏈接的網(wǎng)站地圖，因為對于搜索引擎和用戶而言，兩者的性質(zhì)有些類似。
第二、XML版本網(wǎng)站地圖：此種版本的網(wǎng)站地圖英文名為Sitemap，但S通常為大寫。XML網(wǎng)站地圖在2005年首先被Google提出，隨后包括百度在內(nèi)的各個搜索引擎都相繼支持。XML版本的網(wǎng)站地圖全部由XML標(biāo)簽組成，文件本身一定要是utf8編碼的。XML地圖就是列出網(wǎng)站上大部分需要被收錄的URL，一般一行一個URL，搜索引擎就會順著這些URL去爬行。另外，XML版本網(wǎng)站地圖里邊有些標(biāo)簽是我們必須要掌握的：priority，表示URL重要程度，默認為0.5，最重要為1.0；changefreg，表示更新頻率，一般情況下需要選擇daily，表示每天都會更新網(wǎng)站；另外，XML網(wǎng)站地圖最多能列出五萬個URL，且文件不能超過10MB。假如超過了這個大小，那么可以使用多個網(wǎng)站地圖。
網(wǎng)站地圖制作好之后，可以通過工具直接向搜索引擎提交，大部分的搜索引擎都支持提交并且也有專門的提交入口。另外也可以使用robots.txt文件的形式來通知搜索引擎網(wǎng)站地圖的位置。需要注意的是通過XML網(wǎng)站地圖，只是通知搜索引擎那些頁面需要收錄，只是讓搜索引擎知道這些頁面的存在，但是并不保證一定會被收錄，需要收錄還必須達到最低收錄標(biāo)準(zhǔn)，所以不要以為有了網(wǎng)站地圖的存在而不顧網(wǎng)站結(jié)構(gòu)以及合理的內(nèi)部鏈接。
最后要說的就是網(wǎng)站地圖對于大網(wǎng)站來說特別重要，對于一般的中小型企業(yè)網(wǎng)站和個人網(wǎng)站也有一定的重要性，但體現(xiàn)的不明顯。所以，大家了解網(wǎng)站地圖之后根據(jù)自己的情況，做出適合自己網(wǎng)站的網(wǎng)站地圖。
