蜘蛛統(tǒng)計

直接點擊觀看視頻教程：https://www.ixigua.com/i6810300855594517004/

網(wǎng)絡(luò)蜘蛛也稱搜索引擎蜘蛛，英文單詞是Web Spider，如果把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛，當網(wǎng)頁上存在鏈接，蜘蛛就會通過這些鏈接地址尋找網(wǎng)頁，一直循環(huán)直到你的網(wǎng)站所有頁面被抓取完。

搜索引擎要抓取互聯(lián)網(wǎng)上的所有網(wǎng)頁是不大可能的，一方面原因是抓取技術(shù)上的瓶頸，另一方面是存儲技術(shù)和處理技術(shù)的問題，所以蜘蛛一般只抓取比較重要的網(wǎng)頁，而評價網(wǎng)頁重要性主要是依據(jù)網(wǎng)頁的鏈接深度。通常網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁的時候會發(fā)送一個請求，這個請求中就有一個字段為User -agent，用于標識網(wǎng)絡(luò)蜘蛛的身份，例如Google網(wǎng)絡(luò)蜘蛛的標識為GoogleBot，Baidu網(wǎng)絡(luò)蜘蛛的標識為BaiDuSpider，Yahoo網(wǎng)絡(luò)蜘蛛的標識為Inktomi Slurp，在網(wǎng)站上的訪問日志記錄可以看出哪些搜索引擎的網(wǎng)絡(luò)蜘蛛來過，及讀了多少數(shù)據(jù)等。

登錄網(wǎng)站后臺 -【SEO】-【蜘蛛統(tǒng)計】

蜘蛛統(tǒng)計設(shè)置：打開或關(guān)閉蜘蛛統(tǒng)計功能

自動清除蜘蛛記錄：設(shè)置自動清除蜘蛛記錄，可設(shè)置每日或每周

百度推送：設(shè)置是否開啟百度推送