robots.txt文件(jiàn)存在的意義！

什麽是robots.txt文件(jiàn)?

搜索引擎機(jī)器人(rén)通過鏈接抵達互聯網上的每個網頁，并抓取網頁信 息。搜索引擎機(jī)器人(rén)在訪問(wèn)一個網站(zhàn)時，會首先檢查該網站(zhàn)的根目錄下是否有一個叫做robots.txt的純文本文件(jiàn)。當我們的網站(zhàn)有一些内容不想被搜索引 擎收錄，我們可(kě)以通過設置robots.txt文件(jiàn)告知搜索引擎機(jī)器人(rén)。

如(rú)果網站(zhàn)上沒有禁止搜索引擎收錄的内容，則不用設置robots.txt文件(jiàn)，或設置爲空。

從(cóng)SEO的角度，robots.txt文件(jiàn)是一定要設置的，原因：

1. 網站(zhàn)上經常存在這種情況：不同的鏈接指向相(xiàng)似的網頁内容。這不符合SEO上講的“網頁内容互異性原則”。采用robots.txt文件(jiàn)可(kě)以屏蔽掉次要的鏈接。
2. 網站(zhàn)改版或URL重寫優化時原來(lái)不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件(jiàn)删除舊的鏈接符合搜索引擎友好。
3. 一些沒有關鍵詞的頁面，比如(rú)本站(zhàn)的這個頁面/About/，屏蔽掉更好。
4. 一般情況下，站(zhàn)内的搜索結果頁面屏蔽掉更好。

如(rú)果将你(nǐ)的網站(zhàn)比喻成一本書(shū)的話(huà)，那麽robots.txt 文件(jiàn)就(jiù)像是你(nǐ)這般書(shū)的目錄。它會告訴搜索引擎，你(nǐ)的網站(zhàn)那些是對讀(dú)者沒用的東西，搜索引擎收錄了這些頁面也沒有什麽用，或者網站(zhàn)的作(zuò)者根本就(jiù)不想要搜索引擎知道有這些頁面。rotots.txt文件(jiàn)在網站(zhàn)搜索引擎優化裡(lǐ)面是很重要的，專業的網站(zhàn)建設公司（比如(rú)小蓉在線（北京）科技有限公司）都(dōu)會告訴客戶這些應該注意的地方。