1. robots.txt文件的重要作用意義

      2019-08-06
      什么是robots.txt文件?
      搜索引擎機器人通過鏈接抵達互聯網上的每個網頁,并抓取網頁信息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄,我們可以通過設置robots.txt文件告知搜索引擎機器人。
      如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt文件,或設置為空。
      SEO的角度,robots.txt文件是一定要設置的,原因:
      網站上經常存在這種情況:不同的鏈接指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
      網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
      一些沒有關鍵詞的頁面,屏蔽掉更好。
      一般情況下,站內的搜索結果頁面屏蔽掉更好。





      全國服務熱線:0571-87998705  
      地址:浙江省杭州市 拱墅區(北部軟件園)祥園路39-1號 5F

      Copyright © 2015-2019  杭州壹一信息技術有限公司 版權所有 浙ICP備18009611號-1

      壹一信息專注互聯網營銷策劃推廣,SEO優化,網站建設,萬詞霸屏,整合網絡營銷,為廣大企業提供一站式全方位網絡推廣服務!