【Google Search Console】設定SEO robots.txt文件，告訴搜索引擎哪些網頁不適合關 鍵字搜尋 網誌圖文版： https://www.b88104069.com/archives/4510 robots.txt是網站SEO重點文件，本文以贊贊小屋網站的Google Search Console涵蓋範圍 報告為實際範例，介紹robots.txt文件的作用以及如何編寫，可以提高網頁收錄和關鍵字 搜尋的效率。 一、Google Search Console涵蓋範圍 登入Google Search Console之後，左邊欄位選擇「涵蓋範圍」 ，這裡共有四個類別，將 游標移到每個類別右下角的問號會有相關說明，其中「有效」指的是Google已經建立索引 的網頁，意思是網站有948個網頁文件被收錄在Google圖書館，當有人搜尋和網頁有關的 關鍵字，Google會考慮呈現該網頁，網站SEO便是致力於提高被Google選中的機率。 二、詳細資料 同一頁面下方的詳細資料中，有效狀態的網頁又分成兩個類型：「已提交並建立索引」和 「已建立索引，但未提交至Sitemap」。已提交Sitemap意思是自己有寫好一份網頁目錄提 交給Google參考。此時我的Wordpress總共有891篇文章，也提交了Sitemap，Google只收 錄869，沒有照單全收這倒是可以理解，但是有79篇不在我目錄裡面，Google卻幫我建立 索引了，這比較奇怪，為了網站SEO有必要進一步瞭解，點擊進入明細清單。 三、已建立索引，但未提交至Sitemap 看了明細比較清楚。「https://www.b88104069.com/profile」是贊贊小屋網站的介紹頁 面，「https://www.b88104069.com/」是網站首面，因為我是利用PHP程式讓Wordpress自 動產生Sitemap，只會有文章頁面，這兩個頁面確實會漏掉，Goggle幫忙收錄最好。 其餘網頁以「https://www.b88104069.com/archives/date/2015/03/page/6」和「 https://www.b88104069.com/archives/author/b88104069/page/60」為典型，從網址結 構大略可知是依照日期和作者的分頁目錄，日期還有些久遠，這應該我以前有設定過相關 網站機制，現在已經不用了，沒想到Google還留著。 四、網站分頁目錄 實際瀏覽網頁，果然和我猜想的一樣，像這樣的網頁目錄頁面其實並沒有全部文章內容， 如果真的出現在搜索結果，讀者點進來發現不如預期的話，馬上離開，這個訊息會反饋到 Google那裡，Google因此會降低網站分數，對於SEO不是件好事。 五、robots.txt文件 這種事讀者不高興、Google不想要、我當然也不喜歡。為了有效避免，SEO技術中有一種 robots.txt文件，可以很清楚告訴各家搜索引擎，網站中有哪些網頁並不是要給讀者的， 如此一來，提高了網路讀者的使用者體驗，同時也增加搜索引擎收錄效率。以Goggle為例 ，www全球資訊網這麼多網站網頁，如果能預先知道哪些沒有必要收到圖書館中，大大減 輕館員工作負擔，利己利人。 robots.txt文件必須放在網站入口、亦即網站根目錄，沒有架過網站的讀者，把網站想成 電腦資料夾、網頁是資料夾裡的文件，應該會比較容易理解。截圖是贊贊小屋網站範例， 第一次看可能難以理解，同樣以電腦文件，Windows裡面有很多系統文件和使用者操作無 關，網站也是如此，可想見會有很多網站運作有關的程式文件，這裡很多的「Disallow: 」就是要避免這些技術被Google收錄為www網頁，類似於Windows系統隱藏文件的效果。 六、Search Console說明 由於對雙方有利，Google在Search Console說明中心提供很多robots.txt的說明文件，具 體到完整語法和示例語句，有興趣讀者可以參考。 七、遭到robots.txt封鎖 到這裡已經基本瞭解robots.txt文件，回到第一步驟涵蓋範圍中有個「排除」，有2976個 之多，其中237個是被robots.txt文件擋掉的網站文件，可想見如果沒有robots.txt的話 會很麻煩。 以第一個被排除的網頁為例：「 https://www.b88104069.com/archives/category/journey」，這是分類頁面的網頁，參 照第五步驟的「Disallow: /archives/category/」，robots.txt的實際作用和如何設定 應該很清楚了。 八、robots.txt的Disallow設定 終於到達本文最後步驟，依照Google Search Console的索引報告相對應修改robots.txt 文件：「Disallow: /archives/date/」、「Disallow: /archives/author/」。 這篇文章出現了幾次Sitemap，從Google Search Console網站工具上便可知道SEO少不了 Sitemap，以後在系列文章會再作介紹。另外在涵蓋範圍的報告中有很多類別，這篇文章 是集中在robots.txt排除的部份，其他部份同樣留後往後的系列文章。 延伸閱讀： Google Search Console除了網站搜尋量，可查詢網頁關鍵字排名報告，轉Google文件或 Excel https://www.b88104069.com/archives/4484 Google Analytics網站分析與Google Search Console網站排名，兩大工具資料共用容易 卡死的盲點 https://www.b88104069.com/archives/4430 Google Adsense廣告拖慢網站速度不利SEO？刪掉重覆的網頁Async Script非同步程式碼 https://www.b88104069.com/archives/4420 -- 周末，我們繼續Excel：=>21.心得=>5.其他=>3.office 會計人的Excel小教室： https://www.facebook.com/acctexcel --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 183.209.227.137 (中國) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Blog/M.1590934241.A.B86.html