Google 的 John Mueller 在 LinkedIn 上回答了一個問題，討論在他個人網站的 robots.txt 中使用不受支援的 noindex 指令。 他解釋了搜尋引擎支援該指令的優缺點，並深入了解了谷歌關於其支援的內部討論。
約翰·穆勒 (John Mueller) 的 Robots.txt
Mueller 的 robots.txt 過去一週一直是人們討論的話題，因為他在其中使用的奇怪和非標準指令普遍很奇怪。
穆勒的 robots.txt 幾乎不可避免地會受到審查並在搜尋行銷社群中瘋傳。
無索引指令
robots.txt 中的所有內容稱為指令。 指令是對網路爬蟲的請求，它必須遵守（如果它遵守 robots.txt 指令）。
對於如何編寫 robots.txt 指令有一些標準，任何不符合這些標準的內容都可能會被忽略。 Mueller 的 robots.txt 中的非標準指令引起了某人的注意，他決定透過 LinkedIn 向 John Mueller 發布有關該指令的問題，以了解 Google 是否支援該非標準指令。
這是一個很好的問題，因為很容易假設如果 Google 員工正在使用它，那麼 Google 可能會支援它。
非標準指令是 noindex。 Noindex 是 robots 元標準的一部分，但不是 robots.txt 標準的一部分。 Mueller 不僅擁有 1 個 noindex 指令，他還擁有 5,506 個 noindex 指令。
提出這個問題的 SEO 專家 Mahek Giri 寫道：
「在約翰·穆勒的 robots.txt 檔案中，
有一個不尋常的順序：
“無索引：”
此命令不是標準 robots.txt 格式的一部分，
那麼您認為這會對搜尋引擎如何索引您的頁面產生任何影響嗎？
約翰·穆勒 (John Mueller) 對 noindex 感到好奇：一個 robots.txt”
為什麼 Google 不支援 Robots.txt 中的 Noindex 指令
谷歌的約翰·穆勒(John Mueller)回答說不支持。
穆勒回應：
“這是一個不受支援的指令，它沒有任何作用。”
Mueller 隨後解釋說，Google曾一度考慮支持 robots.txt 中的 noindex 指令，因為這將為出版商提供一種方式，阻止谷歌同時抓取內容並為其建立索引。
現在可以阻止 robots.txt 中的爬行或使用 robots noindex 元指令阻止索引。 但是您不能同時阻止使用meta robots指令進行索引和阻止robots.txt中的爬行，因為爬行阻止會阻止爬蟲「看到」meta robots指令。
Mueller 解釋了為什麼 Google 決定不再推進在 robots.txt 中遵守 noindex 指令的想法。
他寫了：
「關於是否應該將其作為 robots.txt 標準的一部分進行支持，有很多討論。背後的想法是，同時阻止爬行和索引編制會很好。使用 robots.txt，您可以阻止爬行，或者您可以阻止索引（如果允許爬行，則使用robots 元標記。）這個想法是您也可以在robots.txt 中添加“noindex”並阻止兩者。
不幸的是，由於許多人複製並貼上 robots.txt 檔案而沒有仔細查看它們（很少有人像您一樣仔細查看！），因此某人很容易意外刪除網站的關鍵部分。 因此我們決定，這不應該成為受支持的導演，也不應該成為 robots.txt 標準的一部分……大概是在 10 多年前的此時。”
為什麼這個 Noindex 會出現在 Mueller 的 Robots.txt 中
穆勒明確表示，谷歌不太可能支持這個標籤，這點大約十年前就得到了證實。 這些內部討論的爆料很有趣，但也加深了穆勒的robots.txt的陌生感。
也可以看看： 8 個常見的 Robots.txt 問題及其解決方法
精選圖片由 Shutterstock/Kues 提供
