谷歌更新了其官方追蹤器列表,添加了出版商不時看到的相對未知的追蹤器的名稱和信息,但之前沒有相關文件。
儘管谷歌添加了該追蹤器的官方文檔,但所提供的資訊似乎鼓勵進一步澄清。
特殊狀況爬蟲
Google 有多種類型的爬蟲(也稱為機器人和蜘蛛)。
不同形式的追蹤器有:
- 常見爬蟲
這些機器人主要用於索引不同類型的內容。 但一些常見的追蹤器也可用於搜尋測試工具、Google 內部產品團隊使用以及與 AI 相關的追蹤。 - 由使用者啟動的感應器
這些是由用戶啟動的機器人。 這包括獲取來源或站點驗證等用途。 - 特殊狀況爬蟲
這些適用於特殊情況,例如行動廣告網頁的品質檢查或透過 Google API 推播通知。 這些機器人不遵守 robots.txt 中標有星號的全域使用者代理指南
。
新的追蹤器文件適用於 Google-Safety 使用者代理程式。 追蹤器不是新的,但文件是新的。
Google-安全爬蟲
Special Case Crawlers 的 Google-Safety 爬蟲文件是 Google 流程用來尋找惡意軟體的內容。
Google Security Crawler 在特殊情況的抓取工具中是獨一無二的,它完全忽略所有 robots.txt 指令。
Google-Safety Crawler 的新文件:
「Google 安全用戶代理程式處理針對 Google 資產上公開發布的連結的濫用特定跟踪,例如惡意軟體發現。
此用戶代理忽略 robots.txt 規則。”
"Google-Safety"
爬蟲的完整代理字串:
請閱讀 Google 搜尋中心抓取工具頁面上專門針對特殊情況抓取工具的部分中的新 Google 安全用戶代理文件。
Google 抓取工具和檢索器(使用者代理)概述:特殊情況抓取工具