為什麼這次新聞值得看
Cloudflare 在 2026 年 7 月 1 日宣布新的 AI 流量管理選項,網站主不再只能用「封鎖 AI bots」這種單一開關,而是可以依照 AI 爬蟲行為,把流量分成 Search、Agent、Training 三類管理。
這件事對 SEO / GEO 很重要,因為未來「讓 AI 搜尋看得見」和「讓 AI 拿去訓練」會越來越不是同一件事。以前很多網站只問:我要不要讓機器人進來?現在更好的問題是:哪些機器、為了什麼目的、可以讀哪些內容?
我的讀法
AI 搜尋能見度正在從內容問題,變成內容加權限設計問題。你要讓好內容被找得到,也要避免敏感內容被錯用。
Search、Agent、Training 差在哪裡
Cloudflare 的定義很直接。Search 指的是爬取、索引網站內容,讓內容之後能出現在搜尋或回答脈絡中;Agent 指的是代表使用者即時完成任務的自動化行為,例如聊天工具擷取網頁,或瀏覽器 Agent 代替人操作網站;Training 則是把內容拿去訓練或微調模型。
這三種目的以前常被混在一起看,但對網站經營者來說,商業意義完全不同。服務頁被搜尋系統理解,可能帶來詢問;內部資料被拿去訓練,可能是風險;Agent 代表使用者操作網站,則牽涉權限、登入、付款、表單與客服流程。
9 月 15 日的新預設值
最值得注意的是預設值變化。Cloudflare 表示,從 2026 年 9 月 15 日開始,新加入 Cloudflare 的網域,在有廣告的頁面上,Training 和 Agent 會預設封鎖,Search 則預設允許。Cloudflare 的理由是,有廣告的頁面通常代表網站主希望真人進站、看到內容、產生可變現的注意力;Search 比較可能帶回訪客,所以預設維持開放。
這不是所有網站都必須照單全收。Cloudflare 也說既有與新客戶都可以調整設定。對企業來說,重點不是追著預設值跑,而是把自己的內容類型、流量模式與商業目標講清楚。
這和台灣中小企業有什麼關係
如果你的網站有服務頁、產品頁、FAQ、教學文章、案例研究或部落格,你大多希望這些內容被搜尋與 AI 回答系統理解。否則你的品牌可能在傳統搜尋之外的新入口被看不見。
但如果你有付費內容、授權敏感資料、客戶案例細節、原創資料庫、價格規則、會員內容或不希望被模型吸收的內容,就不該只靠同一個 robots.txt 或外掛開關處理全部情境。
對中小企業來說,實務重點不是「全部封鎖」或「全部開放」,而是把 AI 爬蟲政策當成新的內容能見度策略:哪些內容應該被搜尋類系統理解?哪些內容不應該被訓練?哪些流程不應該讓 Agent 直接操作?
多用途爬蟲讓問題更複雜
Cloudflare 文件也補上一個重要細節:多用途爬蟲如果同時具備 Search 與 Training 行為,會受到 Training 封鎖設定影響。這代表品牌不能只問「某個爬蟲要不要放行」,而要進一步問:這個爬蟲到底是搜尋索引用、AI 訓練用,還是兩者都有?
這也會讓 GEO 的工作更像「內容權限設計」。過去 SEO 常把重心放在標題、內文、schema、速度與索引狀態;現在還要補上一層:哪些內容要讓 AI 系統讀到,哪些內容只允許在有引用、帶回流量或商業授權的情況下使用。
我會先做一張 AI 爬蟲政策表
第一,盤點公開內容。把服務頁、產品頁、FAQ、比較文、教學文、案例頁列出來,標記哪些頁面應該讓 Search 類系統理解。這些頁面通常要保持可讀、結構清楚、來源可信。
第二,分離敏感內容。付費內容、原創資料、客戶細節、內部文件、授權素材,不要和公開 SEO 內容混在同一套存取策略裡。這些內容要另外決定 Training 與 Agent 權限。
第三,定義 Agent 邊界。若未來瀏覽器 Agent 或聊天工具代表使用者操作網站,哪些動作可以只是讀取?哪些動作需要登入?哪些動作涉及付款、刪除、修改資料或提交表單,因此必須有人確認?
第四,記錄決策理由。不要只留下「允許」或「封鎖」。要寫下為什麼:是為了搜尋能見度、避免訓練、保護商業模式,還是避免自動化操作造成錯誤。
7Pyramid 觀點
AI 爬蟲治理不只是技術設定。它是內容策略、商業模式和風險管理的交界。
重點整理
這次 Cloudflare 更新不是單純的技術小功能,而是在提醒網站經營者:AI 搜尋時代的能見度,不只看你有沒有內容,也看你如何讓機器讀、讓誰讀、用什麼目的讀。
對台灣中小企業來說,成熟的做法不是把 AI 爬蟲全部擋掉,也不是全部放行。先盤點內容,再把 Search、Agent、Training 分開決策,才比較能同時保住能見度、資料權益與營運安全。
想看更多白話的 AI、SEO / GEO 與營運工作流整理,歡迎逛逛我們的部落格。
資料來源
- Cloudflare Blog:Your site, your rules: new AI traffic options for all customers
- Cloudflare Docs Changelog:New options to manage AI traffic
- Cloudflare Docs:Block AI Bots
- TechCrunch:Cloudflare's new policy pushes AI companies to pay for publishers' content
常見問題
Search、Agent、Training。Search 偏向搜尋索引與回答脈絡;Agent 是代表使用者即時完成任務;Training 則是把內容拿去訓練或微調模型。
不一定。公開服務頁、FAQ、案例與教學內容通常需要被搜尋類系統理解;付費內容、授權敏感資料或內部資料則應該另外評估 Training 與 Agent 權限。
AI 搜尋能見度不只取決於內容品質,也取決於機器是否被允許讀取、索引、引用或代表使用者操作網站。
先盤點網站頁面,分出需要被 AI 搜尋理解的公開內容、授權敏感內容,以及不適合被 Agent 操作的流程。
