AI爬蟲攫奪資訊 媒體築防火牆

新聞出版商正在保護其內容，以阻止不付費的AI爬蟲行為。《華爾街日報》報導，這些AI工具整理大量資訊後提供給使用者，大幅減少網頁流量與收入，許多主流媒體已採取行動，因應逐漸改變的網際網路生態。

　報導指出，出版商正在加強保護其網站，防止科技公司為了新的AI工具竊取內容，他們正進行起訴或是達成許可協議，要求對其內容的使用進行補償。許多公司曾禮貌要求AI機器人停止抓取內容，現在他們正努力徹底封鎖網站上的爬蟲程式。

　《大西洋月刊》執行長湯普森表示：「你希望是人類在閱讀你的網站，而不是機器人，尤其是那些不會給你帶來任何價值的機器人。」

　《大西洋月刊》與OpenAI簽訂了使用協議，計畫在網路服務商Cloudflare的幫助下限制AI業者入侵網站。Cloudflare本月稍早推出一項新功能，可以作為AI網路爬蟲的收費站，客戶可以決定AI程式是否允許抓取以及如何使用存取的內容。

　報導指出，網路抓取的歷史幾乎和網路本身一樣悠久，但自90年代Google還是一家新創公司，網路已經發生了翻天覆地的變化。當時讓Google自由抓取資料有其好處，被抓取的網站會出現在搜尋結果中，帶來流量和廣告收入。但從ChatGPT到Google的AI助理Gemini，一群新的AI聊天機器人能夠從開放網路獲取大量資料再提供簡潔答案，從而徹底消除許多用戶造訪網站的需求。

　Cloudflare稱，過去一年爬蟲活動增加了18％。Google推出AI模式後，許多出版商的搜尋流量急劇下降，他們正準備迎接AI模式進一步的打擊，此模式以提供比傳統搜尋少得多的連結數量回應使用者的查詢結果。

　版權糾紛和遏制免費爬蟲的技術措施的結果，可能會對媒體產業乃至整個網路的未來產生巨大影響。出版商本質上是在試圖隔離網路空間，而AI公司則辯稱，他們抓取的內容是合法的。

　文章提到，有些人擔心，隨著越來越多的網站被設置障礙，學術研究、安全掃描和其他類型的良性網路爬蟲將被排擠出網際網路。維基百科的出版商維基媒體今年稍早宣布計畫修改網站的訪問政策，「以幫助辨別哪些人在大規模重複使用內容」。該公司表示，網頁爬蟲工具正在使其基礎設施超負荷運作。