[問題] 咕狗大軍入侵

文章由 **MOTO CITY** » 2005-08-13 11:53

站長們請檢測這個IP 66.249.65.42 就知道他是哪來的
來更新搜尋引擎的內容當然歡迎
不過也來的太過份了
幾乎每天造三餐來報到\r
一次都五六十組複製兵團
把網站砍的死死的

有必要這樣嗎?
若是您的站您會封了他嗎?

文章由 **神川小羽** » 2005-08-13 12:10

比較大型的站台的話，最好是限制他不要抓取你內部的文章資料
映象中，有可以讓他只到門口就抓抓網頁上面的標題段就離開的方法
不過我沒嘗試過，相關資料你可能要到辜狗的網站上找看看。

不過我是覺得辜狗雖然每天也是會光顧我家，不過沒啥感覺耶...
百度跟msn的比較變態的感覺....。

文章由 **Kill** » 2005-08-13 12:27

百度不知道為什麼不會來我家

google倒是每天來

文章由 bu » 2005-08-13 23:19

在.. 目錄下.. 放 robots.txt

代碼: 選擇全部

User-agent: *
Disallow: /

(我放了)

文章由 **MOTO CITY** » 2005-08-14 12:59

bu 寫:在.. 目錄下.. 放 robots.txt
代碼: 選擇全部
User-agent: *
Disallow: /
(我放了)

文章由 **swbchen** » 2005-08-20 10:09

有何作用???

文章由 **StickyKid** » 2005-08-20 10:16

可以禁止搜尋引擎的機器人(robot)進入你的論壇抓資料
通常機器人一進來流量就會暴增，甚至破表

放robots.txt有好有壞
好處是「正常情況下」不會有流量暴增的問題
但相對的網站被放到搜尋引擎的機會也大大降低

來這個網站看看吧^__^"
下次有問題可以先上google或雅虎奇摩知識+找找\r
http://www.hkwebs.net/catalog/teach/setting/robots.php

文章由 **MOTO CITY** » 2005-08-21 21:10

感謝StickyKid的分享\r

很受用的資料參考