1 頁 (共 1 頁)

[閒聊]搜尋引擎真的很煩

發表於 : 2007-02-13 07:43
yuei
網站不斷被百度跟google掃到資料庫掛掉
封鎖ip也沒用,robots.txt也沒用
誰能提供根絕搜尋引擎bot的好辦法呀呀呀 :cry:

發表於 : 2007-02-16 21:05
ckmarkhsu
最近一直很常看到,封鎖IP也沒用

我一直非常疑惑,難道 spider 會欺騙防火牆XD?

明明我就可以,很顯然是你們封鎖錯了:p

發表於 : 2007-02-17 08:23
chiouss
ckmarkhsu 寫:最近一直很常看到,封鎖IP也沒用
我一直非常疑惑,難道 spider 會欺騙防火牆XD?
明明我就可以,很顯然是你們封鎖錯了:p
因為現在 spider 變聰明了,會用 proxy 上網,鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎?想也知道當然不會嘛 :mrgreen:

發表於 : 2007-04-08 19:21
sashow
chiouss 寫:
ckmarkhsu 寫:最近一直很常看到,封鎖IP也沒用
我一直非常疑惑,難道 spider 會欺騙防火牆XD?
明明我就可以,很顯然是你們封鎖錯了:p
因為現在 spider 變聰明了,會用 proxy 上網,鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎?想也知道當然不會嘛 :mrgreen:

我爬過文了, 但仍找不到相關詳細方法, "擋 User-Agent", 即是要如何做呢?
可以教教我嗎? 謝謝.

發表於 : 2007-04-09 01:00
進藤光
你沒爬對地方... XD :mrgreen:
在 phpBB 裡面封鎖 IP 是沒用的啦~~ :mrgreen: :mrgreen: :mrgreen:

發表於 : 2007-04-09 01:05
sashow
進藤光 寫:你沒爬對地方... XD :mrgreen:
在 phpBB 裡面封鎖 IP 是沒用的啦~~ :mrgreen: :mrgreen: :mrgreen:
所以我就是在問如何"擋 User-Agent"的方法?
我沒有問在phpBB 裡面封鎖 IP, 就知沒有用.

發表於 : 2007-04-09 18:38
Meowmeow
為何Google就對我網站不理不睬呢? :roll:

發表於 : 2007-04-09 22:47
sashow
sashow 寫:
chiouss 寫:
ckmarkhsu 寫:最近一直很常看到,封鎖IP也沒用
我一直非常疑惑,難道 spider 會欺騙防火牆XD?
明明我就可以,很顯然是你們封鎖錯了:p
因為現在 spider 變聰明了,會用 proxy 上網,鎖一個 class C 也可以換另一個 XD
所以我都擋 User-Agent...

至於用 robots.txt 嘛...你認為土匪來你家會先按門鈴嗎?想也知道當然不會嘛 :mrgreen:

我爬過文了, 但仍找不到相關詳細方法, "擋 User-Agent", 即是要如何做呢?
可以教教我嗎? 謝謝.
自問自答:
我找到這了這個方法
http://www.robotstxt.org/wc/exclusion-admin.html
不知是否就是大家所言建議有效的"擋 user-agent" 的方法?
就是這麼簡單嗎?

發表於 : 2007-04-13 14:18
chiangww
擋 user-agent 跟 robots.txt 無關的,剛好我也一篇介紹,請參考 這裡.

發表於 : 2007-04-17 01:35
chison
GOOGLE 的好像可以登記你的網站,要不要宣傳云云~~?

發表於 : 2007-04-17 17:33
Meowmeow
我早就登記多次了。

發表於 : 2007-05-26 00:30
DVDplayer
Meowmeow 寫:我早就登記多次了。
我也是,而且現在我的站莫名其妙的會擋住google

我安裝google analytic 很多功能都被自己的站擋住,無法使用