久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

各大搜索引擎蜘蛛IP段(以及如何判斷蜘蛛真假)

155次閱讀
沒有評論

共計 2181 個字符,預計需要花費 6 分鐘才能閱讀完成。

搜索引擎蜘蛛會定期來抓取網站內容,以便收錄網頁,站長們是非常歡迎蜘蛛來爬的,但是卻有人經常偽造蜘蛛 IP 進行惡意采集內容,還有很多 DDOS 攻擊也會偽造成蜘蛛的 User Agent 來攻擊,我查看過一位站長朋友被 DDOS 攻擊的日志,里面大概 20% 的國外 IP 偽造成 Googlebot 來訪問,這樣會對我們的網站造成影響。我們必須要揪出這些假蜘蛛,拒絕他們訪問網頁,這時候我們只能通過 IP 來識別了,因為 User-agent 是可以偽造的,只有 IP 才能準確判斷。

下面是站長大本營最近收集的各大搜索引擎蜘蛛 ip 數據,數據沒辦法保證完全準確,因為搜索引擎官方是不公開 IP 段的,且 IP 都會變,我對比過多個數據和自己核驗,下面的數據還是挺可靠的,有遺漏的下面還會有解決方案。(以下數據為 2022 年 7 月 15 日收集,如有其它新的還請自己添加)

百度蜘蛛 IP 段:

61.135.0.0/16

123.125.0.0/16

111.206.0.0/16

180.76.0.0/20

180.149.128.0/19

220.181.0.0/16

36.110.128.0/17

124.164.0.0/14

116.179.0.0/16

180.97.0.0/18

Google 中國蜘蛛 IP 段:

203.208.32.0/19

203.208.60.0/24

74.125.0.0/16

72.14.192.0/18

64.233.160.0/19

66.249.64.0/19

66.102.0.0/20

64.68.64.0/19

66.249.90.0/24

66.249.91.0/24

66.249.92.0/24

搜狗蜘蛛 IP 段:

118.184.176.0/22

123.180.0.0/14

123.125.0.0/16

61.135.0.0/16

123.126.64.0/18

111.202.0.0/16

36.110.128.0/19

220.181.0.0/16

106.120.128.0/17

49.7.0.0/18

218.30.96.0/19

106.38.0.0/16

111.13.0.0/16

58.250.0.0/16

183.36.96.0/19

49.7.64.0/18

必應蜘蛛 IP 段:

103.25.156.0/24

111.221.16.0/20

157.56.0.0/16

199.30.16.0/20

65.52.0.0/14

13.64.0.0/11

157.55.0.0/16

207.46.0.0/16

40.64.0.0/10

52.224.0.0/11

40.76.0.0/14

40.80.0.0/12

52.160.0.0/11

360 搜索蜘蛛 IP 段:(這是官方提供的,非常準確)

180.153.0.0/16

180.163.128.0/17

42.224.0.0/12

頭條搜索蜘蛛 IP 段:

110.249.201.0/24

110.249.202.0/24

111.225.148.0/24

111.225.149.0/24

220.243.135.0/24

220.243.136.0/24

111.224.0.0/14

60.8.0.0/15

110.240.0.0/12

220.243.128.0/18

神馬搜索蜘蛛 IP 段:

42.156.128.0/17

42.120.128.0/17

106.11.144.0/20

以上 IP 段可能未來還會新增,而且新增的 IP 段我們也無法獲取到,這時候我們就需要另外一種方案來核實了,那就是 DNS 反查,我們可以通過反查來訪的蜘蛛 IP,查到對應的域名地址即可核實。

通過 DNS 反查 IP 用的是一種代碼指令,不同的操作平臺使用的指令也是不同的,比如:linux、windows、Mac OS 這三個操作平臺,使用的指令為 host、nslookup、dig,查詢的格式為:host ip(ip=ip 地址)、nslookupip(ip=ip 地址)、digip(ip=ip 地址)。例如:host 111.222.XXX.XXX 或 nslookup 111.222.XXX.XXX 或 dig host 111.222.XXX.XXX,如果是用 PHP 可以使用 gethostbyaddr(\”IP\”) 來獲取,不同的蜘蛛 IP 對應的域名是不一樣的,我們只要核實是哪家的蜘蛛就 OK 了。

下面我把各大搜索引擎蜘蛛的域名分享下:

百度蜘蛛 IP 對應的域名 (例子):

baiduspider-116-179-32-216.crawl.baidu.com

谷歌蜘蛛 IP 對應的域名 (例子):

crawl-203-208-60-60.googlebot.com

必應蜘蛛 IP 對應的域名 (例子):

msnbot-40-77-167-2.search.msn.com

搜狗蜘蛛 IP 對應的域名 (例子):

sogouspider-123-126-113-79.crawl.sogou.com

頭條蜘蛛 IP 對應的域名 (例子):

bytespider-111-225-149-71.crawl.bytedance.com

神馬蜘蛛 IP 對應的域名 (例子):

shenmaspider-42-156-137-55.crawl.sm.cn

360 搜索官方說是禁止反查的,所以我們只用官方給出的 IP 段判斷就 OK 了。

通過以上 IP 反查可以得到域名,判斷域名是否是這些域名結尾就可以核實,這樣我們在防御上就不會將搜索引擎蜘蛛誤殺了。

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-06-12發表,共計2181字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 旌德县| 政和县| 依安县| 屯留县| 图片| 论坛| 湘潭县| 正阳县| 泉州市| 玛纳斯县| 连山| 左权县| 昭通市| 瓦房店市| 罗甸县| 阳高县| 博爱县| 都江堰市| 扶余县| 珲春市| 永宁县| 西贡区| 锡林郭勒盟| 平陆县| 探索| 融水| 札达县| 贵定县| 湖北省| 黎川县| 扶余县| 斗六市| 大悟县| 乐安县| 满洲里市| 久治县| 文化| 淮北市| 绿春县| 寻乌县| 柞水县|