原来grep+awk很爽

HK服务器搬家,客户说百度蜘蛛无法访问,阿福看了一下- -是以前的老HK服务器蜘蛛爬的太狠了,然后,蜘蛛显示的是北京电信机房和北京网通机房,所以阿福直接把一个段屏蔽了,今天一看,尼玛百度真坑爹。

好吧,现在的问题是找出百度的IP段,然后给解封

那么只有拽出以前的日志了。

阿福把日志全放在/root/log下面,那么一个命令很爽的就执行下来了

cat /root/log/*.log  | grep Baiduspider* | awk ‘{print $1}’ |uniq >spiderip.txt

然后就找到了百度的访问的多数IP了,解封其IP段即可。。

好吧其实阿福是没找到如何处理IP的ABCD段的方法。。所以就不贴出来了。。。。。。人工肉眼排除的。。。。。

嗯。里面有很多精华,原来阿福是想这么写的

grep Baiduspider *.log >>baiduspider.txt
cat baiduspider.txt|awk ‘{print $1}’|uniq >> spider.txt
sed ‘/./s/$/end/’ spider.txt > spiderip.txt

然后在sed出两个字段间的IP。。然后在然后。。。现在么,上面一行命令能搞定,为何还要三行,更难的呢。。。

受启发文章http://blog.csdn.net/menlinshuangxi/article/details/7979504的 AWK用法那一段的最后,他的截屏。。瞬间豁然开朗

作者: 阿福

购买时被坑爹的枪手坑了。只知道介绍如何如何的好,不知道介绍其坏处。因此,写此博客,望能给各大网友帮助。

《原来grep+awk很爽》有2个想法

发表评论

电子邮件地址不会被公开。 必填项已用*标注