Cuill.com crawler’ı: Twiceler Bot
Bugün başıma enteresan bir olay geldi.
Sitelerimden birinin panelinde işlem yaparken, birden bire sunucu inanılmaz ağırlaştı ve 1-2 dakika içinde sunucu yanıt veremez hale geldi. Ne olduğunu anlamak için ssh üzerinden sunucuya giriş yaptım ve sunucunun ram’inin tamamen dolu olduğunu gördüm. Sonrasında olağan bir saldırı olayı olduğunu düşünerek netstat ile bir inceleme yaptığımda crawler-18.cuill.com, crawler-14.cuill.com ve benzeri adreslerden bir çok bağlantı tespit ettim. Daha sonra bu adresler ile ilgili bir inceleme yaptığımda sorunun sebebini keşfettim.Cuill.com adresinde yeni bir arama motoru projesi start almış. Bununla paralel olarak henüz açık olmayan bu web adresinin sahipleri doğal bir biçimde deliler gibi siteleri crawler (indeksleyici) ile indeksliyorlar. Bu da doğal olarak sunucunun bütün işlem gücünü yiyor ve sunucuyu swap kullanımına sokuyor.
Sitelerinde robotlarıyla ilgili olarak yer verdikleri bilgi sayfasından botlarının ip adreslerini buldum, ne yazık ki hepsinin apf ile sunucuya erişimlerini engelledim. Eğer benzer bir durumu yaşıyorsanız aşağıdaki ip adresleri cuill.com’un twiceler adlı botuna ait, engelleyin, rahatlayın arkadaşım 
38.99.13.121 38.99.44.101 64.1.215.166 208.36.144.6
38.99.13.122 38.99.44.102 64.1.215.162 208.36.144.7
38.99.13.123 38.99.44.103 64.1.215.163 208.36.144.8
38.99.13.124 38.99.44.104 64.1.215.164 208.36.144.9
38.99.13.125 38.99.44.105 64.1.215.165 208.36.144.10
38.99.13.126 38.99.44.106
Eğer yazıyı beğendiyseniz ya da ekleyecekleriniz varsa, lütfen yorumunuz yazın veya RSS aboneliği ile yeni yazılardan anında haberdar olun.
Yorumlar
Henüz Yorum Yok.
Üzgünüz, yazı yorumlara kapalıdır.