Spam Trafik ve Spam Botlar Nasıl Engellenir?
  1. Anasayfa
  2. İnternet

Spam Trafik ve Spam Botlar Nasıl Engellenir?

Spam trafik ve spam botlar genellikle internet sitelerine zarar vermek, sahte trafiği artırmak veya kötü niyetli amaçlarla kullanılmak için gönderilen istenmeyen trafiği ifade eder. Bu istenmeyen trafiği ve botları engellemek için aşağıdaki önlemleri alabilirsiniz.

  1. İstenmeyen Botları Engellemek İçin CAPTCHA kullanın: Web sitenize giriş yapan kişilerin gerçek insanlar olduğunu doğrulamak için CAPTCHA gibi güvenlik önlemleri ekleyin. Bu, otomatik botların web sitenize erişmesini önler.
  2. IP Adresi Filtreleme: Spam botlar genellikle aynı IP adreslerinden gelirler. Bu yüzden, bilinen spam IP adreslerini veya belirli coğrafi bölgelerden gelen trafiği filtrelemek için IP adresi tabanlı bir filtreleme sistemi kurabilirsiniz.
  3. Kötü Amaçlı Bot Tespit Yazılımları: Web sitenize gelen trafiği analiz eden ve kötü niyetli botları tespit eden yazılımları kullanabilirsiniz. Bu yazılımlar, anormallikleri algılayarak ve botları engelleyerek sitenizin güvenliğini artırabilir.
  4. Robots.txt Dosyası Kullanımı: Robots.txt dosyası, arama motorlarının hangi sayfaları dizine ekleyebileceğini belirler. Bu dosya sayesinde, istenmeyen botların web sitenize erişmesini önleyebilirsiniz.
  5. Doğrulama ve Onay Süreçleri: Kullanıcıların işlemleri tamamlamadan önce doğrulama veya onay süreçleri ekleyerek, botların otomatik olarak işlem yapmasını engelleyebilirsiniz.
  6. Spam Filtreleri: E-posta iletişiminde spam filtrelerinden yararlanın. Bu filtreler istenmeyen e-postaları otomatik olarak tespit eder ve gelen kutusuna ulaşmadan önce bunları spam klasörüne taşır.
  7. Kullanıcı Eğitimi: Kullanıcılarınıza güçlü şifreler oluşturma, şüpheli bağlantılardan kaçınma ve kişisel bilgilerini koruma konusunda eğitim verin. Bu, kötü niyetli botların kullanıcıların hassas bilgilerini ele geçirmesini önleyebilir.

Robots.txt ile spam bot engelleme

Robots.txt dosyası, web sitenizin kök dizininde bulunan ve arama motorlarının ve diğer web tarama botlarının belirli sayfalarınızı ve içeriğinizi nasıl tarayacağını belirten bir metin dosyasıdır. Ancak, robots.txt dosyası, kötü amaçlı trafik veya spam botlarını engellemenin tamamen etkili bir yolunu sağlamaz. Daha gelişmiş önlemler almak için sunucu düzeyinde veya uygulama düzeyinde güvenlik önlemleri almanız gerekebilir. Bununla birlikte, istenmeyen spam botları engellemek için robots.txt dosyanıza aşağıdaki gibi talimatlar ekleyebilirsiniz:

User-agent: Alexibot
User-agent: AppEngine
User-agent: Aqua_Products
User-agent: archive.org_bot
User-agent: archive
User-agent: AhrefsBot
User-agent: AhrefsSiteAudit
User-agent: adbeat_bot
User-agent: asterias
User-agent: b2w/0.1
User-agent: BackDoorBot/1.0
User-agent: BecomeBot
User-agent: BlekkoBot
User-agent: Blexbot
User-agent: BlowFish/1.0
User-agent: Bookmark search tool
User-agent: BotALot
User-agent: BuiltBotTough
User-agent: Bullseye/1.0
User-agent: BunnySlippers
User-agent: CCBot
User-agent: CheeseBot
User-agent: CherryPicker
User-agent: CherryPickerElite/1.0
User-agent: CherryPickerSE/1.0
User-agent: chroot
User-agent: Copernic
User-agent: CopyRightCheck
User-agent: cosmos
User-agent: Crescent
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
User-agent: DittoSpyder
User-agent: dotbot
User-agent: dumbot
User-agent: EmailCollector
User-agent: EmailSiphon
User-agent: EmailWolf
User-agent: Enterprise_Search
User-agent: Enterprise_Search/1.0
User-agent: EroCrawler
User-agent: es
User-agent: exabot
User-agent: ExtractorPro
User-agent: FairAd Client
User-agent: Flaming AttackBot
User-agent: Foobot
User-agent: Gaisbot
User-agent: GetRight/4.2
User-agent: gigabot
User-agent: grub
User-agent: grub-client
User-agent: Go-http-client
User-agent: Harvest/1.5
User-agent: Hatena Antenna
User-agent: hloader
User-agent: http://www.SearchEngineWorld.com bot
User-agent: http://www.WebmasterWorld.com bot
User-agent: httplib
User-agent: humanlinks
User-agent: ia_archiver
User-agent: ia_archiver/1.6
User-agent: InfoNaviRobot
User-agent: Iron33/1.0.2
User-agent: JamesBOT
User-agent: JennyBot
User-agent: Jetbot
User-agent: Jetbot/1.0
User-agent: Jorgee
User-agent: Kenjin Spider
User-agent: Keyword Density/0.9
User-agent: larbin
User-agent: LexiBot
User-agent: libWeb/clsHTTP
User-agent: LinkextractorPro
User-agent: LinkpadBot
User-agent: LinkScan/8.1a Unix
User-agent: LinkWalker
User-agent: LNSpiderguy
User-agent: looksmart
User-agent: lwp-trivial
User-agent: lwp-trivial/1.34
User-agent: Mata Hari
User-agent: Megalodon
User-agent: Microsoft URL Control
User-agent: Microsoft URL Control - 5.01.4511
User-agent: Microsoft URL Control - 6.00.8169
User-agent: MIIxpc
User-agent: MIIxpc/4.2
User-agent: Mister PiX
User-agent: MJ12bot
User-agent: moget
User-agent: moget/2.1
User-agent: mozilla
User-agent: Mozilla
User-agent: mozilla/3
User-agent: mozilla/4
User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 2000)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 95)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows 98)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows NT)
User-agent: Mozilla/4.0 (compatible; MSIE 4.0; Windows XP)
User-agent: mozilla/5
User-agent: MSIECrawler
User-agent: naver
User-agent: NerdyBot
User-agent: NetAnts
User-agent: NetMechanic
User-agent: NICErsPRO
User-agent: Nutch
User-agent: Offline Explorer
User-agent: Openbot
User-agent: Openfind
User-agent: Openfind data gathere
User-agent: Oracle Ultra Search
User-agent: PerMan
User-agent: ProPowerBot/2.14
User-agent: ProWebWalker
User-agent: psbot
User-agent: Python-urllib
User-agent: QueryN Metasearch
User-agent: Radiation Retriever 1.1
User-agent: RepoMonkey
User-agent: RepoMonkey Bait & Tackle/v1.01
User-agent: RMA
User-agent: rogerbot
User-agent: scooter
User-agent: Screaming Frog SEO Spider
User-agent: searchpreview
User-agent: SEMrushBot
User-agent: SemrushBot
User-agent: SemrushBot-SA
User-agent: SEOkicks-Robot
User-agent: SiteSnagger
User-agent: sootle
User-agent: SpankBot
User-agent: spanner
User-agent: spbot
User-agent: Stanford
User-agent: Stanford Comp Sci
User-agent: Stanford CompClub
User-agent: Stanford CompSciClub
User-agent: Stanford Spiderboys
User-agent: SurveyBot
User-agent: SurveyBot_IgnoreIP
User-agent: suzuran
User-agent: Szukacz/1.4
User-agent: Szukacz/1.4
User-agent: Teleport
User-agent: TeleportPro
User-agent: Telesoft
User-agent: Teoma
User-agent: The Intraformant
User-agent: TheNomad
User-agent: toCrawl/UrlDispatcher
User-agent: True_Robot
User-agent: True_Robot/1.0
User-agent: turingos
User-agent: Typhoeus
User-agent: URL Control
User-agent: URL_Spider_Pro
User-agent: URLy Warning
User-agent: VCI
User-agent: VCI WebViewer VCI WebViewer Win32
User-agent: Web Image Collector
User-agent: WebAuto
User-agent: WebBandit
User-agent: WebBandit/3.50
User-agent: WebCopier
User-agent: WebEnhancer
User-agent: WebmasterWorld Extractor
User-agent: WebmasterWorldForumBot
User-agent: WebSauger
User-agent: Website Quester
User-agent: Webster Pro
User-agent: WebStripper
User-agent: WebVac
User-agent: WebZip
User-agent: WebZip/4.0
User-agent: Wget
User-agent: Wget/1.5.3
User-agent: Wget/1.6
User-agent: WWW-Collector-E
User-agent: Xenu's
User-agent: Xenu's Link Sleuth 1.1c
User-agent: Zeus
User-agent: Zeus 32297 Webster Pro V2.9 Win32
User-agent: Zeus Link Scout
Disallow: /

Gördüğünüz gibi eklediğimiz botların sonuna Disallow: / kuralını ekledik. Bu kural eklediğiniz botlar için “İzin verme” talimatıdır. Böylece bu botların sitenizin içeriğine erişmesini istemediğinizi belirtmiş olursunuz. Bazı botlar bu kurallara tamamen uyar, ancak bazılarının da bu kuralları yok saydığını aklınızda bulundurun. Ayrıca yukarıdaki bot türlerini sadece örnek olarak ekledik. Siz bunların tamamını eklemek istemeyebilir ya da bunlara ek olarak farklı botlar da eklemek isteyebilirsiniz. Yukarıdaki şablona uygun olarak dilediğiniz kadar ekleme yapabilirsiniz.

>>   Online Hediye Kartı Nedir, Nasıl Kullanılır?