Daftar Kode Pemanggil Robot Crawler Super Lengkap serta Cara Pemasanganya

List Komplit Kode Pemanggil Robot Crawler Part 1

Perlu sobat ketahui, bahwasanya tidak semua pengguna internet di dunia ini menggunakan +Google sebagai mesin search di browser mereka. memang untuk saat ini google adalah rajanya mesin pencari. tapi ingat.. itu tidak di semua tempat dan semua browser. lihatlah di china, google disana tidak berlaku, penduduk china 90% menggunakan baidu daripada mesin pencari lainnya. dan faktanya china adalah penduduk terbanyak di muka bumi. itu baru china, belum rusia yang lebih loyal terhadap yandex. belum australia, jerman dsb. dan perlu diketahui juga bahwa tidak semua pengguna internet di indonesia menggunakan google, karena ada sebagian free software yang jika diinstal akan mengharuskan penggunanya untuk memakai mesin pencari tertentu, seperti ask.com, bing, conduit, gigablast, live ataupun mesin pencari yang lainnya.

Sobat bisa melihat gambar ranking alexa internasional dibawah ini, memang google adalah no 1, tapi bukan berarti google tidak ada saingannya kan?

Daftar Kode Pemanggil Robot Crawler Super Lengkap serta Cara Pemasanganya

Nah, di postingan kali ini anda dapat melihat List Komplit Kode Pemanggil Robot Crawler yang berguna untuk memanggil robot crawler ke blog sobat. saya yakin postingan ini adalah postingan pertama blogger indonesia yang akan membagikan kode pemanggil robot crawler secara komplit

dan tentunya lumayan kan jika visitor website atau blog sobat bukan hanya dari google.com. sebagai pembukaan cobalah lihat kode meta pemanggil robot dibawah ini.

~~<meta content='ALL' name='SPIDERS'/>~~
~~<meta content='ALL' name='WEBCRAWLERS'/>~~
~~<meta content='follow, all' name='alexabot'/>~~
<meta content='follow, all' name='googlebot'/>
<meta content='follow, all' name='Googlebot-Image'/>
<meta content='follow, all' name='msnbot'/>
<meta content='follow, all' name='robots'/>
<meta content='follow, all' name='Scooter'/>
<meta content='follow, all' name='Slurp'/>
<meta content='follow, all' name='ZyBorg'/>

Yang saya coret 3 baris paling atas adalah sebuah kesalahan yang fatal, karena tidak ada kode all untuk spiders dan webcrawlers, sedangkan robot alexa adalah ia_archiver bukan alexabot, lihat penjelasannya di http://www.alexa.com/faqs/?p=18031 dan http://www.alexa.com/faqs/?p=18361.

Dan dibawah ini adalah screenshoot blog saya yang pernah mendapatkan kunjungan dari alexa search tentunya dengan menggunakan kode ia_archiver

List Komplit Kode Pemanggil Robot Crawler

Kemudian kode 'Scooter' adalah robot crawler asing yang mana saya sendiri belum pernah menemukan kode yang valid tentang Scooter, kode ZyBorg memang ada. yang mana ZyBorg ini adalah agen dari wisenutbot.com, sebuah mesin search dari jepang. akan tetapi menggunakan kode meta ZyBorg tidak akan berguna sama sekali kecuali postingan sobat memakai tulisan kanji dan hiragana

Dibawah ini adalah listnya. saya sertakan juga sumber valid kode robot dibawahnya. karena banyaknya kode maka postingan ini akan saya bagi menjadi 2 bagian. cara menggunakan meta pemanggil robot ini sangat mudah, contoh <meta content='follow, all' name='008'/> kemudian pasang diantara <head> ... </head> di template sobat.

008

http://www.80legs.com/webcrawler.html

ABACHOBot

Abacho's spider. German based portal and search engine. Has localized versions in the following countries: Austria, Switzerland, France, UK, Spain, Italy, Sweden and Turkey.

Accoona-AI-Agent

Accoona's webcrawler

AnyApexBot

http://www.anyapex.com/bot.html

Arachmo

Baiduspider

http://www.baidu.com/search/spider_jp.html
http://www.baidu.com/search/spider.htm

BecomeBot

http://www.become.com/site_owners.html

BeslistBot

http://www.beslist.nl

BillyBobBot

http://www.billybobbot.com/crawler

Bimbot

Bingbot

http://www.bing.com/bingbot.htm

boitho.com-dc

http://www.boitho.com/dcbot.html

boitho.com-robot

boitho.com-robot/1.0

btbot

http://www.btbot.com/btbot.html

CatchBot

http://www.catchbot.com

Charlotte

http://www.searchme.com/support/

ConveraCrawler

http://ews.converasearch.com/crawl.htm

Covario IDS

http://www.covario.com/ids

DataparkSearch

DiamondBot

Discobot

http://discoveryengine.com/discobot.html

Dotbot

http://www.dotnetdotcom.org/#info

EmeraldShield.com WebBot

http://www.emeraldshield.com/webbot.aspx

envolk[ITS]spider

http://www.envolk.com/envolkspider.html

EsperanzaBot

http://www.esperanza.to/bot

Exabot

FAST Enterprise Crawler

http://www.scirus.com/srsapp/contactus

FAST-WebCrawler

http://fast.no/support/crawler.asp

FDSE robot

Search engine of Fluid Dynamics Software Corporation

FindLinks

http://wortschatz.uni-leipzig.de/findlinks/

FurlBot

Furl's crawler. Furl is a social bookmark service from LookSmart

FyberSpider

http://www.fybersearch.com/fyberspider.php

Gaisbot

http://gais.cs.ccu.edu.tw/robot.php

GalaxyBot

http://www.galaxy.com/galaxybot.html

genieBot

Web-indexing robot of GenieKnows Local Search Engine

Gigabot

http://www.gigablast.com/spider.html

Googlebot

http://www.google.com/bot.html

Googlebot-Image

http://www.google.com/bot.html

GurujiBot

http://www.guruji.com/en/WebmasterFAQ.html

HappyFunBot

http://www.happyfunsearch.com/bot.html

Holmes

http://morfeo.centrum.cz/bot

htdig

Crawler of the ht://Dig Group's software package, a system for indexing and searching a finite (not necessarily small) set of sites or intranet. It is not meant to replace any of the many internet-wide search engines. htdig retrieves HTML documents using the HTTP protocol.

iaskspider

Bot for iAsk , chinese search engine from Sina.com

http://iask.com/help/help_index.html

ia_archiver

Alexa Web crawler

http://www.alexa.com/faqs/?p=18031

iCCrawler

http://www.iccenter.net/bot.htm

ichiro

http://help.goo.ne.jp/door/crawler.html

igdeSpyder

http://igde.ru/doc/tech.html

IRLbot

http://irl.cs.tamu.edu/crawler

IssueCrawler

Govcom.org Foundation's web bot. Locates and visualizes networks on the Web. The Issue Crawler is used by NGOs and other researchers to answer questions about specific networks and effective networking more generally. You also may do in-depth research with the software. You need an account to use it.

Jaxified Bot

http://www.jaxified.com/crawler

Jyxobot

Czech Webcrawler for Jyxo

KoepaBot

http://www.koepa.nl/bot.html

L.webis

http://webalgo.iit.cnr.it/index.php?pg=lwebis

LapozzBot

http://robot.lapozz.com

LDSpider

http://code.google.com/p/ldspider/wiki/Robots

Lanjut lagi

LexxeBot

Linguee Bot

http://www.linguee.com/bot

LinkWalker

lmspider

lwp-trivial

mabontland

magpie-crawler

Mediapartners-Google

MJ12bot

Mnogosearch

mogimogi

MojeekBot

http://www.mojeek.com/bot.html

Moreoverbot

http://w.moreover.com

Morning Paper

msnbot

http://search.msn.com/msnbot.htm

MSRBot

http://research.microsoft.com/research/sv/msrbot

MVAClient

mxbot

http://www.chainn.com/mxbot.html

NetResearchServer

loopimprovements.com/robot.html

NetSeer Crawler

NewsGator

http://www.newsgator.com

NG-Search

http://www.ng-search.com)

nicebot

noxtrumbot

Nusearch Spider

www.nusearch.com

NutchCVS

http://www.nutch.org/docs/en/bot.html

Nymesis

http://nymesis.com

obot

oegp

omgilibot

http://www.omgili.com/Crawler.html

OmniExplorer_Bot

http://www.omni-explorer.com

OOZBOT

http://www.setooz.com/oozbot.html

Orbiter

http://www.dailyorbit.com/bot.htm

PageBitesHyperBot

http://www.pagebites.com

Peew

http://www.peew.de/crawler

polybot

http://cis.poly.edu/polybot

Pompos

http://pompos.iliad.fr

PostPost

http://postpo.st/crawlers

Psbot

http://www.picsearch.com/bot.html

PycURL

Qseero

Radian6

www.radian6.com/crawler

RAMPyBot

http://www.giveramp.com/bot.html

RufusBot

http://64.124.122.252/feedback.html

SandCrawler

SBIder

http://support.sitesell.com/contact-support.html

ScoutJet

http://www.scoutjet.com

Scrubby

http://www.scrubtheweb.com/abs/meta-check.html

SearchSight

http://SearchSight.com

Seekbot

http://www.seekbot.net/bot.html

semanticdiscovery

Sensis Web Crawler

SEOChat::Bot

SeznamBot

http://fulltext.sblog.cz/robot

ShopWiki

http://www.shopwiki.com/wiki/Help

Shoula robot

silk

http://www.slider.com/silk.htm

Sitebot

http://www.sitebot.org/robot

Snappy

http://www.urltrends.com

sogou spider

Sosospider

http://help.soso.com/webspider.htm

Speedy Spider

http://www.entireweb.com/about/search_tech/speedy_spider

suggybot

http://blog.suggy.com/was-ist-suggy/suggy-webcrawler

SynooBot

http://www.synoo.de/bot.html

Teoma

http://about.ask.com/en/docs/about/webmasters.shtml

TerrawizBot

http://www.terrawiz.com/bot.html

TheSuBot

www.thesubot.de

Thumbnail.CZ robot

http://thumbnail.cz/why-no-robots-txt.html

TinEye

http://tineye.com/crawler.html

truwoGPS

http://www.lan4lano.net/browser.html

TurnitinBot

http://www.turnitin.com/robot/crawlerinfo.html

TweetedTimes Bot

http://tweetedtimes.com

updated

http://www.updated.com

Urlfilebot

http://urlfile.com/bot.html

Vagabondo

http://webagent.wise-guys.nl

VoilaBot

http://www.voila.com

Vortex

http://marty.anstey.ca/robots/vortex

voyager

http://www.kosmix.com/crawler.html

webcollage

Websquash.com

wf84

http://www.almaden.ibm.com/cs/crawler

WoFindeIch Robot

http://www.search.wofindeich.com/robot.php

WomlpeFactory

http://www.Womple.com/bot.html

Xaldon_WebSpider

yacy

http://yacy.net/bot.html

Yahoo! Slurp

http://help.yahoo.com/help/us/ysearch/slurp

Yahoo! Slurp China

http://misc.yahoo.com.cn/help.html

YahooSeeker

help.yahoo.com/help/us/shop/merchant

YahooSeeker-Testing

http://search.yahoo.com

YandexBot

http://yandex.com/bots

YandexImages