Halo, nama saya Agung. Berasal dari Denpasar, Bali. Blog ini adalah blog harian saya, dari tips dan trick code, curahan hati, dan beberapa tulisan tidak penting.

Menu & Search

Don’t Forget, Google Crawler

September 8, 2011

Hampir 3 hari mencari kenapa kok website menjadi sangat sangat lambat. Padahal sebelum nya tidak sebegini lambat. Dari tiga hari lalu mencari penyebab lambat nya website yang menjadi jadi. Sampai beberapa kali server harus direstart karena kepenuhan thread server yang terpakai sudah penuh.

Setelah dicari kemana – mana, improve website speed sana sini, akhir nya ketemu juga tersangka nya adalah ip ini : 66.249.69.44, 66.249.69.110, 66.249.68.246, 66.249.69.240. Nah setelah di whois, ternyata IP tersebut adalah IP dari Google bot alias google crawler ! HAHAHA. Jadi selama ini server berat karena Google yang melakukan invasi secara brutal kedalam server. Dan lebih bodoh nya lagi, tidak pernah teringat kalau google akan melakukan crawling ke website.

Dengan data yang cukup besar, dan link yang bejibun. Pantas saja website menjadi lambat. Mana lagi beberapa link menyebabkan database melakukan query yang sangat panjang.

Jadi ada satu lagi konsiderasi untuk menempatkan link. Lebih baik jng memberikan link yang dapat di crawl oleh google atau search engine manapun yang akan menyebabkan proses yang panjang pada server. Atau kalau pun harus memberikan link untuk suatu proses yang lama, lebih baik link nya di arahkan dengan menggunakan javascript atau dengan form. Dan tentu saja jng lupa untuk mendeklarasikan robots.txt pada webserver.

Pengalaman yang sangat menarik.

Related article

Startup, dan Leverage dalam usaha

Kita tau belakangan ini banyak startup berguguran. Bahkan di sebuah…

Sekolah Anak

Beberapa hari lalu, istri bertanya kepada saya, kemana anak kami…

Istri, IRT atau Kerja atau Usaha?

Pernah ga cowo – cowo yang akan nikah berpikir, istri…

Discussion about this post

Leave a Reply

Your email address will not be published. Required fields are marked *

Type your search keyword, and press enter to search