Internet berisi kumpulan informasi yang luas, yang tersebar di setiap bagian dunia pada remote web server. Masalah dalam menemukan informasi yang benar di internet mengarah pada penciptaan teknologi pencarian, yang dikenal sebagai mesin pencari internet. Sebuah mesin pencari dapat menyediakan link ke informasi yang relevan berdasarkan kebutuhan atau query Anda. Contoh mesin pencari internet populer adalah Google, Yahoo, MSN, Lycos dan Ask Jeeves. Dalam rangka memahami terminologi dan teknik untuk posisi halaman website Anda untuk peringkat lebih tinggi di search engine, pengetahuan tentang fungsi dasar mesin pencari sangat penting.Sebuah mesin pencari adalah perangkat lunak komputer, yang terus dimodifikasi untuk memanfaatkan teknologi terbaru untuk memberikan hasil pencarian lebih baik. Masing-masing mesin pencari melakukan fungsi yang sama pengumpulan, pengorganisasian, hasil pengindeksan dan melayani dalam cara yang unik, sehingga menggunakan berbagai algoritma dan teknik, yang merupakan rahasia dagang mereka. Singkatnya, fungsi mesin pencari dapat dikelompokkan menjadi sebagai berikut:
1. Crawling internet untuk konten web.
2. Pengindeksan konten web.
3. Menyimpan isi website.
4. Algoritma pencarian dan hasil.
Crawling dan Spidering Web
Crawling adalah metode link berikut di web ke berbagai situs web, dan mengumpulkan isi dari website ini untuk penyimpanan di database mesin pencari. Crawling di internet dapat mulai dari awal (dimulai dengan situs web populer yang mengandung banyak link, seperti Yahoo) atau dari indeks yang lebih tua yang ada website. The crawler (juga dikenal sebagai web robot atau spider web) adalah sebuah program software yang dapat men-download konten web (halaman web, gambar, dokumen dan file lainnya), kemudian ikuti hyper-link dalam isi web ini untuk men-download isi yang terhubung . Isi yang terhubung dapat di situs yang sama atau pada situs web yang berbeda. sampai menemukan logis berhenti, seperti jalan buntu tanpa eksternal link atau mencapai jumlah menetapkan tingkat dalam struktur link website. Jika sebuah situs web yang tidak di-link dari situs-situs lain di internet, crawler tidak akan mampu menemukan itu. Oleh karena itu, jika situs web baru, dan tidak memiliki link dari situs lain, situs web tersebut harus diserahkan kepada masing-masing mesin pencari untuk Crawling.
Efisiensi Crawling membuat beberapa situs Web pada saat yang sama, sehingga untuk mengumpulkan miliaran isi website sesering mungkin. Berita dan situs media yang Crawling lebih sering (setiap jam atau lebih) oleh lanjutan mesin pencari seperti Google, agar dapat memberikan berita terbaru dan konten dalam hasil pencarian mereka. Para penjelajah juga tidak banjir satu situs Web dengan volume tinggi permintaan pada saat yang sama, tetapi menyebar, Crawling selama periode waktu itu sehingga situs web tidak akan crash. Biasanya mesin pencari hanya Crawling beberapa (tiga atau empat) level dari homepage dari sebuah website. Crawling dalam istilah lain digunakan untuk menunjukkan bahwa crawler atau spider dapat mengindeks halaman yang banyak level. Google adalah contoh crawler yang mendalam.Crawlers atau web robot mengikuti pedoman yang ditetapkan bagi mereka oleh pemilik situs menggunakan protokol pengecualian robot (robots.txt). Robots.txt akan menentukan file atau folder yang pemiliknya tidak ingin meng-index penjelajah di database-nya. Banyak mesin pencari tidak suka URL yang tidak bersahabat, seperti yang dihasilkan oleh database driven website. Situs ini berisi parameter URL setelah tanda tanya (seperti http://somedomain.com/article.php?cat=1&id=3). Mesin pencari tidak menyukai URL tersebut karena situs web bisa mengalahkan penjelajah dengan menggunakan parameter untuk menghasilkan ribuan halaman web baru untuk mengindeks dengan isi yang serupa. Jadi, crawler sering mengabaikan perubahan dalam parameter sebagai bagian dari URL baru untuk spider.
Sumber: http://inconcept.wordpress.com/2010/01/13/internet-search-engine/
SEARCH ENGINE (MESIN PENCARI) adalah program komputer yang dirancang untuk membantu seseorang menemukan file-file yang disimpan suatu website, misalnya dalam sebuah server umum di web. Fungsi dari search engine atau mesin pencari sama dengan definisi dari mesin itu sendiri, yaitu membantu manusia untuk menemukan file-file atau informasi yang kita butuhkan. Saat ini telah banyak search engine yang tersedia, antara lain kita ambil contoh: http://www.yahoo.com/, http://www.google.com/, dll. Dalam memudahkan pencarian kita harus menuliskan kata kunci yang mendekati dengan informasi yang akan kita cari, yaitu pada kolom search.
Cara mencari Informasi berupa web :
Pertama-tama kita buka dahulu situs mesin pencari, misal www.google.com. Kemudian kita masukkan kata kunci pada kolom search. Pilih kategori yaitu web. kemudian pilih search. Setelah proses selesai, maka akan muncul list web yang berhubungan dengan kata kunci dan jika salah satunya adalah yang kita cari , maka dapat kita pilih.
Cara menyimpan informasi berupa web yaitu setelah kita memilih web tersebut dan web tersebut telah terdownload seluruhnya, maka kita dapat memilih options file yang ada pada pojok kanan atas, kemudian pilih save as. kemudian kita ketik nama untuk halaman tersebut, lalu pilih save as. Maka halaman tersebut secara otomatis akan tersimpan di komputer kita.
Cara mencari informasi berupa gambar :
Pertama-tama kita buka dahulu situs mesin pencari, misal www.google.com. Kemudian kita masukkan kata kunci pada kolom search. Pilih kategori yaitu gambar . Kemudian pilih search. Setelah proses selesai, maka akan muncul deretan gambar-gambar yang berhubungan dengan kata kunci dan jika salah satunya adalah yang kita cari , maka kita pilih.
Cara menyimpan informasi berupa gambar yaitu setelah kita memilih gambar tersebut dan gambar tersebut telah terdownload seluruhnya, maka kita dapat memilih options file yang ada pada pojok kanan atas, kemudian pilih save as. kemudian kita ketik nama untuk gambar tersebut, lalu pilih save as. Maka gambar tersebut secara otomatis akan tersimpan di komputer kita