موتورهای جستجوی وب چگونه کار می‌کنند؟

منبع اصلی:  Webopedia 

ترجمه: اصغر ناصری - زمستان 1391 

موتورهای جستجو ابزار اصلی یافتن اطلاعات در پهنه عظیم وب جهان گستر هستند. بدون موتورهای جستجوی پیشرفته، یافتن اطلاعات مورد نظر در اینترنت تقریبا غیرممکن خواهد بود مگر این که آدرس URL صفحه وب مورد نظر را دقیقا بدانید. در این مقاله نگاه کوتاهی خواهیم انداخت به نحوه کار کردن موتورهای جستجو و عواملی که برخی از آنها را در صدر توجه کاربران قرار می‌دهد. 

وقتی افراد از واژه موتور جستجوی وب استفاده می کنند معمولا منظورشان فرم های جستجویی است که امکان جستجو در میان اسناد HTML گردآوری شده توسط برنامه ای به نام روبوت را می‌دهند. 

اساسا سه نوع موتور جستجو وجود دارد: آنهایی که توسط روبوت عمل گردآوری اطلاعات را انجام می دهند و به نام خزنده (crawler)، مورچه (ant) یا عنکبوت (spider) خوانده می شوند (زیرا عملی مانند خزیدن در پهنه عظیم وب و گردآوری تدریجی داده را انجام می دهند) و آنهایی که اطلاعات آنها توسط افراد گردآوری می شود و بالاخره موتورهای جستجویی که ترکیبی از هر دو عمل را انجام می دهند. 

موتورهای جستجوی مبتنی بر روبوت از نرم‌افزارهای خودکار استفاده می کنند. این نرم‌افزارها یک وب سایت را بازدید کرده، اطلاعات موجود در صفحات آن را خوانده و متا تگ های سایت را بررسی می‌کنند. همچنین لینک‌های موجود در هر صفحه را نیز شناسایی می‌کنند تا صفحاتی که لینک ها به آنها متصل می‌شوند را نیز بدین ترتیب مورد بازدید و نمایه‌سازی قرار دهند. روبوت تمامی اطلاعات گردآوری شده را به مخزن داده مرکزی می‌فرستد تا در آنجا اطلاعات نمایه‌سازی شود. منظور از نمایه‌سازی ذخیره کلید واژه‌های اصلی همراه با آدرسی است که این کلید واژه‌ها در آنجا مشاهده شده‌اند. روبوت بطور دوره‌ای وب ‌سایت‌های قبلی را بازدید می‌کند تا تغییر اطلاعات موجود در آنها را ثبت کند. 

موتورهای جستجویی که توسط انسانها تغذیه می شوند تنها اطلاعاتی را گردآوری و نمایه می‌کنند که توسط عوامل انسانی به آنها ارسال شده است. 

 در هرحال، وفتی عبارتی را در موتور جستجو می کاوید، در حقیقت نمایه ای را جستجو می کنید که موتور جستجو از پیش آماده و ذخیره کرده است. بنابراین واقعا وب را جستجو نمی کنید. این نمایه‌ها بانک های اطلاعاتی غول ‌آسایی از تریلیون ها آدرس می توانند باشند. به همین دلیل برخی نتایجی که موتورهای جستجوی بزرگی مانند Yahoo یا Google بر می‌گردانند لینک های غیرمعتبر یا مرده هستند. از آنجایی که نتایج جستجوی مبتنی بر نمایه هستند، اگر نمایه مرتب بروز نشود ممکن است حاوی اطلاعاتی مربوط به صفحاتی باشد که دیگر در وب موجود نیستند. 

موتورهای جستجوی مختلف از الگوریتم های اختصاصی خود برای رتبه بندی نتایج استفاده می‌کنند. به همین دلیل برخی موتورهای جستجو بهتر و سریع تر شما را به نتیجه مورد نظر می‌رسانند. 

یکی از عناصر اصلی مورد پویش الگوریتم های جستجو، تعداد و مکان ظهور کلیدواژه ها در یک صفحه وب است. هرچه تکرار کلیدواژه ای در یک صقحه وب بیشتر باشد، موتور جستجو اهمیت بیشتری برای آن صفحه قایل شده و آن را در نتایج جستجو در رده بالاتری قرار می دهد. البته الگوریتم های مورد استفاده موتورهای جستجو روز بروز حرفه ای تر می شوند تا صفخات قلابی با محتوای بی ارزش را تشخیص دهند. 

نگاهی به تاریخ موتورهای جستجو 

اولین ابزار جستجوی اینترنت در سال 1990 ابداع شد که Archie نام داشت. این ابزار فهرست های سبسبه مراتبی از تمام فایل هایی که روی سرورهای بدون نام FTP بودند تولید می کرد و بدین ترتیب یک بانک اطلاعاتی قابل جستجو از نام فایل ها ایجاد می‌نمود.یکسال بعد Gopher پا به عرصه گذاشت که می توانست اسناد ایجاد شده با متن ساده را شناسایی و نمایه کند. ورونیکا و جاگ هد دو ابزار فرعی برای جستجوی سیستم نمایه گوفر بودند. اولین موتور جستجوی واقعی وب توسط ماتیو گری در 1993 ابداع شد و Wandex نام داشت.  

 

نمونه ای از فهرست های Gopher 

در مارس 1996 دو دانشجوی دانشگاه استانفورد به نام های لری پیج و سرگئی برین پروژه ای تحقیقاتی به نام موتور جستجوی گوگل را آغاز کردند. این پروژه تحقیقاتی دانشگاهی بتدریج به یکی از بزرگترین و موفق ترین موتورهای جستجوی وب تبدیل شد و هم اکنون کمپانی گوگل در زمره بزرگترین شرکت های دنیای کامپیوتر و اینترنت محسوب می شود. تصویر زیر صفحه موتور جستجوی گوگل در سال 1998 را نشان می دهد: 

برای اطلاعات بیشتر به این مقاله مراجعه کنید: 

جستجوی اطلاعات بر روی اینترنت