جوجل تؤكد وجود‏8.1‏ مليار مستند علي الإنترنت وياهوو ترفع الرقم إلي‏19.2‏ مليار
كم يصل حجم البيانات علي شبكة الانترنت‏..‏ هذا السؤال تحول إلي مجال للجدل والمناقشة العاصفة الأسبوعين الماضيين‏,‏ وبدا كما لو كان سؤالا فلسفيا صعب التقييم من نوع‏:‏ كم عدد الملائكة الذين يمكنهم الرقص علي رأس دبوس‏,‏ وقد أثير السؤال بشدة عقب الخلاف العميق الذي وقع بين اكبر شركتين مسئولتين عن محركات البحث علي الانترنت خلال المؤتمر الاخير لمحركات البحث علي الشبكة وهما جوجل وياهوو صاحبتا أكبر سجلين علي الإطلاق لفهارس المستندات والوثائق الموضوعة علي الشبكة العالمية‏,‏ ففي حين قدرت جوجل عدد المستندات الموجودة علي الشبكة والتي يمكن البحث فيها واسترجاعها بحوالي‏8.1‏ مليار مستند‏,‏ في حين رفعت ياهوو الرقم الي مايزيد علي الضعف وقالت أن عدد المستندات علي الشبكة يصل الي حوالي‏19.2‏ مليار‏.‏
وجاء الرقم المعلن من قبل الشركتين بناء علي عدد المستندات والوثائق المفهرسة والمسجل عنها بيانات في سجل كل محرك البحث وقاعدة بياناته وأدي الفارق الكبير بين الرقمين إلي إثارة موجة من الجدل‏,‏ فقد تساءلت جوجل عن الطريقة التي تحسب بها ياهو هذه العملية وقال سيرجي برين أحد الشريكين المؤسسين لجوجل أنه ربما قد يكون فهرس ياهو قد تضخم بإدخالات مزدوجة بطريقة ما‏,‏ مما يقلل من فاعليتها بالرغم من حجمها‏,‏ وأضاف أن حجم أو شمولية أي محرك بحث ينبغي أن يقاس بعدد صفحات الويب الحقيقية التي يمكن عرضها في مقابل عدد مرات البحث الحقيقية التي يقوم بها زوار الشبكة والتحقق من أنها غير متكررة‏,‏ وقال إننا ذكرنا أن حجم الفهرس الإجمالي لجوجل يعتمد علي هذا المنهج‏.‏
ومن جانبها تشبثت ياهو بما أعلنته قائلة‏:‏ إن عدد المستندات في فهرسها صحيحة‏,‏ وأنها فخورة بما أنجزه علماؤها ومهندسو البحث لديها‏,‏ وأنها تتطلع إلي الاستمرار في تلبية رغبات مستخدمي موقع الشركة من خلال تقديم أفضل خبرات البحث عالية الجودة في العالم
وبسرعة تحول نطاق عمل محركات بحث الإنترنت ـ وبالتالي حجم الإنترنت بشكل غير مباشر ـ إلي مجال نشط لمناقشات وبحوث علوم الكمبيوتر‏,‏ ولكن الكثير ممن شاركوا في المناقشة أبدوا تحفظا علي رقم ياهوو قائلين أن حجم الفهرس غير دقيق ويمكن أن يكون عكسيا إذ يتعلق بنوعية النتائج التي يتم عرضها‏,‏ بينما قال آخرون إن عملية التقييم صعبة وأن مسألة تحديد حجم الفهارس قد أصبحت إلي حد كبير مسألة سياسية وتجارية وأضاف آخر أن المنافسة بين الشركات منافسة شرسة‏.‏
وتستخدم محركات البحث التجارية الكبيرة برامج تعرف بروبوتات الإنترنت وهي برامج تمسح شبكة الانترنت بانتظام لإيجاد المستندات والوثائق والمواقع علي الشبكة وفهرستها‏,‏ وهذه الفهارس نفسها يتم ترتيبها كتراكيب سرية لبيانات الحاسب التي تسمح لمحرك البحث بإرجاع وعرض قوائم من مئات الإجابات في أجزاء من الثانية عندما يقوم مستخدمو الويب بإدخال كلمات للبحث عنها‏.‏
وقد قام الباحثون في المركز الدولي لتطبيقات الحاسبات العملاقة بإلقاء الضوء علي المناقشة من خلال تنفيذ عدد كبير من عمليات البحث العشوائية علي كل من الفهرسين فهرس جوجل وياهو‏,‏ وقاموا بالفعل بإجراء عينة عشوائية تتكون من‏10.012‏ استعلام‏,‏ وانتهت النتائج إلي أن محرك بحث جوجل في المتوسط أرجع‏166.9%‏ نتائج أكثر من محرك بحث ياهو‏.‏ وفي‏3%‏ من الحالات أرجعت عمليات البحث في ياهو نتائج أكثر من جوجل‏,‏ وانتهي الباحثون إلي أن ما أعلنته ياهو عن فهرسها مشكوك فيه‏.‏
ولم تعلن كل من ياهو وجوجل للجمهور خوارزميات البرمجيات التي تشكل أساس طرق البحث التي تعمل بها كل من الشركتين‏,‏ وفي الحقيقة فإن هذه التفاصيل تعد بمثابة أسرار أمنية وتدخل في قلب المنافسة الساخنة الجارية الآن بين كل من جوجل وياهو ومايكروسوفت‏,‏ حيث تسعي هذه الشركات لكي تكون الأقوي في تقديم أكثر النتائج والإجابات صلة بما يقوم المستخدم بالبحث عنه‏.‏
بينما لاحظ أحد المحللين الفرنسيين أن الزيادة في مراجع ياهو باللغة الفرنسية تبدو متوافقة مع العدد الإجمالي الأكبر التي أعلنت عنه ياهو لفهرس محرك البحث‏,‏ ولكن قال إن ذلك ينبغي أخذه بكثير من الحرص إذ أنه حتي الآن لم أجد ياهو مخطئة في التلاعب بالأرقام‏,‏ ولكن قد يكون ذلك سببه ببساطة أنها أكثر ذكاء في التعامل مع الأرقام من منافسيها‏.‏
وفي المقابل قام محلل آخر بإجراء اختبار بحث عشوائي وقال إنه يبدو أن فهرس جوجل أكبر بنسبة‏50%‏ تقريبا بينما ظل لدي بعض المتخصصين الآخرين في محركات البحث بعض الشك في ما يتعلق بالقدرة علي تقدير الويب أو حجم الفهرس مادامت محركات البحث تفرض سياجا من السرية حول طرق عملها‏,‏ وأن الأمر يبدو مثل جدل بين كل من جامعتي هارفارد ويال عن أي من الجامعتين لديها كتب أكثر في مكتباتها‏