כלים ללכידה ולהמרה של האינטרנט

האם מגרד האינטרנט של GrabzIt מכבד קבצי robots.txt?

מגרד האינטרנט שלנו צריך לכבד את הכללים שנמצאים בקובץ robots.txt אתרי אינטרנט. אחת הסיבות העיקריות לכך, מלבד היותן נחמדות, היא שמגרדי אינטרנט שאינם עוקבים אחר קובץ robots.txt יכולים למצוא את עצמם מופיעים ברשימה השחורה על ידי שירות Honeypot.

שירותים אלה משתמשים ב- robots.txt כדי לומר למגרד רשת לא לבקר בקובץ מסוים שמקושר אליו מהאתר. אם מגרד האינטרנט עדיין מבקר בקובץ, כתובת ה- IP של מגרדי האינטרנט מופיעה ברשימה השחורה, ומונעת את מגרד האינטרנט לבקר באתר האינטרנט בעתיד.