به گوگل کمک کنید محتوای شما را پیدا کند

اولی گام برای قرار گیری وبسایت در شرکت تولید محتوا گوگل این میباشد که مطمئن گردید گوگل می‌تواند آن را پیدا نماید. شایسته ترین رویه برای این شغل ساخت و ساز sitemap یا این که نقشه وبسایت میباشد. Sitemap یک پوشه میباشد که در تارنما شما قرار میگیرد و به موتور های کاوش در رابطه صفحه ها تازه یا این که عوض شده اگاهی می‌دهد.
همینطور گوگل از روش نقشه وبسایت پیوند های دیگر صفحه ها را پیدا می نماید. 

به گوگل بگویید چه صفحاتی نباید crawl شوند
برای داده ها غیر حساس، با استعمال از robots.txt بازدارنده از crawl آنان گردید. 
پوشه robots.txt به موتور های کاوش می‌گوید که میتوانند به چه بخش هایی از تارنما دسترسی داشته باشند و آنها را crawl نمایند. این فولدر که اسم آن مطلقاً می بایست robots.txt باشد، در فولدر مهم وبسایت شما قرار می‌گیرد. ممکن میباشد برخی صفحاتی که به وسیله robots.txt مسدود گردیده اند همچنان قابل crawl باشند، به این ترتیب برای صفحه های حساس بایستی از طریق مطمئن تری به کار گیری نمایید.

ممکن میباشد نخواهید صفحه های مشخصی از سایتتان به جهت غیر کاربردی بودن crawl شوند. چنانچه بخواهید بازدارنده از crawl صفحه های بوسیله موتور های کاوش گردید، google search console به شما قابلیت میدهد robots.txt ساخت‌و‌ساز فرمایید. در‌صورتی‌که که دارنده subdomain می باشید و نمی‌خواهید صفحه های مشخصی از subdomain شما crawl شوند بایستی برای آنها به صورت جدا از هم robots.txt ساخت‌و‌ساز فرمائید. 
از این موردها دوری کنید:

اذن دادن crawl شدن صفحه ها داخلی وبسایت
اذن دادن به crawl شدن نشانی هایی که تحت عنوان خدمت های پراکسی تولید گردیده اند.