فایل robots.txt به خزنده های موتور جستجو می گوید که خزنده به چه URL هایی در سایت شما دسترسی دارد. این کار عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست ها استفاده می شود.

کامل بهرامی: دانشآموخته کارشناسی ارشد رشته مهندسی کامپیوتر گرایش نرمافزار از دانشگاه ارومیه هستم. به حوزه کامپیوتر، برنامهنویسی و فناوری اطلاعات علاقهمندم و در حوزههای مذکور در مکتب خونه، مجله فرادرس، هاست ایران، مدیااد، تپسل، متریکس، سبز لرن و غیره تولید و ویراستاری محتوا انجام میدهم. هماکنون سه سال است که در این حوزه مشغول به کار هستم و بالای 6000 مقاله در سطح وب دارم. از سال ١٤٠١ به بعد به عنوان ویراستار و مدیر تیم نویسندهها در مکتب خونه فعالیت مستمر دارم.