Robots.txt விளக்கப்பட்டது

Robots.txt சுருக்கமாக விளக்கப்பட்டுள்ளதுஃ

Robots.txt என்பது உங்கள் தளத்திற்கான ரோபோ அணுகலைக் கட்டுப்படுத்த பயன்படுத்தப்படும் போது ஒரு பயனுள்ள கருவியாகும், அதாவது வேலையில் உள்ள உள்ளடக்கம் மற்றும் முக்கியமான தகவல்கள். இந்த நேரத்தில் ரோபோக்களை தளத்தின் குறியீட்டு பகுதிகளுக்குத் தள்ளும் அனுமதி உத்தரவுக்கு ரோபோக்கள் விலக்கு நிலையான செயற்குழுவால் எந்த ஒப்புதலும் இல்லை. உங்கள் வலைத்தளத்துடன் உள் மற்றும் வெளிப்புறமாக இணைப்பதன் மூலம் இதைத் தொடங்கலாம்.

உங்கள் வலைத்தள பயன்பாட்டு புள்ளிவிவரங்களை மதிப்பாய்வு செய்யும் போது'robots.txt'என்ற கோப்பைப் பற்றிய குறிப்பை நீங்கள் கவனித்திருக்கலாம். இது ஒரு அடிப்படை உள்ளமைவு கோப்பாகும், இது ரோபோக்கள் (தேடுபொறி சிலந்திகள்) எந்த கோப்புகள் மற்றும் அடைவுகளை குறியீடு செய்யக்கூடாது என்பதைக் குறிப்பிட பயன்படுத்துகின்றன.

உங்கள் வலைத்தளத்தின் root இல் robots.txt என்ற கோப்பை வைத்திருப்பது முக்கியம் (http://www.yourdomain.com/robots.txt)robots.txt இன் அடிப்படை பயன்பாடு என்னவென்றால், எந்த கோப்புகள் மற்றும் அடைவுகளை ரோபோக்கள் குறியீடு செய்யக்கூடாது என்பதைக் குறிப்பிடுவதாகும்.

robots.txt கோப்பு கட்டமைப்பின் தொடரியலில் 2 கூறுகள் உள்ளனஃ பயனர் முகவர் வரி மற்றும் அனுமதிக்காத வரி.

இதன் தொடரியல் பின்வருமாறுஃ

பயனர் முகவர்
உங்கள் தளத்தைப் பார்வையிடும் ரோபோக்களின் பட்டியலை உங்கள் வலைத்தளத்தின் புள்ளிவிவரப் பதிவுகளில் காணலாம். பயனர் முகவர்களின் பட்டியலை இங்கே பார்க்கலாம்.http://www.robotstxt.org/wc/active.html

ஒரு குறிப்பிட்ட ரோபோவை பயனர்-முகவர் தொடரியலில் குறிப்பிடலாம்.

பயனர் முகவர்ஃ Googlebot

அனைத்து robots.txt கோப்புகளுடனும் பொருந்த ஒரு வைல்ட் கார்டு பயன்படுத்தப்படலாம்.

பயனர் முகவர்ஃ *

அனுமதிக்க வேண்டாம்
எந்தெந்த கோப்புகள் மற்றும் கோப்பகங்கள் குறியிடப்படக் கூடாது என்று சொற்றொடரின் இந்தப் பிரிவு கூறுகிறது.

உங்களிடம்'addresses.html'என்ற பெயர் கொண்ட ஒரு பக்கம் இருந்தால், ரோபோ அதை குறியிடுவதை நீங்கள் விரும்பவில்லை என்றால், பயனர்-முகவர் தொடரியலுக்குப் பிறகு பின்வரும் வரியைச் சேர்க்கவும்ஃ

அனுமதிக்க வேண்டாம்ஃ addresses.html

நீங்கள் ரோபோவை அடைவு மட்டத்திலும் கட்டுப்படுத்தலாம். உங்கள் வலைத்தளத்தில் உள்ள அடைவு'/ பில்லிங்'குறியீட்டிலிருந்து கட்டுப்படுத்தப்பட வேண்டும் என்றால், பயனர்-முகவர் தொடரியல் பிறகு பின்வரும் உரையை வைக்கவும்.

அனுமதிக்க வேண்டாம்ஃ/பில்லிங் /

ஒரு தளத்தில் உள்ள அனைத்து கோப்புகளையும் குறிப்பிட வைல்ட் கார்டு பயன்படுத்தப்படலாம்.

அனுமதிக்க வேண்டாம்ஃ /

எனது robots.txt கோப்பில் நான் எப்படி கருத்து தெரிவிக்க முடியும்?
குறியீட்டு கருத்துகளை எந்த உரைக்கும் முன்'#'வைப்பதன் மூலம் robots.txt கோப்பில் வைக்கலாம். ஒரு எடுத்துக்காட்டுஃ

#கூகிள்போட்டை பயனர் முகவராக குறிப்பிடுகிறது.
பயனர் முகவர்ஃ Googlebot

வழிகாட்டுதலை விட உங்கள் கருத்துக்களை ஒரு தனி வரியில் வைத்திருப்பது நல்ல நடைமுறையாகும். மேலும், வழிகாட்டுதல் வரிகளின் தொடக்கத்தில் வெள்ளை இடத்தை கட்டுப்படுத்துங்கள்.


பயன்படுத்துவதற்கு robots.txt ஐ வைக்கிறதுஃ
இப்போது robots.txt இன் செயல்பாட்டை நாம் அறிந்திருப்பதால், அதை நடைமுறைப்படுத்துவோம்.

உங்கள் வலைத்தளத்தில் உள்ள அனைத்து பக்கங்களையும் பார்வையிட அனைத்து ரோபோக்களையும் நீங்கள் அனுமதிக்க விரும்பினால், robots.txt கோப்பில் உள்ள உங்கள் தொடரியலில் உள்ள "*" வைல்ட் கார்டைப் பயன்படுத்த வேண்டும்.

பயனர் முகவர்ஃ *
அனுமதிக்க வேண்டாம்ஃ

உங்கள் தளத்தின் அனைத்து குறியீட்டையும் அனுமதிக்காமல் இருக்க, உங்கள் robots.txt கோப்பில் பின்வரும் உரையை உள்ளிடவும்ஃ

பயனர் முகவர்ஃ *
அனுமதிக்க வேண்டாம்ஃ /

'பில்லிங்'என்ற கோப்பகத்திற்குள் உள்ள குறியீட்டு பக்கங்களிலிருந்து ரோபோக்களை அனுமதிக்க வேண்டாம்.

பயனர் முகவர்ஃ *
அனுமதிக்க வேண்டாம்ஃ/பில்லிங் /

"பில்லிங்" மற்றும் "முகவரி" என்று பெயரிடப்பட்ட அடைவுகளுக்குள் உள்ள குறியீட்டு பக்கங்களிலிருந்து ரோபோக்களை அனுமதிக்க வேண்டாம்.

பயனர் முகவர்ஃ *
அனுமதிக்க வேண்டாம்ஃ/பில்லிங் /
அனுமதி வேண்டாம்ஃ/முகவரி /

உங்கள் தளத்திலிருந்து கூகிள்போட்டை அனுமதிக்கவும்.

பயனர் முகவர்ஃ கூகிள்போட்
அனுமதிக்க வேண்டாம்ஃ /

உங்கள் தொடர்பு பக்கத்தை (contact-us.html) அணுகுவதை கூகிள்போட் அனுமதிக்காது.

பயனர் முகவர்ஃ கூகிள்போட்
அனுமதி வேண்டாம்ஃ/தொடர்பு-us.html

கூகிள்போட் உங்கள் தொடர்பு பக்கத்தை அணுகுவதை அனுமதிக்கவும் (எங்களைப் பற்றி/தொடர்பு-us.html).

பயனர் முகவர்ஃ கூகிள்போட்
அனுமதி வேண்டாம்ஃ/நம்மைப் பற்றி/தொடர்பு-us.html

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *