Robots.txt સમજાવવામાં આવ્યું

Robots.txt એ ટૂંકમાં સમજાવ્યુંઃ

Robots.txt એ એક ઉપયોગી સાધન છે જ્યારે તમારી સાઇટ પર રોબોટ ઍક્સેસને મર્યાદિત કરવા માટે ઉપયોગમાં લેવાય છે, જેમ કે કાર્યમાં સામગ્રી અને સંવેદનશીલ માહિતી. આ સમયે રોબોટ્સ એક્સક્લુઝન સ્ટાન્ડર્ડ વર્કિંગ ગ્રુપ દ્વારા મંજૂરી નિર્દેશ માટે કોઈ સમર્થન નથી જે રોબોટ્સને સાઇટના અનુક્રમણિકા ભાગો પર ધકેલી દેશે. આ હજુ પણ તમારી વેબ સાઇટ સાથે આંતરિક અને બાહ્ય રીતે લિંક કરીને શરૂ કરી શકાય છે.

તમે તમારી વેબસાઇટના ઉપયોગના આંકડાઓની સમીક્ષા કરતી વખતે'robots.txt'નામની ફાઇલનો સંદર્ભ નોંધ્યો હશે. આ એક મૂળભૂત રૂપરેખાંકન ફાઇલ છે જેનો ઉપયોગ રોબોટ્સ (સર્ચ એન્જિન સ્પાઈડર) એ નોંધવા માટે કરે છે કે કઈ ફાઇલો અને ડિરેક્ટરીઓને અનુક્રમિત ન કરવી જોઈએ.

તમારી વેબસાઇટના root માં robots.txt નામની ફાઇલ હોવી મહત્વપૂર્ણ છે.http://www.yourdomain.com/robots.txt)robots.txt નો મૂળભૂત ઉપયોગ એ નોંધવાનો છે કે રોબોટ્સે કઈ ફાઇલો અને ડિરેક્ટરીઓને અનુક્રમિત ન કરવી જોઈએ.

robots.txt ફાઇલ માળખાના વાક્યરચનામાં 2 ઘટકો છેઃ યુઝર એજન્ટ લાઇન અને ડિસએલો લાઇન.

વાક્યરચના નીચે મુજબ છેઃ

વપરાશકર્તા-એજન્ટ
તમારી સાઇટની મુલાકાત લેતા રોબોટ્સની સૂચિ તમારી વેબસાઇટના આંકડા લૉગમાં જોઈ શકાય છે. વપરાશકર્તા-એજન્ટોની સૂચિ અહીં જોઈ શકાય છેhttp://www.robotstxt.org/wc/active.html

ચોક્કસ રોબોટને યુઝર-એજન્ટ વાક્યરચનામાં સંદર્ભિત કરી શકાય છે.

વપરાશકર્તા-એજન્ટઃ ગૂગલબોટ

વાઇલ્ડકાર્ડનો ઉપયોગ તમામ robots.txt ફાઇલો સાથે મેળ કરવા માટે પણ થઈ શકે છે.

વપરાશકર્તા-એજન્ટઃ *

નકારી કાઢો
વાક્યરચનાનો આ વિભાગ જણાવે છે કે કઈ ફાઇલો અને ડિરેક્ટરીઓને અનુક્રમિત ન કરવી જોઈએ.

જો તમારી પાસે'addresses.html'નામનું પૃષ્ઠ છે અને તમે નથી ઇચ્છતા કે રોબોટ તેને અનુક્રમિત કરે, તો વપરાશકર્તા-એજન્ટ વાક્યરચના પછી નીચેની પંક્તિ ઉમેરોઃ

મંજૂરી ન આપોઃ addresses.html

તમે રોબોટને ડિરેક્ટરી સ્તર પર પણ મર્યાદિત કરી શકો છો. જો તમારી વેબસાઇટ પરની ડિરેક્ટરી'/ બિલિંગ'અનુક્રમણિકાથી પ્રતિબંધિત હોવી જોઈએ, તો વપરાશકર્તા-એજન્ટ વાક્યરચના પછી નીચેના લખાણને મૂકો.

મંજૂરી ન આપોઃ/બિલિંગ /

વાઈલ્ડકાર્ડનો ઉપયોગ સાઇટ પરની તમામ ફાઇલોને નોંધવા માટે પણ થઈ શકે છે.

મંજૂરી ન આપોઃ /

હું મારી robots.txt ફાઇલમાં ટિપ્પણીઓ કેવી રીતે કરી શકું?
કોડિંગ ટિપ્પણીઓ કોઈપણ લખાણ પહેલાં'#'મૂકીને robots.txt ફાઇલમાં મૂકી શકાય છે. એક ઉદાહરણ છેઃ

#ગૂગલબોટને વપરાશકર્તા-એજન્ટ તરીકે સ્પષ્ટ કરે છે.
વપરાશકર્તા-એજન્ટઃ ગૂગલબોટ

નિર્દેશ કરતાં તમારી ટિપ્પણીઓ અલગ રેખા પર રાખવાની સારી પ્રથા છે. ઉપરાંત, નિર્દેશાત્મક રેખાઓની શરૂઆતમાં સફેદ જગ્યાને મર્યાદિત કરો.


ઉપયોગ કરવા માટે robots.txt મૂકી રહ્યા છીએઃ
હવે જ્યારે આપણે robots.txt ની કાર્યક્ષમતાને સમજીએ છીએ, તો ચાલો તેને વ્યવહારમાં મૂકીએ.

જો તમે બધા રોબોટ્સને તમારી વેબસાઇટ પરના તમામ પૃષ્ઠોની મુલાકાત લેવાની મંજૂરી આપવા માંગતા હો, તો તમારે robots.txt ફાઇલમાં તમારા વાક્યરચનામાં "*" વાઇલ્ડકાર્ડનો ઉપયોગ કરવો જોઈએ.

વપરાશકર્તા-એજન્ટઃ *
મંજૂરી ન આપોઃ

તમારી સાઇટના તમામ અનુક્રમણિકાને મંજૂરી ન આપવા માટે, તમારી robots.txt ફાઇલમાં નીચેનું લખાણ દાખલ કરો.

વપરાશકર્તા-એજન્ટઃ *
મંજૂરી ન આપોઃ /

'બિલિંગ'નામની ડિરેક્ટરીમાં અનુક્રમણિકા પૃષ્ઠોમાંથી રોબોટ્સને મંજૂરી આપશો નહીં.

વપરાશકર્તા-એજન્ટઃ *
મંજૂરી ન આપોઃ/બિલિંગ /

"બિલિંગ" અને "સરનામું" નામની ડિરેક્ટરીઓમાં અનુક્રમણિકા પૃષ્ઠોમાંથી રોબોટ્સને મંજૂરી આપશો નહીં.

વપરાશકર્તા-એજન્ટઃ *
મંજૂરી ન આપોઃ/બિલિંગ /
મંજૂરી ન આપોઃ/સરનામું /

તમારી સાઇટ પરથી ગૂગલબોટને નાપસંદ કરો.

વપરાશકર્તા-એજન્ટઃ ગૂગલબોટ
મંજૂરી ન આપોઃ /

ગૂગલબોટને તમારા સંપર્ક પૃષ્ઠ (contact-us.html) સુધી પહોંચવાની મંજૂરી આપશો નહીં.

વપરાશકર્તા-એજન્ટઃ ગૂગલબોટ
મંજૂરી ન આપોઃ/સંપર્ક-us.html

ગૂગલબોટને તમારા સંપર્ક પૃષ્ઠ (અમારા વિશે/સંપર્ક-us.html) સુધી પહોંચવાની મંજૂરી આપશો નહીં.

વપરાશકર્તા-એજન્ટઃ ગૂગલબોટ
મંજૂરી ન આપોઃ/અમારા વિશે/સંપર્ક-us.html

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *