Robots.txt file क्या है कैसे use करे - ldkalink

-

Robots.txt file क्या है: यदि आपके वेबसाइट में robots.txt file नहीं है तो search engine बोट्स आपके वेबसाइट के सारे content को इंडेक्स व crawl करना शुरू कर देगा जिसे आप इंडेक्स नहीं भी कराना चाहे थे।  

robots.txt file  का उपयोग करने से पहले search engine कैसे काम करता है इसके बारे में knowledge होना जरुरी है जिससे हम robots.txt file का सही तरीके से उपयोग कर सके और इसका उपयोग किस तरह से किया जाता है यही सब इस आर्टिकल में जानेंगे वाले है। 

what-is-Robots.txt file-how-to-use-in-hindi
Robots.txt file क्या है कैसे use करे

robots.txt file क्या है-what is robots.txt file in Hindi 

robots.txt kya hai: robots.txt फाइल एक तरह का टेक्स्ट फाइल ही है जो किसी भी website के root folder में होता है जिससे search engine bots को यह पता चलता है कि वेबसाइट के कौन से हिस्से को crawl व index करना है और किस किस भाग को इंडेक्स नहीं करना है। 

किसी भी वेबसाइट का robot.txt फाइल चेक करे के लिए सर्च इंजन में वेबसाइट का नाम लिखना है और सिम्बोल (/) लगाना है और फिर इसके बाद robots.txt टाइप करे और search करे। 


robot.txt फाइल चेक करने का एक दूसरा तरीका भी है इसे Google search Console द्वारा भी चेक किया जा सकता है।

चेक करने के लिए पहले search console में login होना पढता है जब आप इसमें लॉगिन हो जाते है तो लेफ्ट साइड में crawl पर क्लिक करे और इसमें robot.txt tester पर क्लिक करे अब  वेबसाइट का robot.txt फाइल दिखाई देगा। 

robots.txt file क्यों जरुरी है

Search engine bots जब किसी भी website पर जाते है तो सबसे पहले वे robots.txt फाइल को चेक करते है और फिरcontent को crawl करना शुरू करते है मान लेते है कि यदि आपने जो वेबसाइट क्रिएट किया है इसमें robots.txt फाइल नहीं है। 

तो सर्च इंजन द्वारा आपके वेबसाइट के सारे कंटेंट को इंडेक्स व क्रॉल करेगा जिसे आप नहीं कराना चाहते थे। 

Search engine bots सबसे पहले किसी भी वेबसाइट को इंडेक्स करने से पहले robots.txt को देखता है यदि आपके वेबसाइट में robots.txt फाइल नहीं मिलता है तो यह आपके वेबसाइट में जितने भी कंटेंट होंगे वे सभी को इंडेक्स करना स्टार्ट कर देता है। 

यदि वेबसाइट में robots.txt फाइल होता है तो इसका पालन करते हुए website में जो content मौजूद है जिन्हे इंडेक्स कराया जा रहा है सिर्फ उन्ही कंटेंट को ही इंडेक्स करता है।  

robots.txt file के benefits

  1. इससे सर्च इंजन बॉट्स को बताया जाता है कि वेबसाइट में किस कंटेंट को इंडेक्स व क्रॉल करना है। 
  2. impotent फ़ाइल इंडेक्स होने से रोका जा सकता है जिसे हम अपने  वेबसाइट में इंडेक्स नहीं कराना चाहते है। 
  3. इसकी मदत से किसी भी website के सारे कंटेंट को प्राइवेट रख सकते है। 

robots.txt file के लिए Syntax: 

Robots.txt का बेसिक फॉर्मेट निचे बताया गया है। 

User-agent: [ user-agent name ]
Disallow: [URL या पेज जिसे  crawl नहीं करना है]

User-agent और Disallow क्या होता है, और इसका काम किस प्रकार का होता है। 
  • User-agent: यह एक प्रकार का सर्च इंजन बोट्स है यदि आप चाहते है की सभी सर्च इंजन allow हो तो इस User-agent: के बाद * चिन्ह का प्रयोग किया जाता है।  उदाहरण के लिए आप देख सकते है User-agent: *
  • Disallow: फ़ाइल या पेज को इंडेक्स होने से रोका जाता है। 
  • Allow: इसकी मदत से website के कंटेंट को क्रॉल व इंडेक्स कराया जाता है। 
  • Crawl-delay: बोट्स को कितने सेकंड तक इंतजार करना होता है पेज कंटेंट की loading और crawling से पहले। 

सभी प्रकार के web crawlers को वेबसाइट में जितने भी contents है सभी को index के लिए अनुमति प्रदान करता है। 

User-agent: *

Disallow: 

जब हम अपने वेबसाइट में इस कमांड का उसे करते है तो वेबसाइट के सारे कंटेंट इंडेक्स होने लगते है।  


सभी web crawlers द्वारा वेबसाइट इंडेक्स से बचने के लिए। 

User-agent: *

Disallow: /

यदि आप अपने वेबसाइट को इंडेक्स नहीं कराना चाहते है, तो इस कमांड्स का उपयोग किया जाता है। 


जब कसी एक folder को web crawler के द्वारा  ब्लॉक करना हो। 

User-agent: googlebot

Disallow: /foldername/

जिस फोल्डर का यहाँ नाम दिए होते है उसे crawl होने से यह रोकता है यदि हम किसी फोल्डर को इंडेक्स नहीं करना चाहते है तो इसका उपयोग करते है। 


एक folder को सभी web crawler द्वारा ब्लॉक करना हो तो। 

User-agent: *

Disallow: /foldername/

इस folder name को crawl होने से रोका जाता है इस कमांड के उपयोग से। 


एक पेज को सभी web crawler द्वारा ब्लॉक करने के लिए इसका उपयोग किया जाता है। 

User-agent: *

Disallow: /page url


विशिष्ट पेज को जब एक क्रॉलर के लिए ब्लॉक करना हो जैसे bing crawler

User-agent: Bingbot

Disallow: /page url


Sitemap add  करना  robots.txt फ़ाइल में। 

Sitemap:

https://www.ldkalink.com/sitemap.xml

robots.txt फ़ाइल में इस तरह आप भी साइटमैप करे। 

इस आर्टिकल को पड़ने के बाद आप समझ गए होगे कि robots.txt फ़ाइल क्या है और यह क्यों जरूरी होता है किसी भी वेबसाइट के लिए।

यह भी पढ़े:
Posted by LD

टिप्पणियाँ

एक टिप्पणी भेजें

please do not enter any spam link in the comment box.

5G Mobile Phones - at Best Prices under 15000

कम दाम पर अच्छा मोबाइल फ़ोन्स, अपने मनपसंद मोबाइल फ़ोनस का चयन करें:

Popular Posts

संतुलित बल और असंतुलित बल - ldkalink

-
संतुलित बल और असंतुलित बल (balanced and unbalanced force): इससे पहले वाले आर्टिकल में हमने बल के बारे में विस्तार से जाना था पर अभी हम Santulit bal और  asantulit bal के बारे में उदाहरण के साथ जानने वाले है। 
view answer

image file formats क्या है - ldkalink

-
Image file format  क्या है: 10 Type of image format   list में इमेज के कई प्रकार होते है और इन सब का उपयोग इनके जरूरत के आधार पर अलग समय में अलग अलग जगह पर किया जाता है कुछ इमेज फॉर्मेट जैसे की jpeg, png, raw, tiff, gif, pdf, psd, indd,   eps, Ai आदि है।    इन सभी तरह के इमेज फॉर्मेट का उपयोग कब और कैसे किया जाता है इसके बारे में www.ldkalink.com पर निचे विस्तार से बताया गया है।  image file format क्या है 10 Types of image file extensions आज हम उन सभी  image file formats in Hindi   के बारे में  Examples के साथ   बात करने वाले है जो अलग अलग तरह के  image file extensions  के लिए multimedia के रूप में computer तथा mobiles में यूज़ किये जाते है।    JPEG (JPG) - joint photographic experts group  PNG (portable network graphics) GIF (graphics interchange format) TIFF (tagged image file format) Raw - Raw image formats PDF (portable document format) PSD (Photoshop document) INDD (in Design document)  EPS (encapsula...
view answer

Fake smile Quotes in Hindi - ldkalink

-
Fake smile Quotes in Hindi:  इस आर्टिकल में  fake smile status  से रिलेटेड बहुत सारे  words  और shayari है यदि आप sad fake smile quotes Hindi me  for girls and boys चाहते है तो आप सही जगह पर है।  
view answer

अदिश राशि और सदिश राशि में अंतर - ldkalink

-
अदिश राशि (scalar quantity) और सदिश राशि (vector quantity): आज हम अदिश राशि और सदिश राशि के बारे में बात करने वाले है की आखिर adish rashi (scalar quantity) और sadish rashi (vector quantity) में anter (difference) क्या होता क्या होता है।  कौन कौन से राशि अदिश और सदिश राशि होती है और अदिश राशि तथा सदिश राशि की पहचान कैसे करे इन सब के बारे में आज हम इस आर्टिकल में बात करने वाले है।  अदिश राशि और सदिश राशि में अंतर अदिश और सदिश राशि में अंतर क्या है  Scalar and vector quantity definition in Hindi: सबसे पहले हम Adish rashi और sadish rashi को इसकी परिभाषा (Peribhasha) से समझते है ऐसी भौतिक रशिया जिनमे केवल परिणाम होता है अदिश राशि कहलाती है जैसे की   दूरी, छेत्रफल, द्रव्यमान, समय, तापमान, विधुत धरा, घनत्व, आयतन इत्यादि।  पर जिन राशियों में परिणाम और दिशा दोनों होती है इन्हे सदिश राशि कहते है जैसे की वेग, बल, संवेग, चुम्बकीय आघूर्ण, ताप प्रवणता, विद्युत द्विध्रुव आघूर्ण इत्यादि । अदिश राशि का उदहारण/Scalar quantity example  अदिश राशि की पहचान कैसे...
view answer

blogger template कैसे create करे from scratch - ldkalink

-
Custom blogger template कैसे बनाये: ब्लॉगर यह एक content management system (CMS) है यहाँ से हम अपने लिए एक website create कर इसकी सहायता से अपने नॉलेज को बड़ी ही आसानी से लोगो तक पहुंचा सकते है।    website या Blog बनाने के लिए एक Domain name के साथ एक Template की भी जरूरत होती है क्यों हर साइट का अपना    एक   अलग नाम और लुक होता है internet पर कभी भी एक नाम के दो साइट नहीं हो सकते है।  वैसे तो इंटेंटनेट पर कई सारे पहले से बना हुआ फ्री और पेड दोनों तरह के टेम्पलेट मौजूद होते है free वाले टेम्पलेट में कुछ लिमिटेशन होता है और पेड वर्शन में कुछ सुविधाएं और दे दी जाती है।  पर इसे हम अपने तरीके से पूरी तरह कस्टमाइज नहीं कर सकते है इसलिए हमें एक कस्टम ब्लॉगर टेम्पलेट क्रिएट करने की जरूरत होती है जिसे हम अपने तरीके से बना सकते है। लेकिन यदि आप खुद से यानि blogger में manual method से Custom template कैसे create करते है इसके बारे में जानना चाहते है तो आज से इस आर्टिकल में हम how to make a blogger template हिंदी में सिखने वाले है यानि blogger में custom templ...
view answer

एक समान वृत्तीय गति (uniform circular motion)

-
एक समान वृत्तीय गति ( ek saman vrittiya gati ): इससे पहले हमने गति के बारे में जाना था की गति आखिर होता क्या है पर इस आर्टिकल में आज हम जानने वाले हैं कि ek saman vrittiya gati kise kahate hain  या क्या होता है और फिर इसे इसके उदाहरण ( udaharan/examples ) से समझने वाले हैं। सबसे पहले हम यह जान लेते है की एक समान वृत्तीय गति को इंग्लिश (in English) में क्या कहते है एक समान वृत्तीय गति का अंग्रेजी नाम   " uniform circular motion " होता है।   एक समान वृत्तीय गति (uniform circular motion)  किसे कहते है कोई भी वस्तु गति में है हम तभी कहते हैं जब उसके स्थिति में समय के साथ परिवर्तन होता है लेकिन वृत्तीय गति का मतलब है कि कोई वस्तु वृत्तीय मार्ग में गति कर रहा है।  इसका मतलब एक गोल एरिया में अर्थात वृत्त की परिधि पर वस्तु गति कर रही है अब एक समान वृत्तीय गति का अर्थ यह है कि कोई वस्तु एक समान चाल से वृत्तीय पथ पर गति कर रही है।  जब वृत्तीय मार्ग में वस्तु समान समय में समान दूरी तय कर रही होती है तब वस्तु द्वारा इस प्रकार की गति को एक समान वृत्तीय गति...
view answer

Blogger किसे कहते है कैसे बने - ldkalink

-
Blogger किसे कहते है : इससे पहले भी हमने एक वर्ड Blog के बारे में बात की थी इसमें बताया गया था की यह होता क्या था लोग blog क्यों बनाते है पर आज हम इसी ब्लॉग वर्ड से रिलेटेड एक वर्ड Blogger के बारे में जानेंगे की आखिर यह होता क्या है ब्लॉगर कौन होता है क्यों बनते है और इसके क्या क्या फायदे है।   कई सारे लोग सिर्फ keyword research करके ब्लॉग पर इनफार्मेशन शेयर करने को ही एक ब्लॉगर मानते है अगर ऐसा होता तो आज हर पर्सन ब्लॉगर बन गया होता घर पर बैठ कर ही आराम से online पैसा कैसे कमाए पर आर्टिकल लिखते रहते।  पर ऐसा बिल्कुल भी नहीं है Blogger meaning का अगर सही मायने में अर्थ समझे तो इसमें कई सारे चीजे भी शामिल हो जाता है जिसके बारे में अभी हम विस्तार से जानने वाले है।  Blogger किसे कहते है कैसे बने Blogger किसे कहते है  Blogger meaning in Hindi सबसे पहले हम Blogger का अर्थ यानि Blogger meaning in Hindi क्या होता है ब्लॉगर का हिंदी में मतलब एक  चिट्ठाकार  होता है " वह व्यक्ति जो रेगुलर अपने ब्लॉग पर किसी टॉपिक पर आर्टिकल लिखते रहता है " अपने knowledge को लो...
view answer

अभ्यास ही सफलता की कुंजी motivational story - ldkalink

-
अभ्यास ही सफलता की कुंजी motivational story in Hindi: आज के इस आर्टिकल में हम अभ्यास ही सफलता की कुंजी होती है को प्रेरणादायक कहानी (prernadayak kahani) को एक साधारण से कहानी के रूप में समझने वाले हैं। 
view answer

on page seo और off page seo क्या है - ldkalink

-
On-page seo vs. off-page seo: आज के इस आर्टिकल Types of SEO में हम जानेंगे की on-page SEO और off-page SEO  किसे कहते है आखिर ये दोनों होता क्या है इसे हम इसकी परिभाषा और example  से भी समझने का प्रयास करेंगे। इसके अलावा black hat seo और white hat seo क्या है  क्या यह भी seo के ही प्रकार है या फिर ये दोनो seo करने के techniques है अगर हम  white hat और black hat  की बात करे तो ये दोनो ही  seo करने की techniques है  यानि content को optimize करने के तरीके है।  Black hat seo और white hat seo में कौन कौन सी techniques का use किया जाता है इसके बारे में हम पिछले आर्टिकल में step by step जाना था यदि आपने यह आर्टिकल नहीं पढ़ा है तो इसे एक बार जरूर पढ़े और इसके साथ ही Technical seo क्या है इसमें कौन कौन से तरीका use किया जाता है इसके बारे में पूरा विस्तार से जानेंगे।  Types of seo - on page seo और off page seo क्या है आप सभी जानते है की हर काम को करने के दो तरीके होते ही है पहला जो गलत तरीके से किया जाता है और दूसरा सही तरीके से, जब सही तरीके से...
view answer

Please remember to follow this blog to know wherever we publish a new post.

Translate