Robots.txt File क्या है और अपने Blog Me Custom Robots.txt कैसे Add Kare - Web India Crown - Hindi blog

Robots.txt File क्या है और अपने Blog Me Custom Robots.txt कैसे Add Kare

Share This
Robots.txt File क्या है और अपने Blog Me Custom Robots.txt कैसे Add Kare

अगर अपने Blog जो पीछले Post से Update है तो Search Engine में रैंक करने के लिए यह Robots.txt फाइल अपने ब्लॉग में Add करना आवश्यकता है.

  Blogger BlogSpot पर फ्री ब्लॉग कैसे Create करे
●  Free Blog बनाने के बाद, ब्लॉगर BlogSpot पर Blog पोस्ट कैसे लिखें

आज, मैं एक बहुत ही उपयोगी और जो कि Robots.txt है, ब्लॉगर में इसे कस्टम Robots.txt के रूप में जाना जाता है जिसका अर्थ है कि आप अपनी पसंद के अनुसार इस फाइल को कस्टमाइज़ कर सकते है.

आज के Articles में, हम इस पर गहरी चर्चा करेंगे, मैं आपको यह भी बताऊंगा कि ब्लॉगर में एक कस्टम robots.txt फ़ाइल कैसे जोड़ें.

तो चलो गाइड शुरू करें...

Robots.txt File क्या है?

Robots.txt को एक पाठ फ़ाइल के रूप में जाना जाता है जिसमें सरल कोड की कुछ पंक्तियां शामिल हैं, यह वेबसाइट या ब्लॉग के सर्वर पर सहेजा जाता है जो वेब crawl को खोज परिणामों में कैसे आपके ब्लॉग को इंडेक्स और क्रॉल करता है, उस पर निर्देश देता है.

इसका मतलब यह है कि आप वेब क्रॉलर्स से अपने ब्लॉग पर एक वेब पेज को प्रतिबंधित कर सकते हैं, ताकि इसे अपने ब्लॉग लेबल्स पृष्ठ, आपके डेमो पृष्ठ या किसी भी अन्य पेजों जैसे खोज इंजनों में अनुक्रमित नहीं किया जा सके जो अनुक्रमित करने के लिए महत्वपूर्ण नहीं है.

हमेशा याद रखें कि खोज क्रॉलर वेबपृष्ठ crawl करने से पहले robots.txt फ़ाइल स्कैन करते है. ब्लॉगर पर होस्ट किए गए प्रत्येक ब्लॉग की अपनी डिफ़ॉल्ट robots.txt फ़ाइल होती है जो कुछ ऐसा दिखता है.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.webindiacrown.com/sitemap.xml

ब्लॉगर robots.txt फ़ाइल का स्पष्टीकरण?

User-agent: Mediapartners-Google: हम अपने डिफ़ॉल्ट ब्लॉगर robots.txt फ़ाइल में देख रहे हैं। पहली पंक्ति में "उपयोगकर्ता-एजेंट" जैसी कुछ चीज़ें शामिल हैं हम एक विशेष रोबोट को लक्षित करने के लिए हमारी robots.txt फ़ाइल में इस "User-agent" का उपयोग करते हैं। आप देख सकते हैं कि यह "Mediapartner-Google" बॉट को लक्षित कर रहा है और "Disallow" के माध्यम से अपने ब्लॉग पर इसकी पहुंच सीमा बता रहा है.

User-agent: * यह सभी रोबोटों के लिए है जो तारांकन (*) के साथ चिह्नित है डिफ़ॉल्ट सेटिंग में, हमारे ब्लॉग के लेबल लिंक खोज क्रॉलर्स द्वारा अनुक्रमित करने के लिए प्रतिबंधित हैं जिसका मतलब है कि वेब क्रॉलर हमारे लेबल पेज लिंक को नीचे दिए गए कोड के कारण नहीं दिखाएंगे.

Disallow: /search: इसका अर्थ है कि खोजशब्द खोज वाले लिंक केवल डोमेन नाम के उपेक्षित होने के बाद। नीचे दिए गए उदाहरण देखें, जो एसईओ नामक लेबल पेज का लिंक है.

https://www.bloggertipstricks.com/search/label/SEO

और अगर हम निकाल दें Disallow: /search उपरोक्त कोड से करें तो crawl हमारे पूरे ब्लॉग इंडेक्स तक पहुंचेंगे और इसकी सभी सामग्री और वेब पेज crawl करेंगे.

Here Allow: / मुखपृष्ठ को संदर्भित करता है जिसका मतलब है कि वेब क्रॉलर हमारे ब्लॉग के होमपेज को क्रॉल और अनुक्रमित कर सकते हैं.

Disallow Particular Post: अब मान लीजिए कि यदि हम index से एक विशेष पोस्ट को बाहर करना चाहते हैं तो हम कोड में लाइनों को नीचे जोड़ सकते हैं.

Disallow: /yyyy/mm/post-url.html

यहां yyyy और mm क्रमशः Post के प्रकाशन वर्ष और महीने का उल्लेख करते हैं। उदाहरण के लिए, यदि हमने मार्च 2016 में वर्ष 2016 में एक पोस्ट प्रकाशित किया है तो हमें प्रारूप का उपयोग करना होगा.

Disallow: /2016/03/post-url.html

यह कार्य आसान बनाने के लिए, आप बस पोस्ट URL की प्रतिलिपि बना सकते हैं और शुरुआत से ही ब्लॉग नाम को निकाल सकते हैं।

Disallow Particular Page: यदि हमें किसी विशेष पृष्ठ को अस्वीकार करने की आवश्यकता है तो हम इसके बाद के संस्करण की तरह ही विधि का उपयोग कर सकते हैं। बस पृष्ठ URL की प्रतिलिपि बनाएँ और उस से ब्लॉग पते को हटा दें जो कुछ इस तरह दिखेंगे.

Disallow: /p/page-url.html
Sitemap: http://example.com/feeds/posts/default?orderby=UPDATED 

यह कोड हमारे ब्लॉग के साइटमैप को संदर्भित करता है यहां sitemap लिंक जोड़कर हम बस हमारे ब्लॉग की crawlers दर को अनुकूलित कर रहे हैं.

जब भी वेब क्रॉलर्स हमारी robots.txt फ़ाइल को स्कैन करते हैं, तब वे हमारे Sitemap के लिए पथ पा सकते है जहां हमारे प्रकाशित पोस्ट के सभी लिंक present है.

वेब crawlers हमारे सभी posts को क्रॉल करने में आसान करता है.

इसलिए, अच्छी संभावनाएं हैं कि वेब crawlers किसी भी एक को अनदेखा किए बिना हमारे सभी ब्लॉग पोस्ट crawl करते हैं.

Note: यह sitemap केवल वेब क्रॉलर्स को केवल 25 posts के बारे में बताएगा यदि आप अपने sitemap में लिंक की संख्या में वृद्धि करना चाहते हैं तो नीचे एक के साथ डिफ़ॉल्ट sitemap की जगह यह पहले 500 हाल के posts पर काम करेगा.

Sitemap: http://example.com/atom.xml?redirect=false&start-index=1&max-results=500

यदि आपके पास अपने ब्लॉग पर 500 से अधिक प्रकाशित पोस्ट हैं तो आप नीचे दो sitemap का उपयोग कर सकते है.

Sitemap: http://example.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.com/atom.xml?redirect=false&start-index=500&max-results=1000

क्या मैं Blogger में Custom robots.txt File का उपयोग कर सकता हूं?

आप ब्लॉगर में एक कस्टम robots.txt फ़ाइल का उपयोग कर सकते है ब्लॉगर आपको कुछ clicks के भीतर यह बहुत आसानी से करने देगा।

लेकिन महत्वपूर्ण बात यह है कि अगर आप robots.txt फ़ाइल के उपयोग को नहीं समझते हैं, तो आपको अपनी डिफ़ॉल्ट robots.txt फ़ाइल को जोड़ना और संपादित नहीं करना चाहिए क्योंकि आपके द्वारा बनाई गई आपकी robots.txt फ़ाइल में एक गलती रोबोट की पहुंच को अवरुद्ध कर सकती है.

तो मेरा सुझाव है, अगर robots.txt फ़ाइल को संपादित करने का कोई ठोस कारण नहीं है, तो आपको उसे डिफ़ॉल्ट छोड़ देना चाहिए , ब्लॉगर डिफ़ॉल्ट रूप से एक मानक robots.txt फ़ाइल प्रदान करता है जो आपके लिए ठीक काम करेगा.

Blogger Custom Robots.txt File को कैसे जोड़ें?

स्व-होस्ट किए गए ब्लॉगों के लिए, हम आमतौर पर एक robots.txt फ़ाइल बनाते हैं और इसे हमारे सर्वर की रूट निर्देशिका पर अपलोड करते है लेकिन ब्लॉगर डिफ़ॉल्ट रूप से एक robots.txt फ़ाइल प्रदान करता है.

हम जिस तरह से हम चाहते है, हम इस robots.txt फ़ाइल को संपादित कर सकते हैं,  इसलिए यदि आप अपने ब्लॉगर ब्लॉग पर रोबोट के लिए कुछ कस्टम नियम बनाना चाहते है तो निचे का चरण का पालन करें.
  1. First, अपने ब्लॉगर खाते में लॉग इन करें.
  2. अपने ब्लॉग के "Settings" section पर जाएं
  3. "Search Preferences" अनुभाग पर क्लिक करें.
  4. नीचे स्क्रॉल करें और "Custom Robots.txt" ढूंढें
  5. इसे Enable करें और "User-agent: *" लाइन के ठीक बाद अपने ब्लॉग के कुछ को disallowing देने या allowing करने के लिए अपना कस्टम नियम पाठ डालें.
  6. Robots.txt File Add करने के बाद "Save changes" पर क्लिक करे.

Add to Robots.txt File

अब अपना Robots.txt File add हो चूका है.

कैसे अपनी robots.txt फ़ाइल की जाँच करें?

क्या आप robots.txt फाइल देखना चाहते है की किस तरह का देखेगा अपने ब्लॉग में.

वेब ब्राउजर में अपने ब्लॉग URL के अंत में आप /robots.txt को जोड़कर इस फाइल को अपने ब्लॉग पर देख सकते हैं, उदाहरण के लिए:

http://www.yourblogurl.com/robots.txt

एक बार जब आप robots.txt फ़ाइल URL पर जाते हैं तो आपको पूरे कोड दिखाई देगा जो आप अपने कस्टम robots.txt फ़ाइल में उपयोग किया है.

Robots.txt File Check
इस तरह की प्रक्रिया अपने ब्लॉग में robots.txt को जोड़ने का तरीका है।

यह ब्लॉगर में कस्टम robots.txt फ़ाइल को जोड़ने के लिए आज का पूरा Articles पढ़ा, मैंने इस Articles को यथासंभव आसान और सूचनात्मक बनाने के लिए अपनी पूरी कोशिश की.

लेकिन फिर भी, यदि आपके कोई संदेह या प्रश्न हैं, तो मुझे खाली टिप्पणी अनुभाग में पूछने के लिए कहे और अपने कस्टम robots.txt सेटिंग में इसके बारे में जानने के बिना किसी भी कोड को न रखें.

इस Articles को पढ़ने के लिए धन्यवाद, यदि आप इसे पसंद करते है तो कृपया अपने सोशल मीडिया प्रोफाइल पर इस पोस्ट को साझा करके लिए मत भूलना.

कोई टिप्पणी नहीं:

एक टिप्पणी भेजें

Post Bottom Ad