Robots.txt file क्या है और blogger में robots.txt file कैसे add करे? - Web India Crown - Hindi blog

Robots.txt file क्या है और blogger में robots.txt file कैसे add करे?

Share This
Robots.txt File क्या है और अपने Blog Me Custom Robots.txt कैसे Add Kare

अगर अपने Blog जो पीछले Post से Update है तो Search Engine में रैंक करने के लिए यह Robots.txt  file अपने ब्लॉग में Add करना आवश्यकता है.

●  Free blogger blog kaise likhe

आज, मैं एक बहुत ही उपयोगी और जो कि Robots.txt file है, ब्लॉगर में इसे Custom robots.txt file के रूप में जाना जाता है जिसका अर्थ है कि आप अपनी पसंद के अनुसार इस फाइल को कस्टमाइज़ कर सकते है.

आज के Articles में, हम इस पर गहरी चर्चा करेंगे, मैं आपको यह भी बताऊंगा कि ब्लॉगर में एक Custom robots.txt file कैसे जोड़ें.

तो चलो गाइड शुरू करें...

Robots.txt File क्या है?

Robots.txt file को एक text file के रूप में जाना जाता है, जिसमें सरल code की कुछ Rows शामिल हैं, यह वेबसाइट या ब्लॉग के सर्वर पर सहेजा जाता है, जो वेब crawl को search result में कैसे आपके ब्लॉग को इंडेक्स और क्रॉल करता है, उस पर Instructions देता है.

Robots.txt file आपको बेहतर तरीके से Define करने में मदद कर सकता है कि आप खोज बॉट को क्रॉल करना चाहते हैं या नहीं, यह कई कारणों लिए भी उपयोगी है, जिसमें यह सुनिश्चित करने के लिए क्रॉल ट्रैफ़िक को control करना शामिल है कि क्रॉलर आपके सर्वर पर हावी न हो.

हमेशा याद रखें कि खोज क्रॉलर वेब पेज crawl करने से पहले robots.txt file स्कैन करते है. ब्लॉगर पर होस्ट किए गए सभी ब्लॉग की अपनी डिफ़ॉल्ट Robots.txt file होती है जो कुछ ऐसा दिखता है.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: http://www.webindiacrown.com/sitemap.xml

ब्लॉगर Robots.txt file का स्पष्टीकरण

1. User-agent: Mediapartners-Google: हम अपने डिफ़ॉल्ट ब्लॉगर Robots.txt file में देख रहे हैं, पहली Line में "User-agent" जैसी कुछ चीज़ें शामिल हैं हम एक रोबोट को Target करने के लिए हमारी Robots.txt file में इस "User-agent" का उपयोग करते हैं। आप देख सकते हैं कि यह "Mediapartner-Google" बॉट को Target कर रहा है और "Disallow" के माध्यम से अपने ब्लॉग पर इसकी पहुंच सीमा बता रहा है.

2. User-agent: * यह सभी रोबोटों के लिए है जो इसतरह (*) के साथ चिह्नित है. डिफ़ॉल्ट सेटिंग में, हमारे ब्लॉग के लेबल लिंक खोज क्रॉलर्स द्वारा अनुक्रमित करने के लिए प्रतिबंधित हैं जिसका मतलब है कि वेब क्रॉलर हमारे लेबल पेज लिंक को नीचे दिए गए कोड के कारण नहीं दिखाएंगे.

3. Allow: / main page को Reference करता है जिसका मतलब है कि वेब क्रॉलर हमारे ब्लॉग के होमपेज को क्रॉल और अनुक्रमित कर सकते हैं.

4. Disallow Particular Post: अब मान लीजिए कि यदि हम index से एक पोस्ट को बाहर करना चाहते हैं तो हम कोड में लाइनों को नीचे दिए अनुसार जोड़ सकते हैं.

Disallow: /yyyy/mm/post-url.html

यहां yyyy और mm क्रमशः Post के प्रकाशन वर्ष और महीने का उल्लेख करते हैं, उदाहरण के लिए, यदि हमने मार्च 2016 में वर्ष 2016 में एक पोस्ट प्रकाशित किया है तो हमें ये फॉर्मेट का उपयोग करना होगा.

Disallow: /2016/03/post-url.html

यह कार्य आसान बनाने के लिए, आप बस पोस्ट URL की copy बना सकते हैं और शुरुआत से ही ब्लॉग नाम को निकाल सकते हैं. ऐसे नीचे दिए यूआरएल को सर्च इंजन से बहार करना है, इस तरह से होगा.

Disallow: /2018/02/how-create-blog-on-blogger-blogspot.html

5. Disallow Particular Page: यदि हमें किसी page को अस्वीकार करने की आवश्यकता है तो हम इसके बाद के version की तरह ही विधि का उपयोग कर सकते हैं. बस page URL की compy बनाएँ और उस से ब्लॉग पते को हटा दें जो कुछ इस तरह दिखेंगे.

Disallow: /p/page-url.html
Sitemap: http://example.com/feeds/posts/default?orderby=UPDATED 

यह कोड हमारे ब्लॉग के साइटमैप को Reference करता है यहां sitemap लिंक जोड़कर हम बस हमारे ब्लॉग की crawlers दर को अनुकूलित कर रहे हैं.

जब भी वेब क्रॉलर्स हमारी robots.txt file को स्कैन करते हैं, तब वे हमारे Sitemap के लिए रास्ता पा सकते है जहां हमारे प्रकाशित पोस्ट के सभी लिंक present है.

वेब crawlers हमारे सभी posts को क्रॉल करने में आसान करता है.

इसलिए, अच्छी संभावनाएं हैं कि वेब crawlers किसी भी एक को अनदेखा किए बिना हमारे सभी ब्लॉग पोस्ट crawl करते हैं.

Note: यह sitemap केवल वेब क्रॉलर्स को केवल 25 posts के बारे में बताएगा यदि आप अपने sitemap में लिंक की संख्या में वृद्धि करना चाहते हैं तो नीचे एक के साथ डिफ़ॉल्ट sitemap की जगह यह पहले 500 हाल के posts पर काम करेगा.

Sitemap: http://example.com/atom.xml?redirect=false&start-index=1&max-results=500

यदि आपके पास अपने ब्लॉग पर 500 से अधिक प्रकाशित पोस्ट हैं तो आप नीचे दो sitemap का उपयोग कर सकते है.

Sitemap: http://example.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.com/atom.xml?redirect=false&start-index=500&max-results=1000

क्या मैं Blogger में Custom robots.txt File का उपयोग कर सकता हूं?

आप ब्लॉगर में एक Custom robots.txt file का उपयोग कर सकते है ब्लॉगर आपको कुछ clicks से यह बहुत आसानी से करने देगा.

लेकिन महत्वपूर्ण बात यह है कि अगर आप Robots.txt file के उपयोग को नहीं समझते हैं, तो आपको अपनी डिफ़ॉल्ट robots.txt file को जोड़ना और एडिट नहीं करना चाहिए क्योंकि आपके द्वारा बनाई गई आपकी Robots.txt file में एक गलती रोबोट की पहुंच को कई परेशानी खड़ा क्र देंगे और इंडेक्स होने में भी.

तो मेरा सुझाव है, अगर robots.txt file को एडिट करने का कोई ठोस कारण नहीं है, तो आपको उसे डिफ़ॉल्ट छोड़ देना चाहिए , ब्लॉगर डिफ़ॉल्ट रूप से एक standard Robots.txt file प्रदान करता है जो आपके लिए ठीक काम करेगा.

Blogger Custom Robots.txt File को कैसे जोड़ें?

सेल्फ होस्ट किए गए ब्लॉगों के लिए, हम आमतौर पर एक robots.txt file बनाते हैं और इसे हमारे सर्वर की रूट डायरेक्टरी पर अपलोड करते है, लेकिन ब्लॉगर डिफ़ॉल्ट रूप से एक robots.txt file प्रदान करता है.

हम जिस तरह से हम चाहते है, हम इस robots.txt file को एडिट कर सकते हैं, इसलिए यदि आप अपने ब्लॉगर ब्लॉग पर रोबोट के लिए कुछ Custom Robots.txt File add करना चाहते है तो निचे का चरण का पालन करें.
 
  1. First, अपने ब्लॉगर खाते में लॉग इन करें.
  2. अपने ब्लॉग के "Settings" section पर जाएं
  3. "Search Preferences" अनुभाग पर क्लिक करें.
  4. नीचे स्क्रॉल करें और "Custom Robots.txt" ढूंढें
  5. इसे Enable करें और नीचे दिए कोड  copy करके अपने कस्टम रोबोट्स टेक्स्ट कंटेंट में पेस्ट करे. बाद में Robots.txt File Add करने के बाद "Save changes" पर क्लिक करे.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: http://www.webindiacrown.com/sitemap.xml

Add to Robots.txt File

अब अपना Robots.txt File add हो चूका है.

कैसे अपनी robots.txt फ़ाइल की जाँच करें?

क्या आप Robots.txt file देखना चाहते है की किस तरह का देखेगा अपने ब्लॉग में.

वेब ब्राउजर में अपने ब्लॉग URL के अंत में आप /robots.txt को जोड़कर इस फाइल को अपने ब्लॉग पर देख सकते हैं, उदाहरण के लिए:

http://www.yourblogurl.com/robots.txt

एक बार जब आप Robots.txt file URL पर जाते हैं तो आपको पूरे कोड दिखाई देगा जो आप अपने कस्टम robots.txt file में उपयोग किया है.

Robots.txt File Check
इस तरह की प्रक्रिया अपने ब्लॉग में Robots.txt file को जोड़ने का तरीका है.

यह ब्लॉगर में कस्टम Robots.txt file को जोड़ने के लिए आज का पूरा Articles पढ़ा, मैंने इस Articles को Informational आसन बनाने के लिए अपनी पूरी कोशिश की.

लेकिन फिर भी, यदि आपके कोई प्रश्न हैं, तो हमे टिप्पणी अनुभाग में पूछने सकते है और अपने Robots.txt file सेटिंग के बारे में जानने के बिना किसी भी कोड को न रखें.

इस Articles को पढ़ने के लिए धन्यवाद, यदि आप इसे पसंद करते है तो कृपया अपने सोशल मीडिया पर इस पोस्ट को साझा करके लिए मत भूलना.

No comments:

Post a Comment

Post Bottom Ad