Google को किसी पेज को index न करने के लिए कहने के दो तरीके: HTML में robots meta tag, या HTTP response header में X-Robots-Tag। ये दोनों एक ही काम करते हैं। ये परस्पर विनिमेय नहीं हैं। सही तरीका चुनना इस बात पर निर्भर करता है कि फाइल क्या है (HTML बनाम PDF बनाम image), आप कहाँ edit कर सकते हैं (template बनाम server config), और क्या आपको इसे बड़े पैमाने पर चाहिए (एक पेज बनाम दस हजार)।
मुख्य निष्कर्ष: robots meta टैग और X-Robots-Tag दोनों एक ही काम करते हैं; हेडर वर्जन ही PDFs, इमेजेज़ और अन्य non-HTML फाइलों को noindex करने का एकमात्र तरीका है।The robots meta tag and the X-Robots-Tag do the same job; the header version is the only way to noindex PDFs, images, and other non-HTML files.
दोनों तंत्र एक-एक वाक्य में
robots meta tag: HTML document के <head> में <meta name="robots" content="noindex, nofollow">। सिर्फ HTML pages पर काम करता है क्योंकि PDF / image / JSON metadata में कोई बराबर नहीं है। page template के जरिए जोड़ना आसान है।
X-Robots-Tag: X-Robots-Tag: noindex, nofollow एक HTTP response header है। यह सर्वर द्वारा return किए गए किसी भी resource type पर काम करता है — HTML, PDF, image, video, JSON, कुछ भी। इसे सर्वर (Apache, Nginx, Vercel edge headers, Cloudflare Workers) में configure किया जा सकता है या framework के response API के माध्यम से।Vercel edge headers, Cloudflare Workers) or via the framework's response API.
जब robots meta सही विकल्प है
- Single-page exclusion: एक खास पेज जिसे आप noindex करना चाहते हैं। उस पेज के template में meta tag जोड़ें, change को ship करें।
- टेम्पलेट-नियंत्रित पेज: जब noindex निर्णय प्रति-पेज-प्रकार के आधार पर लिया जाता है (उदाहरण के लिए, सभी /thank-you/ पेजों को noindex किया जाना चाहिए)। उन पेजों द्वारा उपयोग किए जाने वाले लेआउट टेम्पलेट के अंदर मेटा टैग जोड़ें।
- गतिशील निर्णय: जब noindex रनटाइम डेटा पर निर्भर करता है (उदाहरण के लिए, 200 शब्दों से कम वाले पेजों को noindex करना)। मेटा टैग को टेम्पलेट में सशर्त रूप से रेंडर किया जाता है।
- जब आपके पास सर्वर-कॉन्फ़िग तक पहुँच नहीं है: साझा होस्टिंग, लॉक-डाउन CMS, एजेंसी डिप्लॉय जहाँ आप टेम्पलेट संपादित कर सकते हैं लेकिन htaccess नहीं। मेटा टैग आपका एकमात्र विकल्प है।
जब X-Robots-Tag सही विकल्प है
- गैर-HTML संसाधन: PDFs, छवियाँ, JSON एंडपॉइंट्स, साइटमैप्स। आप PDF में मेटा टैग नहीं जोड़ सकते। HTTP प्रतिक्रिया में X-Robots-Tag ही एकमात्र तरीका है।
- पैटर्न-आधारित बहिष्करण: "/admin/*" के तहत सब कुछ noindex करना या हर .pdf फ़ाइल को noindex करना। सर्वर में एक बार कॉन्फ़िगर करें, हर मिलान करने वाले URL पर हमेशा लागू होता है। 200 टेम्पलेट संपादित करने की तुलना में बहुत ज्यादा साफ़।
- बड़े पैमाने पर बहिष्करण: 10,000 गतिशील रूप से उत्पन्न URLs जिन्हें इंडेक्स नहीं किया जाना चाहिए। एक single Nginx location block 200 टेम्पलेट संपादित करने से बेहतर है।
- जब आप सुरक्षा की कई परतें चाहते हैं: सर्वर पर X-Robots-Tag को टेम्पलेट में robots मेटा के साथ जोड़ें। कोई भी layer noindex को पकड़ता है; दोनों layers का मतलब है कि टेम्पलेट बग गलती से पेज को दोबारा इंडेक्स नहीं कर सकता।
दोनों क्या सेट कर सकते हैं
दोनों तंत्र एक ही directive set को स्वीकार करते हैं। सबसे आम: noindex (index न करें), nofollow (इस page से links follow न करें), none (= noindex, nofollow), noarchive (cached version न दिखाएँ), nosnippet (SERP में snippet न दिखाएँ), max-snippet:N (snippet length को सीमित करें), max-image-preview:standard|large|none (AI Overviews में image previews को नियंत्रित करें, 2026 GEO काम के लिए प्रासंगिक), max-video-preview:N (video preview length को सीमित करें), unavailable_after:date (किसी तारीख के बाद स्वचालित रूप से noindex करें)।
Google को एक जैसे निर्देश पढ़ने पड़ते हैं चाहे उन्हें कोई भी तंत्र पहुंचाए। तंत्र का चुनाव स्केल और संसाधन के प्रकार के बारे में है, निर्देश समर्थन के बारे में नहीं।
आम प्लेटफॉर्म पर X-Robots-Tag कैसे सेट करें
Vercel (vercel.json)
एक [[headers]] ब्लॉक का इस्तेमाल करें जिसमें source पैटर्न और X-Robots-Tag के लिए values एंट्री हो। उदाहरण: [[headers]] source = "/admin/(.*)" [[headers.values]] X-Robots-Tag = "noindex, nofollow"। यह पैटर्न से मेल खाने वाले हर URL पर लागू होता है।
Netlify (netlify.toml)
[[headers]] ब्लॉक जिसमें for path glob और values.X-Robots-Tag सेट हो। उदाहरण: [[headers]] for = "/admin/*" [headers.values] X-Robots-Tag = "noindex, nofollow"।
Apache (.htaccess)
<FilesMatch "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </FilesMatch> फाइल-पैटर्न मेल खाने के लिए। या पाथ मेल खाने के लिए <Location /admin> Header set X-Robots-Tag "noindex, nofollow" </Location> का इस्तेमाल करें।
Nginx
server ब्लॉक के अंदर location ~ /admin/ { add_header X-Robots-Tag "noindex, nofollow"; }। location ~ रेजेक्स से मेल खाता है; केवल प्रीफिक्स मेल खाने के लिए location ^~ का इस्तेमाल करें।
Cloudflare Workers / Edge
Worker script में Response headers को modify करें: response.headers.set('X-Robots-Tag', 'noindex, nofollow')। यह उन साइट्स के लिए उपयोगी है जहाँ origin server आसानी से header emit नहीं कर सकता।
Header set होने की पुष्टि करना
curl -I https://example.com/page सभी response headers को return करता है जिनमें X-Robots-Tag शामिल है। आउटपुट में X-Robots-Tag लाइन को देखें। अगर यह गायब है, तो header set नहीं हो रहा है।
Search Console verification के लिए: URL Inspection tool वे directives दिखाता है जो Google को meta tag और HTTP header दोनों से मिलीं। अगर कोई भी layer noindex set करता है, तो Google कुछ नहीं index करता। दोनों layers को check करना लायक है क्योंकि एक misconfigured CDN headers को silent रूप से strip कर सकता है।
Defence-in-depth पैटर्न
सबसे मजबूत production setup दोनों का उपयोग करता है। Path pattern के लिए server-level X-Robots-Tag (जैसे /admin/*) और उन्हीं pages के लिए template-level meta robots page के <head> में। दो layers का मतलब है कि एक template bug या CDN misconfiguration accidentally उन pages को reindex नहीं कर सकता जो private होने चाहिए।
यह है इस साइट का admin section कैसे configured है: vercel.json /admin/* पर X-Robots-Tag: noindex, nofollow set करता है, AND AdminLayout template head में <meta name="robots" content="noindex, nofollow"> emit करता है। पूरी सावधानी।
आम गलतियाँ
- एक page को noindex add करना जो पहले ही robots.txt द्वारा blocked है। robots.txt में Disallow Googlebot को page को fetch करने से रोकता है, इसलिए वह noindex directive को कभी नहीं देखता। Page को Disallow rule के बिना छोड़ें ताकि bot fetch कर सके + noindex देख सके।
- JavaScript-रेंडर किए गए HTML में meta tag के ज़रिए noindex सेट करना। कुछ bots JS को execute करते हैं, कुछ नहीं। सुरक्षित तरीका है server-side rendering के ज़रिए noindex meta tag सेट करना, या HTTP header में X-Robots-Tag डालना जिसे JS execution की ज़रूरत न हो।
- ऐसे page पर noindex सेट करना जिसके backlinks हैं। Google noindex को respect करेगा लेकिन उन backlinks से मिलने वाला link equity बर्बाद हो जाएगा। बेहतर है कि page को किसी संबंधित URL पर 301 redirect करो जो उस equity को absorb कर सके।
- यह भूल जाना कि X-Robots-Tag per-server नहीं बल्कि per-response है। CDN cache hits कभी-कभी custom headers को strip कर देते हैं; deploy के बाद curl से verify करो।
सारांश
robots meta tag: per-page, HTML में, template level पर edit करें। X-Robots-Tag: per-response, HTTP header में, server level पर edit करें। HTML के लिए दोनों काम करते हैं; non-HTML के लिए सिर्फ X-Robots-Tag काम करता है। जब noindex महत्वपूर्ण हो तो दोनों का use करो।
संबंधित reading: 410 बनाम 404 retirement case को cover करता है (URLs गायब हो रहे हैं); 301 बनाम 302 बनाम 307 बनाम 308 redirect case को cover करता है (URLs move हो रहे हैं)। noindex के साथ मिलाकर ये तीन primary tools हैं Google को बताने के लिए कि URL के साथ क्या करना है।
अक्सर पूछे जाने वाले सवाल
X-Robots-Tag और robots meta tag में क्या अंतर है?
दोनों indexing को नियंत्रित करते हैं, लेकिन robots meta tag page के HTML head में रहता है, जबकि X-Robots-Tag HTTP header के रूप में भेजा जाता है। Header version PDFs और images जैसी non-HTML files को नियंत्रित कर सकता है, जो meta tag नहीं कर सकता। वे noindex और nofollow जैसी एक ही directives को support करते हैं।
मुझे meta tag की जगह X-Robots-Tag का उपयोग कब करना चाहिए?
X-Robots-Tag का उपयोग करें जब आपको PDFs और images जैसी non-HTML files की indexing को नियंत्रित करने की जरूरत हो, या जब आप एक साथ कई URLs पर server level पर directives set करना चाहते हों। Meta tag का उपयोग individual HTML pages के लिए करें जहाँ head को edit करना सरल हो।
क्या X-Robots-Tag किसी PDF को noindex कर सकता है?
जी हाँ, यह इसका मुख्य लाभ है। robots meta tag PDF के अंदर नहीं रह सकता, लेकिन X-Robots-Tag HTTP header PDF, image, या किसी भी non-HTML file पर noindex apply कर सकता है। यह documents को search results से बाहर रखने का सही तरीका है।
क्या robots.txt, noindex जैसा ही काम करता है?
नहीं। robots.txt क्रॉलिंग को ब्लॉक करता है; noindex इंडेक्सिंग को ब्लॉक करता है। robots.txt में ब्लॉक किया गया पेज क्रॉल किए बिना भी सर्च रिजल्ट्स में दिख सकता है। किसी पेज को इंडेक्स से हटाने के लिए, इसे क्रॉल होने दें और noindex सर्व करें, इसे robots.txt में ब्लॉक न करें।