llms.txt एक सादी Markdown फ़ाइल है जिसे आप अपनी साइट की रूट पर रखते हैं, /llms.txt पर, जो AI उपकरणों को आपके सबसे महत्वपूर्ण पृष्ठों का एक संचयित मानचित्र उस प्रारूप में देता है जिसे वे सस्ते में पढ़ सकते हैं। इसे बड़े भाषा मॉडल के लिए लिखी गई सामग्री की एक विषय सूची के रूप में सोचें, न कि खोज क्रॉलर के लिए। इसका प्रस्ताव Answer.AI के Jeremy Howard ने 2024 के अंत में दिया था, और 2025 के दौरान यह दस्तावेज़ीकरण और डेवलपर-टूल साइटों के बीच एक शांत मानक बन गया। यह क्या है, इसे कैसे लिखें, और यह ईमानदार जवाब कि क्या इसका वास्तव में अभी तक कोई प्रभाव है।
मुख्य बात: llms.txt आपके सबसे अच्छे पेजों का एक संगठित Markdown मानचित्र है जो AI crawlers के लिए है; इसे भेजना सस्ता है और इसे रखना काबिले-गौर है, लेकिन अभी तक किसी बड़े engine ने इसके इस्तेमाल की पुष्टि नहीं की है।
llms.txt क्या है?
llms.txt आपकी साइट की रूट पर एक Markdown फ़ाइल है जो आपके मुख्य पृष्ठों को छोटे विवरणों के साथ सूचीबद्ध करती है, ताकि एक AI मॉडल आपकी सामग्री को अपनी पूरी HTML को क्रॉल और पार्स किए बिना खोज सके और समझ सके। प्रारूप जानबूझकर सरल है: साइट या प्रोजेक्ट नाम के साथ एक H1, एक ब्लॉकक्वोट सारांश, फिर लिंक के शीर्षलेख वाले अनुभाग। चूंकि यह Markdown है, एक मॉडल इसे उन टोकन के एक अंश में पढ़ सकता है जो वह एक पृष्ठ को प्रस्तुत करने में खर्च करेगा, जो पूरा मुद्दा है। आप इस साइट का अपना संस्करण /llms.txt पर देख सकते हैं।
llms.txt बनाम llms-full.txt
अंतर गहराई में है। llms.txt मानचित्र है: लिंक और एक-पंक्ति के विवरण। llms-full.txt क्षेत्र है: उन पृष्ठों की वास्तविक सामग्री एक फ़ाइल में समावेशित है, ताकि एक मॉडल सब कुछ एक एकल अनुरोध में ले सके। llms.txt को हल्के-फुल्के इंडेक्स के रूप में उपयोग करें जिसे हर साइट हाथ से बनाए रख सकती है। llms-full.txt का उपयोग करें जब आप किसी मॉडल को एक पेस्ट में आपकी पूरी दस्तावेज़ीकरण रखना चाहते हैं, जो व्यक्तिगत साइट या ब्लॉग की तुलना में डॉक्स साइट और API के लिए अधिक उपयुक्त है।
llms.txt फ़ाइल कैसे लिखें
संरचना निश्चित और संक्षिप्त है:
- एक H1 से शुरू करें: आपकी साइट या प्रोजेक्ट का नाम।
- एक ब्लॉककोट सारांश जोड़ें: साइट क्या है और यह किसके लिए है, इस पर एक या दो वाक्य।
- H2 हेडिंग के तहत लिंक को समूहित करें: जैसे Key resources, Guides, या Products। प्रत्येक लिंक एक Markdown लिंक है जिसके बाद कोलन और पृष्ठ किस विषय को कवर करता है इसका संक्षिप्त विवरण है।
- इसे क्यूरेटेड रखें: केवल वे पृष्ठ सूचीबद्ध करें जिन्हें आप वास्तव में उद्धृत करना चाहते हैं, हर URL नहीं। यह एक संपादकीय फ़ाइल है, साइटमैप नहीं।
- इसे रूट पर होस्ट करें: /llms.txt, सादे पाठ के रूप में परोसा गया, आपके robots.txt और sitemap के साथ।
एक व्यक्तिगत साइट के लिए न्यूनतम संस्करण एक H1 नाम, एक-पंक्ति का सारांश, और तीन अनुभाग हैं: about, key writing, और contact। शुरू करने के लिए यह काफी है, और आप जैसे-जैसे प्रकाशित करते हैं इसे बढ़ाते हैं।
क्या llms.txt robots.txt या sitemap के समान है?
नहीं। robots.txt क्रॉलर को बताता है कि वे क्या प्राप्त करने की अनुमति दी गई है, और sitemap खोज इंडेक्सिंग के लिए हर URL सूचीबद्ध करता है। llms.txt कोई भी नहीं करता। यह आपकी सर्वश्रेष्ठ सामग्री की एक क्यूरेटेड, मानव-लिखित मार्गदर्शिका है, जो भाषा मॉडल को सस्ते में पढ़ने के लिए स्वरूपित है। robots.txt अनुमति के बारे में है, sitemap कवरेज के बारे में है, और llms.txt समझ के बारे में है। वे एक-दूसरे के साथ बैठते हैं, और एक दूसरे की जगह नहीं लेता।
क्या llms.txt वाकई काम करता है?
ईमानदारी से कहूँ तो अभी फैसला नहीं हुआ है। 2026 तक कोई भी बड़ा AI provider सार्वजनिक रूप से यह नहीं कह रहा कि वह llms.txt को पढ़ता है या इसके आधार पर उद्धरण देने या जवाब देने का फैसला करता है, और Google ने कहा है कि वह इसे खोज के लिए इस्तेमाल नहीं करता। तो इसे एक सिद्ध रैंकिंग लीवर नहीं, बल्कि कम लागत वाला दांव समझें। सकारात्मक पहलू असली है पर मामूली: यह जोड़ने में तेज़ है, यह आपको अपने सबसे अहम पन्नों का नाम लेने के लिए मजबूर करता है, और कुछ AI टूल और क्रॉलर इसे वाकई फेच करते हैं। नकारात्मक पहलू सिर्फ इसे लिखने में लगने वाले कुछ मिनट हैं। जो content साइट पहले से generative engine optimisation और SEO से AEO और GEO की ओर shift में निवेश कर रही है, उसके लिए इसे भेजना लायक है—यह साफ नज़रिया रखते हुए कि यह क्या करता है और क्या नहीं।
सवाल-जवाब
llms.txt फाइल किस लिए इस्तेमाल होती है?
एक llms.txt फाइल AI मॉडल को आपके सबसे अहम पन्नों का एक curated, Markdown मानचित्र देती है ताकि वे पूरे HTML को parse किए बिना आपके content को सस्ते में ढूँढ और समझ सकें। इसका मकसद यह है कि बड़े language मॉडल और AI खोज के टूल आपकी साइट को कैसे पढ़ते और प्रस्तुत करते हैं, इसमें सुधार लाया जाए।
आप llms.txt को कहाँ रखते हैं?
अपने डोमेन की जड़ में, /llms.txt पर plain text के रूप में serve किया जाए, उसी जगह जहाँ robots.txt और आपका sitemap है। कुछ साइटें एक विस्तारित /llms-full.txt भी प्रकाशित करती हैं जिसमें उन पन्नों का पूरा content inline हो ताकि single-request ingestion हो सके।
क्या llms.txt robots.txt जैसा ही है?
नहीं। robots.txt नियंत्रित करता है कि क्रॉलर कौन से URLs फेच कर सकते हैं। llms.txt आपके बेहतरीन content का एक curated, human-written गाइड है, जो Markdown में language मॉडल को पढ़ने के लिए लिखा गया है। एक अनुमति देता है, दूसरा समझने में मदद करता है, इसलिए वे एक दूसरे की जगह लेने की बजाय साथ-साथ रहते हैं।
क्या Google llms.txt का इस्तेमाल करता है?
2026 तक, नहीं। Google ने कहा है कि वह search ranking के लिए llms.txt का उपयोग नहीं करता है, और किसी भी प्रमुख AI provider ने citations के लिए इसका उपयोग करने की पुष्टि नहीं की है। यह एक कम लागत वाली, अप्रमाणित convention बनी हुई है। इसे छोटे फायदे के लिए और उस स्पष्टता के लिए जोड़ें जो यह लाता है, इसलिए नहीं कि यह visibility की गारंटी देता है।
ईमानदार सारांश: llms.txt एक समझदारीपूर्ण, सस्ता आदत है, कोई जादुई स्विच नहीं। एक कसा हुआ, curated llms.txt लिखें, इसे अपने प्रकाशन के साथ current रखें, और उस संरचनात्मक काम के साथ जोड़ें जिसे AI engines स्पष्ट रूप से reward देते हैं: clean schema, answer-first content, और एक तेजी वाली site। नक्शा तभी मदद करता है जब territory visit करने लायक हो।