admin 
„Cloudflare“ pristatė funkciją, kuri konvertuoja HTML puslapius į žymėjimą, kai to reikalauja AI sistemos. Tinklo svetainės dabar gali teikti lengvesnį turinį robotams nekuriant atskirų puslapių.
Funkcija, vadinama „Markdown for Agents“, veikia per HTTP turinio derybas. AI tikrinimo programa siunčia užklausą su Accept: text/markdown antraštėje. „Cloudflare“ jį perima, paima originalų HTML iš pradinio serverio, konvertuoja jį į žymėjimą ir pateikia rezultatą.
Paleidimas įvyko praėjus kelioms dienoms po to, kai „Google“ atstovas Johnas Muelleris pavadino idėją sumažinti AI robotus „kvaila idėja“ ir suabejojo, ar robotai gali tinkamai išanalizuoti žymėjimo nuorodas.
Kas naujo
„Cloudflare“ šią funkciją apibūdino kaip AI agentus kaip „pirmos klasės piliečius“ kartu su lankytojais. Kaip pavyzdį bendrovė naudojo savo tinklaraščio įrašą. HTML versija sunaudojo 16 180 žetonų, o sumažinimo konversija naudojo 3 150 žetonų.
„Neapdoroto HTML teikimas dirbtiniam intelektui prilygsta mokėjimui žodžiu perskaityti pakuotę, o ne raidę viduje“, – rašė bendrovė.
Konvertavimas vyksta „Cloudflare“ krašto tinkle, o ne pradiniame serveryje. Svetainės įgalina tai kiekvienoje zonoje per prietaisų skydelį, o beta versija yra prieinama be papildomų mokesčių Pro, Business ir Enterprise plano klientams, taip pat SSL SaaS klientams.
„Cloudflare“ pažymėjo, kad kai kurie AI kodavimo įrankiai jau siunčia Accept: text/markdown antraštę. Bendrovė kaip pavyzdžius pavadino Claude Code ir OpenCode.
Kiekvienas konvertuotas atsakymas apima x-markdown-tokens antraštė, kuri įvertina sumažinimo versijos prieigos raktų skaičių. Kūrėjai gali tai naudoti norėdami tvarkyti kontekstinius langus arba planuoti suskirstymo strategijas.
Turinio signalo numatytieji nustatymai
Konvertuoti atsakymai apima a Content-Signal nustatyta antraštė ai-train=yes, search=yes, ai-input=yes pagal numatytuosius nustatymus signalizuojant turinį galima naudoti AI mokymui, paieškai ir AI įvestims (įskaitant agentų naudojimą). Ar konkretus robotas gerbia tuos signalus, priklauso nuo roboto operatoriaus. „Cloudflare“ teigė, kad ateityje ši funkcija pasiūlys tinkintą turinio signalo politiką.
Turinio signalų sistema, kurią „Cloudflare“ paskelbė per 2025 m. gimtadienio savaitę, leidžia svetainių savininkams nustatyti turinio naudojimo nuostatas. Įgalinus žymėjimo konvertavimą taip pat taikomas numatytasis naudojimo signalas, o ne tik formato pakeitimas.
Kuo tai skiriasi nuo to, ką kritikavo Muelleris
Muelleris kritikavo kitokią praktiką. Kai kurie svetainių savininkai sukuria atskirus įvertinimo puslapius ir pateikia juos AI vartotojų agentams naudodami tarpinę programinę įrangą. Muelleris išreiškė susirūpinimą dėl maskavimo ir neveikiančių nuorodų ir suabejojo, ar robotai gali tinkamai išanalizuoti žymėjimą.
„Cloudflare“ funkcija naudoja kitą mechanizmą. Užuot aptikęs vartotojų agentus ir teikdamas alternatyvius puslapius, jis remiasi derybomis dėl turinio. Tas pats URL pateikia skirtingus atvaizdus, atsižvelgiant į tai, ko klientas prašo antraštėje.
Muellerio komentarai buvo susiję su naudotojo agentu pagrįstu aptarnavimu, o ne dėl turinio derybų. „Reddit“ gijoje apie „Cloudflare“ funkciją Muelleris atsakė ta pačia pozicija. Jis rašė: „Kodėl viskas turi būti dar sudėtingesnė (lygiagreti versija tik robotams), o ne praleisti šiek tiek laiko tobulinant svetainę visiems?
„Google“ apibrėžia maskavimą kaip skirtingo turinio rodymą naudotojams ir paieškos sistemoms, siekiant manipuliuoti reitingais ir klaidinti vartotojus. Susirūpinimas maskavimu čia gali būti taikomas kitaip. Naudodamas vartotojo agentą, serveris nusprendžia, ką rodyti, atsižvelgdamas į tai, kas klausia. Derantis dėl turinio klientas prašo formato, o serveris atsako. Turinys yra ta pati informacija skirtingu formatu, o ne skirtingas turinys skirtingiems lankytojams.
Praktinis rezultatas vis dar panašus, žiūrint iš vikšrinio kompiuterio perspektyvos. „Googlebot“, pateikęs užklausą dėl standartinio HTML, pamatytų visą tinklalapį. AI agentas, prašantis sumažinimo, matys sumažintą to paties puslapio teksto versiją.
Naujas radaro sekimas
„Cloudflare“ taip pat pridėjo turinio tipo stebėjimą prie „Cloudflare Radar“, skirto AI robotų srautui. Duomenys rodo AI agentams ir tikrintuvams grąžinto turinio tipų pasiskirstymą, suskirstytą pagal MIME tipą.
Galite filtruoti pagal atskirą robotą, kad sužinotumėte, kokių tipų turinio gauna konkretūs tikrintuvai. „Cloudflare“ kaip pavyzdį parodė „OAI-SearchBot“, rodantį „OpenAI“ paieškos tikrintuvui pateiktų atsakymų į sumažinimą kiekį.
Duomenys pasiekiami per viešąsias „Cloudflare“ API ir „Data Explorer“.
Kodėl tai svarbu
Jei jau naudojate svetainę naudodami „Cloudflare“, galite įgalinti sumažinimo konvertavimą vienu jungikliu, užuot kurę atskirus žymėjimo puslapius.
Įjungus „Markdown for Agents“ taip pat nustatoma Content-Signal antraštė į ai-train=yes, search=yes, ai-input=yes pagal nutylėjimą. Leidėjai, kurie rūpinosi AI prieiga prie savo turinio, prieš įjungdami funkciją turėtų peržiūrėti šiuos numatytuosius nustatymus.
Žvilgsnis į priekį
„Cloudflare“ teigė, kad ateityje prie „Markdown for Agents“ ketina pridėti pasirinktines turinio signalo politikos parinktis.
Muellerio kritika buvo sutelkta į atskirus kainų sumažinimo puslapius, o ne į standartines derybas dėl turinio. „Google“ neatsižvelgė į tai, ar teikimo sumažinimas per derybas dėl turinio patenka į jos maskavimo gaires.
Ši funkcija yra pasirenkama ir taikoma tik mokamiems „Cloudflare“ planams. Prieš įjungdami, peržiūrėkite numatytuosius turinio signalo nustatymus.
