CloudFlare推出 Markdown for Agents 业务

Posted by backup@lfo.cc; tagged with none

如果你用过AI的web fetch工具，肯定碰到过一大堆侧边栏、header和sidebar，以及大量CSS样式代码。而真正有用的内容寥寥无几。
针对这个问题，Cloudflare推出一个把html转成markdown格式的服务和标准。并且提供了一个简单的在线使用方案。https://markdown.new/
只需要像这样https://markdown.new/https://typecho.lfo.cc/archives/82.html 就可以看到这个网页的MARKDOWN格式。据Cloudflare说，这能节省70-80%的tokens消耗。
下面是cloudfalre的原文

为何 Markdown 很重要

将原始 HTML 提供给 AI，就像是按字数付费阅读包装，而不是里面的字母。在 Markdown 页面中添加一个简单的 ## About Us 大约消耗 3 个令牌；而它对应的 HTML 代码 <h2 class="section-title" id="about">About Us</h2> 会占用 12-15 个令牌，这还不包括填充每个真实网页但毫无语义价值的 <div> 包装器、导航栏和脚本标签。

您正在阅读的这篇博客文章在 HTML 中占用 16,180 个令牌，而转换为 Markdown 后仅使用 3,150 个令牌。这相当于令牌使用量减少了 80%。

Markdown 已迅速成为智能体和整个 AI 系统的通用语言。格式清晰的结构使其非常适合 AI 处理，最终带来更好的结果，同时最大限度地减少令牌浪费。

问题在于，Web 是由 HTML 而不是 Markdown 构成，而且页面大小多年来一直在稳步增长，导致页面难以解析。智能体的目标是过滤掉所有非必要元素，并扫描相关内容。

如今，将 HTML 转换为 Markdown 是任何 AI 管道的常见步骤。不过，这个流程不尽如人意：它会浪费计算资源，增加成本和处理复杂度，最重要的是，这可能并不是内容创作者最初预期的使用方式。

如果 AI 智能体绕过复杂的意图分析和文档转换，直接从源接收结构化 Markdown 文档，将会怎么样？

自动将 HTML 转换为 Markdown

Cloudflare 网络现在支持在源实时转换内容，适用于已启用内容协商标头的区域。现在，当 AI 系统从任何使用 Cloudflare 且已启用 Markdown for Agents 功能的网站请求页面时，它们可以在请求中表达对 text/markdown 格式的偏好。在条件允许的情况下，我们的网络会自动、高效地将 HTML 实时转换为 Markdown。

其工作原理如下所述：要从已启用 Markdown for Agents 功能的区域获取任何页面的 Markdown 版本，客户端需要添加 Accept 协商标头，并将 text/markdown 作为其中一个选项。Cloudflare 将检测此标头，从源获取原始 HTML 版本并将其转换为 Markdown，然后再提供给客户端。

下面是一个带有 Accept 协商标头的 curl 示例，请求获取我们的开发人员文档中的页面：

curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
  -H "Accept: text/markdown"

或者，如果您要使用 Workers 构建 AI 智能体，则可以使用 TypeScript：

const r = await fetch(
  `https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
  {
    headers: {
      Accept: "text/markdown, text/html",
    },
  },
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();

我们已经看到一些目前最流行的编码智能体（例如 Claude Code 和 OpenCode）将此类 Accept 标头与内容请求一起发送。现在，将以 Markdown 格式返回此请求的响应。就是这么简单。

HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes

---
title: Markdown for Agents · Cloudflare Agents docs
---

## What is Markdown for Agents

The ability to parse and convert HTML to Markdown has become foundational for AI.
...

请注意，我们在转换后的响应中添加了一个 x-markdown-tokens 标头，用于指明 Markdown 文档中估计的令牌数量。例如，您可以在流程中使用此值，计算上下文窗口的大小或决定分块策略。