mdget.dev
开源 · Apache-2.0 · 16 个平台适配器

打不开的网页，交给它

在链接前加上这个域名。普通网页、以及微信公众号、知乎、飞书这类会把阅读器挡在外面的站点，都会以 Markdown 返回。给你自己看，也给 Agent 用。

GET https://mdget.dev/https://example.com

可选参数：format、selector、force_browser、raw、engine

试一篇 Cloudflare 文档看打不开的页面接口文档

16 个平台适配器

WeChatZhihuFeishuYuqueJuejinCSDN36KrToutiaoWeiboNetEaseTwitter/XRedditNotionGitHubSubstackMedium

效果

打开链接时被拦住，返回的是正文

这是微信公众号的常见情况。左边是人看到的，右边是同一次转换返回的 Markdown。

页面上看到的

微信公众号

深度解析：大模型在企业的落地实践

林可，2026-03-25

此内容需要在微信客户端中打开

长按识别二维码

转成的 Markdown
# 深度解析：大模型在企业的落地实践

> 林可，2026-03-25

## 核心观点

1. 大模型的应用场景正在从实验室走向生产环境
2. RAG 架构成为企业级应用的首选方案
3. Agent 工作流将重新定义软件开发流程

## 背景

随着 GPT-4、Claude 等模型的发布，企业开始认真考虑将大语言模型集成到核心业务流程中...

SPA、付费墙与反爬页面

16 个适配器覆盖微信公众号、知乎、飞书、Twitter 等国内外平台。静态抓取拿不到内容时，自动升级到无头浏览器。

你的 Agent 直接可用

自带 MCP Server、Agent Skills 与 llms.txt。把 Claude、Cursor 或自研 Agent 指过来就能用，不需要写胶水代码。

五层兜底，逐层降级

原生提取、Readability、无头浏览器、Firecrawl、Jina 依次尝试。浏览器和外部阅读器需要 API key。结果缓存在边缘。

工作原理

加一个前缀，剩下的交给边缘

  1. 1

    添加前缀

    在任意网址前加上 mdget.dev/

  2. 2

    边缘处理

    按顺序尝试：原生提取、Readability、浏览器、Firecrawl、Jina。浏览器和外部阅读器需要 API key。

  3. 3

    干净输出

    Markdown、JSON、HTML 或纯文本

五层兜底

按这个顺序尝试，拿到内容就返回。

01原生 MarkdownCloudflare 边缘，约 0.1 秒
02Readability解析 HTML，约 0.5 秒
03无头浏览器约 2–5 秒
04Cloudflare REST约 1–3 秒
05Firecrawl，然后 Jina外部兜底，约 2–4 秒

大家拿它做什么

AI Agent

把任意网页内容以干净 Markdown 喂给 LLM

知识库构建

用深爬 API 抓取文档、Wiki、博客

内容迁移

批量转换，一次最多 10 个 URL

研究分析

任意文章，无需登录、无 JS 渲染困扰

中文网站

微信公众号、知乎、飞书、语雀、CSDN...

结构化提取

CSS 选择器、XPath 或正则表达式

按你现在要做的事

手头有一个链接

贴到上面。Markdown 会在下一页打开。

Agent 要自己读网页

Skills、MCP，或让它读 llms.txt。

要接进自己的流程

批量、提取、任务和深爬在文档里。密钥在门户。

常见问题

粘贴一个 URL。

免费注册即可使用浏览器渲染和更高额度。

获取 API Key阅读文档