Crawler AI & llms.txt
Các trợ lý AI đọc web qua crawler, fetcher và giao thức agent, và phần lớn luật chơi vẫn đang được viết.
Các trợ lý AI đọc web qua crawler, fetcher và giao thức agent, và phần lớn luật chơi vẫn đang được viết. Mình để beru.io.vn mở cho bot AI, có llms.txt, bản markdown cho mọi trang, API catalog và một MCP server bảo vệ bằng OAuth, rồi dùng chính site này làm nơi thử nghiệm. Các bài trong mục này kiểm tra xem bot và các chuẩn đó thực sự làm gì: xác minh GPTBot, ClaudeBot và PerplexityBot với danh sách IP chính thức, tín hiệu robots.txt như Content-Usage, chữ ký Web Bot Auth, WebMCP, MCP Registry, và liệu những file như llms.txt có ai đọc hay không. Ở đây bạn sẽ thấy log và request thật, không phải dự đoán.
Tiếng Việt
4 bài, mới nhất trước
Web Bot Auth: IETF vừa chuẩn hoá xác thực bot bằng chữ ký số, tôi tự ký một request thử trên beru.io.vnNgày 1/9/2026, IETF xuất bản draft-ietf-webbotauth-httpsig-protocol-00 — chuẩn hoá Web Bot Auth, xác thực bot bằng chữ ký số Ed25519 thay cho IP allowlist và User-Agent dễ giả. Tôi trích spec, tự dựng một request ký đúng công thức RFC 9421 bằng Node.js, verify ra true, rồi đem well-known path mà spec yêu cầu ra test trên beru.io.vn — kết quả 404 — và phát hiện hai nguồn (Cloudflare 2025, IETF 2026) viết well-known path lệch nhau một chữ.
Chặn AI train dữ liệu website: AIPREF của IETF đề xuất Content-Usage, tôi bắt được bẫy cú pháp y/n trên robots.txt của beru.io.vnIETF vừa cập nhật hai draft AIPREF ngày 19/8/2026, thêm field Content-Usage để website nói rõ với AI: được search nhưng đừng train. Tôi fetch robots.txt thật của beru.io.vn, đối chiếu với Content-Signal mà Cloudflare đã phổ biến từ 9/2025, rồi dùng một parser RFC 9651 thật trong Node.js để chứng minh: viết yes/no hay true/false thay vì đúng y/n vẫn pass cú pháp sạch sẽ, nhưng bị spec coi là unknown — tức vô nghĩa như không khai báo gì.
MCP Registry là gì: tôi thử đăng ký MCP server thật của beru.io.vn và bị chặn ở bước cuốiMCP Registry là gì? Kho metadata chính thức của Anthropic, GitHub, PulseMCP và Microsoft để agent tìm ra MCP server công khai. Tôi tra thử chính MCP server OAuth đang nộp bài này — không có trong registry — rồi tự tạo khoá Ed25519 thật, tính TXT record thật, dựng server.json thật, và ghi lại chính xác nơi mình bị chặn: từ quyền hạ tầng DNS cho tới egress proxy và auto-mode classifier của chính Claude Code.
Bài tiếng Anh
OAuth Today, DPoP Tomorrow: What MCP's August Roadmap Means for My Own MCP ServerOn August 22, 2026, MCP's roadmap said agent identity should move past pasted API keys toward DPoP-bound tokens and Workload Identity Federation. I run one of those OAuth-protected MCP servers -- it's the tool that filed this post -- so I traced what already shipped July 28, verified my own robots.txt and API catalog, and worked out what's actually mine to build versus aspirational.
WebMCP Is Not MCP: I Tested Chrome's New Agent-Tool API With Google's Own PolyfillWebMCP isn't MCP. It's a separate, browser-native standard for exposing page-level tools to AI agents, now backed by a Chrome origin trial and this week's OpenAI-run hackathon. I tested the real API with Google's own polyfill against a Kiwi-style form: the declarative form API, the imperative registerTool API, real generated JSON Schema, real tool calls, and why WebMCP's trust model differs sharply from a backend MCP server.
GPTBot Says It's GPTBot. I Stopped Taking Its Word for ItEvery AI-crawler User-Agent string is just a claim anyone can send. I fetched the real IP allowlists OpenAI, Anthropic, and Perplexity publish for GPTBot, ClaudeBot, and PerplexityBot, found out how differently the three actually maintain them, and added verified/unverified crawler logging to this blog's own Next.js + Prisma CMS instead of trusting the header.
llms.txt v2 Shipped. Here's What My Site Still Gets Wrong About Agent-Readabilityllms.txt shipped a v2 spec on August 10, 2026. Google says it ignores the file for ranking — true, but beside the point for agents. I tested beru.io.vn's four agent-discovery channels (llms.txt, a markdown mirror, .well-known/api-catalog, and the OAuth MCP server that filed this post) against real requests, and found one channel quietly blocked by robots.txt.