写给零售商和网站运营者
KiasuPriceBot
最后更新:2026 年 10 月 18 日
KiasuPriceBot 是 KiasuPrice 运营的爬虫,用来收集新加坡零售商公开标示的数码产品价格和库存状态,供消费者在 kiasuprice.com 比较报价、查看价格历史。每个商品都链接回零售商自己的页面。
如何识别
- User-Agent:
Mozilla/5.0 (compatible; KiasuPriceBot/0.2; +https://kiasuprice.com/bot) - 请求签名(Web Bot Auth):每个请求都带
Signature-Agent: "https://kiasuprice.com"以及Signature-Input/Signature(RFC 9421 HTTP Message Signatures,Ed25519,tag 为web-bot-auth)。 - 公钥目录:https://kiasuprice.com/.well-known/http-message-signatures-directory
- 网络:请求来自 Cloudflare Workers,IP 不固定,请通过签名而不是 IP 来识别我们。
抓取规则
- 读取并遵守
robots.txt,包括针对User-agent: KiasuPriceBot的规则和Crawl-delay。 - 只访问公开的 sitemap、分类页、商品页和公开的商品数据。
- 不访问购物车、结账、账户和搜索页,不提交表单,不执行脚本。
- 平时每个商品约每天访问一次;大促期间(11.11、黑五、12.12)最多每 6 小时一次。
- 对同一网站最多同时发 3 个请求,每个请求之后都有间隔。
- 不绕过任何拦截、验证或限速。网站拦截我们,我们就停止。
- 数据只用于比价和价格历史,不用于训练 AI 模型。
退出或调整
在 robots.txt 中加入以下内容即可禁止 KiasuPriceBot:
User-agent: KiasuPriceBot
Disallow: /
或发邮件到 bot@kiasuprice.com,我们会在两个工作日内回复。
零售商合作
如果你更希望直接提供商品价格数据,或在防护系统中按签名放行 KiasuPriceBot,请发邮件到 bot@kiasuprice.com。提供数据后价格更准确,也不再需要抓取。