突破信息茧房：AI 时代收集与整理信息
非 AI 时代，信息获取其实很简单，难的是过滤和整理。而现在的工具和 App 只推送你感兴趣的东西——那些你应该关注的重要信息，反而看不到。每个人活在自己的信息范畴里，没有信息差，就不能在 AI 时代领先别人一步。本节讲怎么用 AI 建立一条主动的信息收集与整理管道：从一句话抓取到固化成 MCP 工具，再到夜间循环推送。
从一个案例说起：每日财经信息管道
Brian 本地跑着一个每日任务：让 AI 每天帮他收集关注的财经信息，整理成结构化数据——可以筛选、可以快速浏览重点。从效果上说，这就是一个为自己定制的"信息检方"（信息简报）：不是被动接收没有过滤的信息流，而是主动筛选自己想了解的东西。
这个案例抽象出来是一条通用管道，本节就把它一步步拆开讲。
场景切入：慕课网课程数据
举一个具体的例子。想知道慕课网上有哪些优质课程、优质老师，站内搜索能解决一部分。但如果你想了解更细的数据——比如一个老师的课程卖得怎么样——问题就来了：
- 作为老师，你只能看到自己的数据，同行业其他老师的数据拿不到；
- 同学们的第一反应是爬虫——思路对，但爬下来的信息量巨大，还需要筛选；
- 社交群里也有对老师的评价，但同样：只能知道部分信息 + 信息量大海需要筛选。
AI 时代的新解法：让 AI 工具去抓取这些信息，并且过滤出我们想要的部分。 下面看完整演示。
演示一：一句话抓取，被拦截就换工具
对 Claude Code 说出一句非常朴素的话：
我想了解平台上有哪些分类的课程。
text
注意：没有告诉它要爬取，也没有让它创建什么 skill 或 MCP 工具。实测它的行为链：
- 直接调用本地的 fetch 工具去抓页面；
- 被目标网站的反爬拦截；
- 自动换工具——切换到本地装好的 MCP 工具（local-search，5-02 自建的那套），抓取成功。
这一幕的信息量在"换工具"：基础抓取被反爬拦截是常态，AI 会自己降级到更强的抓取引擎。但要想稳定、海量地抓，还需要专门解决。
被拦截怎么办：搜索稳定抓取方案
接着让 AI 去搜："有没有什么开源项目，可以比较稳定地抓取目标站点的信息并转换成 MD 结构化文字供 AI 使用？"实测搜到的方向：
crawl4ai（unclecode/crawl4ai，约 8.7 万 star（2026-11-07 核实））：开源爬虫，把任意网页转成干净的 LLM 友好 Markdown（供 RAG、Agent、数据管道使用），完全免费开源，也提供托管 API 和 MCP 接入。课程自建的 local-search 工具本身就是 crawl4ai + 搜索引擎的结合（引擎链 httpx → render → stealth 三级回退）。
第二个方向是指纹浏览器。海量抓取有两个前置件，缺一不可：
指纹浏览器方向的代表项目 Camoufox（daijro/camoufox）：一个深度定制的 Firefox 分叉，指纹欺骗在 C++ 引擎层实现，不是 JS 注入——基于 Tor、Arkenfox、CreepJS 的研究，navigator、WebGL、screen、字体、WebRTC 等所有指纹属性在到达页面前就被拦截替换，JS 检测查不出痕迹。这就是最近比较火的那款；另一类是源码级指纹补丁的 Chromium 系方案，相对重一些，可以自己试用比较。
边界与红线（必须讲清楚）
- 内网信息墙：有些内网信息必须持有对应账号才能访问——不在本节讨论范畴；
- 法律边界：抓公开数据自用没有问题；把数据拿出来卖就是违法；
- 别把目标站整挂了：多个指纹浏览器分身 + 多线程 + 多 IP 齐上，对慕课网这种站点就是变相 DDoS 攻击——学思路，别作恶；
- 把红线写进提示词："模拟人工操作、注意并发与随机性、注意反爬机制"——让 AI 模拟人的节奏，别让高并发被目标站识别。
演示二：让 AI 直接操作本地浏览器
除了爬取类工具，还可以让 AI 直接操作本地浏览器。这个方向的开源代表是 browser-use（browser-use/browser-use，官方文档口径 79k+ star，2026-11-07 GitHub API 实测已到 12 万+）：让 AI agent 用真浏览器点击、填表、导航。它已经成为很多 AI 工具的内置能力。
Claude Code 操作已登录的慕课网
新开会话，输入"操作浏览器，在当前的浏览器里访问慕课网，读取已登录的个人信息"。实测过程（全程没装任何额外插件，用的就是 Claude Code 自带能力）：
- AI 先思考，然后启动 Playwright 去抓取；
- 第一次尝试失败：浏览器配置目录被占用（是本机一个 MCP 工具占用的）；
- AI 自己排查：是哪个进程在占用 → 改为启动独立的 Playwright Chrome 实例；
- 继续的注意点：要操作已有浏览器里的登录态，就不要新开 tab/新实例——Brian 中途喊停并纠正："停止操作已有的浏览器，不要先启动 tab"；
- 最终成功读取：昵称、慕课网认证老师身份、头像、学生数、粉丝数、授课时长、课程数、价格、在线人数，连评价信息都拿到了。
有两点值得专门指出：
- AI 会自动做你没要求的操作：我们并没有要求它把课程信息抓下来，但它自动完成了这一系列操作——这是 AI 的自主行为，用得好是惊喜，用不好要盯住；
- 登录态依赖浏览器 profile：用 Playwright 连接已有浏览器 vs 新开干净实例，效果天壤之别。
其他工具的 computer use
这不是 Claude Code 独有。Brian 顺手演示了别家：
- ChatGPT：设置里有 computer use 能力（左侧 Integrations → Computer use），弹窗确认权限后可以直接操作电脑；
- z.ai（Z Code）：设置 → 常规里有"Chrome 加速""电脑控制"开关；
- Codex 可装对应插件实现类似能力；国内产品也有类似功能。
方向已经明确：操作浏览器/操作电脑正在成为 AI 编码工具的标配能力。
把能力固化：Skill 还是 MCP？
抓取能力验证通过后，下一步是变成可复用的工具。两个选择：
- Skill：当前项目里可用；
- MCP 服务：其他 AI 工具也能跨工具调用。
Brian 明确表态：个人更倾向创建成 MCP 服务——一次建设，所有 AI 工具都能用。
落地时，AI 还主动提出了引擎升级建议：给 local-search 的抓取引擎加上多级防护绕过（L1 httpx → L2 render → L3 stealth 三级引擎链），再结合 crawl4ai 与指纹浏览器两个方向做备选互补，替换单一 Playwright 引擎以提高抓取成功率。按它的建议，把候选项目下载到 local-search 的 demos/ 目录、加好 .gitignore，开一个多 agent 团队去调研适配，分析如何集成进 local-search——又一次用上 18-01 的"多 agent 调研"模式。
完整任务示例（可复制）
引擎升级完成后，跑一个完整任务：
使用上面的工具，对慕课网的"前沿技术"分类做完整的课程信息分析：
包含课程基础信息 + 老师信息 + 销售信息（价格、报名人数、在线人数）。
下载到当前根目录创建 imooc/ 目录，相关信息创建成 MD 文件，
统计数据更新到【八位日期】.json 文件。
注意：模拟人工操作，注意并发与随机性，注意反爬机制。
text
为什么用"八位日期"命名 JSON 文件：JSON 是结构化数据（方便程序处理和做图表），八位日期（如 20261008.json）方便后续同类采集按时间序列累积对比。MD 管人读，JSON 管机器读，双轨落盘。任务可以在它工作过程中随时补充发送。
产出分析
任务完成后产出三类文件：统计数据（JSON）、前沿技术课程分析（MD）、原始抓取中间产物。MD 报告里能看到：
- 分类全景：区块链、神经网络、微服务、Elasticsearch/Elastic Stack、Python 等；
- 免费课即引流课：看右侧报名人数，大致判断热门程度；另有难度分布；
- 实战课程价格带：消费降级肉眼可见——AI 没火爆之前，编程课普遍四五百、上千甚至几千，买的就是信息差；现在 AI 让信息平权了、技术也平权了，大家都在一个起跑线上，这些课也就没那么多非买不可的理由了；
- 讲师盘点、会员制（充一年会员全部课程可学）等平台运营形态。
这些表格还可以让 AI 进一步生成更好看的图表做分析。
升级玩法：从手动到循环推送
把上面这条收集链路再往前推一步——变成 loop：
- 很多 AI 工具都提供循环功能（
/loop、ralph-loop，机制详见 8-04），或者干脆不进会话，用系统级定时任务直接告诉它"每天晚上几点执行这个采集"； - 结合 IM（飞书/钉钉/企微机器人）或邮件整合：抓取 → 整理 → 推送到你的邮箱或消息窗口；
- 这比每天手动翻信息 App 和群聊方便太多。升级玩法很多，本节不可能讲细，大家需要发挥想象力，把信息差建立起来，把工具利用好。
价值观收尾：该学还是要学
最后回到一个容易被带偏的问题：既然 AI 能把课程价格打下来、能替你干活，那学习还有用吗？Brian 的三个判断：
- 课程的价值没有消失。当你完全不懂技术内容、AI 写出来的代码你看不懂时，项目的维护你要花很多心思——看不懂的代码是负债；
- 没学过技术的人组织/架构出来的项目，和真正懂技术的人是有差别的，花费的时间也不一样。顶级模型正在缩短这个差距，但目前这个阶段差距依然明显；
- 懂技术的人和 AI 沟通没有障碍，花费时间更短、效率更高。AI 让信息平权，但没有让能力平权——所以该学的还是要学，基础还是要打好。
本节小结
- 信息茧房的解法不是"少刷推荐流"，而是建立主动收集管道：抓取 → 过滤 → 结构化（MD+日期 JSON）→ 分析 → 推送。
- 抓取被反爬拦截是常态，解法按强度递增：fetch → local-search（crawl4ai + 三级引擎链）→ 指纹浏览器（Camoufox，C++ 层指纹）+ 海量 IP（付费代理）。
- browser-use/computer use 让 AI 直接操作你的本地浏览器，能复用已登录的会话态——注意"连已有浏览器 vs 新开实例"的区别，也要警惕 AI 的自主越界操作。
- 固化形态二选一：项目内用 Skill，跨工具复用建 MCP（Brian 的推荐）。
- 提示词里永远带上安全约束："模拟人工操作、注意并发与随机性、注意反爬机制"；自用可以，倒卖违法，别把目标站整挂了。
- AI 让信息平权，但没让能力平权——懂技术的人与 AI 沟通无障碍，基础还是要打好。
↑