--- name: web-access description: 联网工具自动选择 + 站点经验积累。根据场景自主选择最优抓取方式,支持 Jina Reader、curl、web_search,并记住站点特征。 --- # web-access - 站点经验积累 ## 工具选择策略 ``` 1. 简单页面 → curl 直接抓 2. 动态页面(JS渲染) → Jina Reader 3. 搜索 → web_search 4. 已知站点 → 加载站点经验,选择最优方式 ``` ## 工具脚本 | 工具 | 路径 | |------|------| | Jina Reader | /root/.openclaw/scripts/jina-reader.sh | | 站点经验 | /root/.openclaw/scripts/site-experience.sh | ## 自主进化规则 ### 触发条件 | 场景 | 条件 | 动作 | |------|------|------| | 反爬 | curl 返回空白/403/重定向 | 切换 Jina,保存经验 | | JS渲染 | 页面内容与源码不符 | 记录使用 Jina | | 成功抓取 | 某种方式成功 | 保存站点经验 | ### 用法 ```bash # 添加站点经验 bash /root/.openclaw/scripts/site-experience.sh add "example.com" "需要Jina Reader" # 获取站点经验 bash /root/.openclaw/scripts/site-experience.sh get "example.com" # 列出所有经验 bash /root/.openclaw/scripts/site-experience.sh list ``` ## 站点经验存储 路径: /root/.openclaw/memory/06-site-experience/