50 lines
1.2 KiB
Markdown
50 lines
1.2 KiB
Markdown
---
|
|
name: web-access
|
|
description: 联网工具自动选择 + 站点经验积累。根据场景自主选择最优抓取方式，支持 Jina Reader、curl、web_search，并记住站点特征。
|
|
---
|
|
|
|
# web-access - 站点经验积累
|
|
|
|
## 工具选择策略
|
|
|
|
```
|
|
1. 简单页面 → curl 直接抓
|
|
2. 动态页面(JS渲染) → Jina Reader
|
|
3. 搜索 → web_search
|
|
4. 已知站点 → 加载站点经验，选择最优方式
|
|
```
|
|
|
|
## 工具脚本
|
|
|
|
| 工具 | 路径 |
|
|
|------|------|
|
|
| Jina Reader | /root/.openclaw/scripts/jina-reader.sh |
|
|
| 站点经验 | /root/.openclaw/scripts/site-experience.sh |
|
|
|
|
## 自主进化规则
|
|
|
|
### 触发条件
|
|
|
|
| 场景 | 条件 | 动作 |
|
|
|------|------|------|
|
|
| 反爬 | curl 返回空白/403/重定向 | 切换 Jina，保存经验 |
|
|
| JS渲染 | 页面内容与源码不符 | 记录使用 Jina |
|
|
| 成功抓取 | 某种方式成功 | 保存站点经验 |
|
|
|
|
### 用法
|
|
|
|
```bash
|
|
# 添加站点经验
|
|
bash /root/.openclaw/scripts/site-experience.sh add "example.com" "需要Jina Reader"
|
|
|
|
# 获取站点经验
|
|
bash /root/.openclaw/scripts/site-experience.sh get "example.com"
|
|
|
|
# 列出所有经验
|
|
bash /root/.openclaw/scripts/site-experience.sh list
|
|
```
|
|
|
|
## 站点经验存储
|
|
|
|
路径: /root/.openclaw/memory/06-site-experience/
|