AI前沿速递|crawl4ai 8万星LLM爬虫、screenshot-to-code 截图变网页、microduck_rl 给机器人上强化学习、Sequoia-X A股自动选股

AI前沿速递|crawl4ai 8万星LLM爬虫、screenshot-to-code 截图变网页、microduck_rl 给机器人上强化学习、Sequoia-X A股自动选股

AI前沿速递|crawl4ai 8万星LLM爬虫、screenshot-to-code 截图变网页、microduck_rl 给机器人上强化学习、Sequoia-X A股自动选股

这周 GitHub 上最热闹的还是那批”能直接干活”的项目:有人把爬虫做成了 LLM 专用粮仓,有人把截图直接变成能跑的网页,有人教 800 克的小机器人走路翻跟头,还有人把 A 股选股变成收盘后自动跑的流水线。挑 4 个新面孔聊聊,信息都从仓库 README 和官方文档里扒的,星数和协议也核过了。

1. crawl4ai — ⭐约8.1万,给 LLM 和 Agent 准备的网页爬虫

做 RAG 知识库或者让 Agent 上网查资料,最大的痛点不是”抓不到”,而是抓回来的 HTML 又脏又长,直接喂给模型纯属烧 token。crawl4ai 就是冲着这个来的:把网页变成干净、结构化的 Markdown 和 JSON。

核心亮点:

  • 输出 LLM 友好 Markdown,标题、表格、代码块、引用链接全部规整,还内置 BM25 过滤去噪
  • 支持 LLM 驱动抽取:写个问题或 schema,直接把网页内容抽成结构化 JSON,兼容各家模型
  • 浏览器能力齐全:Chromium/Firefox/WebKit、JS 动态渲染、懒加载、截图、stealth 反检测、代理、会话保持
  • 全异步架构 + 缓存,支持 BFS/自适应深爬策略,长任务还能断点恢复
  • 部署灵活:pip 一条命令、CLI 可用,也有带鉴权的 Docker + FastAPI 服务

上手方式:

pip install crawl4ai
crawl4ai-setup
# 或者 Docker 一键起 FastAPI 服务

实话: 没实测,信息以 README 为准。适合搞 RAG 知识库、Agent 资料采集、批量结构化抓取的人;真要对付反爬严格的站点,建议先小规模试水再上量。

2. screenshot-to-code — ⭐约7.8万,截图丢进去,前端代码出来

把设计稿、截图甚至 Figma 稿变成能跑的网页代码。老项目了,但这一周又涨了 2000 多星,属于”翻红”选手。

核心亮点:

  • 支持 HTML+Tailwind、React+Tailwind、Vue+Tailwind、Bootstrap、Ionic 多种技术栈
  • 默认模型配置很豪华:Gemini 3 Flash/3.1 Pro、GPT-5.5/5.4 Mini、Claude Opus 4.6/4.8
  • Gemini 负责从截图里把真实 logo 和图片素材抠出来复用,不是凭空乱画
  • 支持屏幕录制转可交互原型,录一段网站操作,生成能点的页面

上手方式:

docker compose up   # 需要配 OPENAI/ANTHROPIC/GEMINI 至少一把 key

实话: 没实测,而且注意它不是纯免费本地工具——至少一个模型 API key 是硬门槛,Replicate key 强烈建议配上。适合设计师、前端和想快速出落地页的自媒体;Ollama 本地模型 README 里明说效果差,别指望白嫖。

3. microduck_rl — ⭐约1.8K,教 800 克双足机器人走路、翻跟头、踢球

本周涨得最猛的新面孔之一:一周多了 1300 星。Pollen Robotics 把 Microduck(约 800g、25cm 高的双足小机器人)的强化学习训练环境整套开源了。

核心亮点:

  • 基于 mjlab(MuJoCo Warp)+ PPO,50Hz 训练,策略导出 ONNX 后部署到真机
  • 内置 13 种任务:行走、跌倒恢复、坐下站起、嘴尖叼地、踢球、前滚翻、轮滑滑行
  • 执行器建模到电压控制律级别(BAM 模型),还有齿隙模拟和域随机化,sim2real 差距压得很小
  • 所有策略共享 61 维观测,运行时可以热切换——走路、恢复、技巧动作随时换

上手方式:

uv sync
uv run train Mjlab-Velocity-Flat-MicroDuck --env.scene.num-envs 4096   # 约1-2小时出能走的步态

实话: 没实测——要 CUDA GPU 和真机器人,门槛不低。没 GPU 可以用 --hf-jobs 丢到 Hugging Face 上跑。适合搞 RL 的、玩机器人的朋友当 sim2real 教材,README 里把奖励设计的坑都写成了 playbook,光是读代码都值。

4. Sequoia-X — ⭐约6.7K,A股收盘后自动选股推飞书

A 股量化选股系统 V2,纯工程化重构过的:每天收盘后自动跑一遍全市场,把符合技术形态的股票扫出来推送到飞书群。

核心亮点:

  • 数据源用 baostock,免费、不用注册、不限流,落本地 SQLite,绕开东方财富的反爬
  • 内置 6 个策略:海龟突破、均线放量、高窄旗形、涨停洗盘、上升趋势跌停反包、欧奈尔 RPS 突破
  • 8 进程并行增量更新,日常模式 2~3 分钟跑完全市场;首次历史回填约 12 分钟
  • 飞书 Webhook 推送 + crontab 定时,收盘后自动执行

上手方式:

pip install -r requirements.txt
# .env 里配好飞书 webhook
python main.py --backfill   # 首次回填全市场历史K线
# crontab 每天 15:15 跑 python main.py

实话: 没实测。注意三点:第一,这是规则扫描不是 AI 玄学,README 也声明是 MIT;第二,量化策略历史回测好看不代表实盘赚钱,当工具参考可以,别当印钞机;第三,涉及真金白银,入市前自己掂量。

今晚的观察

这周几个热门项目串起来看,Agent 的”手脚”是真的在变全:crawl4ai 管抓数据、screenshot-to-code 管出页面、microduck_rl 管真机动作,从数据到交互再到物理世界,AI 正在从”会聊天”往”会干活”走。而 Sequoia-X 这种纯规则自动化也能一周涨上千星,说明普通用户最买账的还是”帮我把重复劳动干掉”——大模型是噱头,自动化才是刚需。

另一个感受:开源项目越来越卷”开箱即用”了。pip 一条命令、Docker 一键起、crontab 定时跑,README 恨不得把踩坑记录都写成教程。对咱这种折腾党是好事,但反过来也提醒一句:上手越容易,越要先看清协议和依赖,别啥都往生产环境里塞。

以上项目均未深度实测,信息来自各仓库 README 与官方文档,上手前请自行验证。

by 数码罗记·godsun.pro

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注