Files
huyue 497fae99c6 init: content-harvester —— 内容采集服务
FastAPI + Playwright(headed Chrome/xvfb 过 Cloudflare)抓内容详情页元数据;
可选把 m3u8 视频转 mp4 + 封面上传对象存储(配置由调用方下发,本服务不持密钥);
走主站 lobster 执行器契约(invoke/poll),回传 ResourceIngestItem 形式的 resources。
当前内置 xchina.co 的 scraper(core/scraper.py)。
2026-05-12 16:20:39 +08:00

7 lines
109 B
Plaintext

playwright>=1.44.0
fastapi>=0.110.0
uvicorn[standard]>=0.29.0
requests>=2.31.0
yt-dlp>=2024.1.1
minio>=7.2.0