content-harvester

8 Commits 3 Branches 0 Tags

2 Commits

Author	SHA1	Message	Date
huyue	907af7684e	fix: 给采集结果填 content/summary(主站资源库对空 content 拒收) - ScrapedItem 加 content/summary 字段;to_ingest_dict 输出它们,content 为空时回退用 title - scraper 新增 _extract_description:抓 meta/og/jsonld 描述 + 详情面板文本 + 标签,拼成 content	2026-05-12 17:17:12 +08:00
huyue	497fae99c6	init: content-harvester —— 内容采集服务 FastAPI + Playwright(headed Chrome/xvfb 过 Cloudflare)抓内容详情页元数据; 可选把 m3u8 视频转 mp4 + 封面上传对象存储(配置由调用方下发,本服务不持密钥); 走主站 lobster 执行器契约(invoke/poll),回传 ResourceIngestItem 形式的 resources。当前内置 xchina.co 的 scraper(core/scraper.py)。	2026-05-12 16:20:39 +08:00

Author

SHA1

Message

Date

huyue

907af7684e

fix: 给采集结果填 content/summary(主站资源库对空 content 拒收)

- ScrapedItem 加 content/summary 字段;to_ingest_dict 输出它们,content 为空时回退用 title
- scraper 新增 _extract_description:抓 meta/og/jsonld 描述 + 详情面板文本 + 标签,拼成 content

2026-05-12 17:17:12 +08:00

huyue

497fae99c6

init: content-harvester —— 内容采集服务

FastAPI + Playwright(headed Chrome/xvfb 过 Cloudflare)抓内容详情页元数据;
可选把 m3u8 视频转 mp4 + 封面上传对象存储(配置由调用方下发,本服务不持密钥);
走主站 lobster 执行器契约(invoke/poll),回传 ResourceIngestItem 形式的 resources。
当前内置 xchina.co 的 scraper(core/scraper.py)。

2026-05-12 16:20:39 +08:00