diff --git a/README.md b/README.md index 5c6e6af..79f0c3d 100644 --- a/README.md +++ b/README.md @@ -4,7 +4,7 @@ 效果展示: 点击访问演示站点 -新版本测试访问站点: [点击前往](http://1.94.30.26:3600/index) +新版本测试访问站点: (大陆服务器到期了,暂时没续) ## 简介 @@ -20,6 +20,8 @@ **网站前台** +- 对新功能和目前功能有需要改善和补充的可以去issue #71下方留言, 一月中旬休假可以集中处理 + - 前台部分对网站名称以及播放源等部分信息与后台数据进行关联, 可通过后台进行修改 - 影片详情部分以及首页导航数据结构发生变化, 样式保持一致 - 默认访问地址: `服务器IP:默认端口 [http://127.0.0.1:3600]` diff --git a/server/model/system/CollectSource.go b/server/model/system/CollectSource.go index 9ac5478..2d6360a 100644 --- a/server/model/system/CollectSource.go +++ b/server/model/system/CollectSource.go @@ -71,6 +71,13 @@ type FilmSource struct { Interval int `json:"interval"` // 采集时间间隔 单位/ms } +// FailureCollect 失败采集记录信息机构体 +type FailureCollect struct { + Id string `json:"id"` // 采集站唯一ID + Time int `json:"time"` // 采集时长 + PageNumber int64 `json:"pageNumber"` // 页码 +} + // SaveCollectSourceList 保存采集站Api列表 func SaveCollectSourceList(list []FilmSource) error { var zl []redis.Z diff --git a/server/plugin/spider/SpiderCore.go b/server/plugin/spider/SpiderCore.go index 8456c0e..ac9663e 100644 --- a/server/plugin/spider/SpiderCore.go +++ b/server/plugin/spider/SpiderCore.go @@ -132,6 +132,23 @@ func (jc *JsonCollect) GetSingleFilm(r util.RequestInfo, ids string) { // } +// FailureRecord 记录失败采集的相关信息, 用于后续采集重试操作 +func (jc *JsonCollect) FailureRecord(r util.RequestInfo) { + // 记录采集失败时的采集参数 + + // 1. 采集站信息 (ID) + + // 2. 采集参数, h 最新x小时影片, pg 页码 + + // 3. 将失败信息记录到redis ZSet集合中, score - time | member - data + +} + +// FilmDetailRetry 影片详情重试机制 +func (jc *JsonCollect) FilmDetailRetry(r util.RequestInfo) { + +} + // ------------------------------------------------- XML Collect ------------------------------------------------- // XmlCollect 处理返回值为XML格式的采集数据