cache picuter to server

server/plugin/common/util/FileDownload.go

@@ -0,0 +1,39 @@
+package util
+
+import (
+	"bufio"
+	"os"
+	"path/filepath"
+)
+
+/*
+数据请求保存,文件读写
+*/
+
+// SaveOnlineFile 保存网络文件, 提供下载url和保存路径, 返回保存后的文件访问url相对路径
+func SaveOnlineFile(url, dir string) (err error) {
+	// 请求获取文件内容
+	r := &RequestInfo{Uri: url}
+	ApiGet(r)
+	// 创建保存文件的目录
+	if _, err = os.Stat(dir); os.IsNotExist(err) {
+		err = os.MkdirAll(dir, os.ModePerm)
+		if err != nil {
+			return
+		}
+	}
+	// 通过保存路径和url得到保存的具体的文件全路径
+	fileName := filepath.Join(dir, filepath.Base(url))
+	file, err := os.Create(fileName)
+	if err != nil {
+		return
+	}
+	defer file.Close()
+	//_, _ = file.Write(r.Resp)
+
+	writer := bufio.NewWriter(file)
+	_, err = writer.Write(r.Resp)
+	err = writer.Flush()
+	return
+
+}

server/plugin/common/util/Request.go

@@ -1,4 +1,4 @@
-package spider
+package util
 
 import (
 	"fmt"
@@ -12,6 +12,10 @@ import (
 	"time"
 )
 
+/*
+网络请求, 数据爬取
+*/
+
 var (
 	Client = CreateClient()
 )
@@ -32,7 +36,7 @@ func CreateClient() *colly.Collector {
 	c := colly.NewCollector()
 
 	// 设置请求使用clash的socks5代理
-	//setProxy(c)
+	setProxy(c)
 
 	// 设置代理信息
 	//if proxy, err := proxy.RoundRobinProxySwitcher("127.0.0.1:7890"); err != nil {

server/plugin/spider/Spider.go

@@ -9,6 +9,7 @@ import (
 	"server/config"
 	"server/model"
 	"server/plugin/common/dp"
+	"server/plugin/common/util"
 	"time"
 )
 
@@ -66,7 +67,7 @@ func StartSpider() {
 	SearchInfoToMdb()
 	model.AddSearchIndex()
 	log.Println("SearchInfoToMdb 影片检索信息保存完毕")
-	//获取其他站点数据13
+	//获取其他站点数据
 	go MtSiteSpider()
 	log.Println("Spider End , 数据保存执行完成")
 	time.Sleep(time.Second * 10)
@@ -75,12 +76,12 @@ func StartSpider() {
 // CategoryList 获取分类数据
 func CategoryList() {
 	// 设置请求参数信息
-	r := RequestInfo{Uri: MainSite, Params: url.Values{}}
+	r := util.RequestInfo{Uri: MainSite, Params: url.Values{}}
 	r.Params.Set(`ac`, "list")
 	r.Params.Set(`pg`, "1")
 	r.Params.Set(`t`, "1")
 	// 执行请求, 获取一次list数据
-	ApiGet(&r)
+	util.ApiGet(&r)
 	// 解析resp数据
 	movieListInfo := model.MovieListInfo{}
 	if len(r.Resp) <= 0 {
@@ -103,7 +104,7 @@ func CategoryList() {
 // MainSiteSpider 主站点数据处理
 func MainSiteSpider() {
 	// 获取分页页数
-	pageCount, err := GetPageCount(RequestInfo{Uri: MainSite, Params: url.Values{}})
+	pageCount, err := GetPageCount(util.RequestInfo{Uri: MainSite, Params: url.Values{}})
 	// 主站点分页出错直接终止程序
 	if err != nil {
 		panic(err)
@@ -123,7 +124,7 @@ func MainSiteSpider() {
 				if !ok {
 					break
 				}
-				list, e := GetMovieDetail(pg, RequestInfo{Uri: MainSite, Params: url.Values{}})
+				list, e := GetMovieDetail(pg, util.RequestInfo{Uri: MainSite, Params: url.Values{}})
 				if e != nil {
 					log.Println("GetMovieDetail Error: ", err)
 					continue
@@ -152,7 +153,7 @@ func MtSiteSpider() {
 // PlayDetailSpider SpiderSimpleInfo 获取单个站点的播放源
 func PlayDetailSpider(s Site) {
 	// 获取分页页数
-	pageCount, err := GetPageCount(RequestInfo{Uri: s.Uri, Params: url.Values{}})
+	pageCount, err := GetPageCount(util.RequestInfo{Uri: s.Uri, Params: url.Values{}})
 	// 出错直接终止当前站点数据获取
 	if err != nil {
 		log.Println(err)
@@ -174,7 +175,7 @@ func PlayDetailSpider(s Site) {
 				if !ok {
 					break
 				}
-				list, e := GetMovieDetail(pg, RequestInfo{Uri: s.Uri, Params: url.Values{}})
+				list, e := GetMovieDetail(pg, util.RequestInfo{Uri: s.Uri, Params: url.Values{}})
 				if e != nil || len(list) <= 0 {
 					log.Println("GetMovieDetail Error: ", err)
 					continue
@@ -221,7 +222,7 @@ func UpdateMovieDetail() {
 // UpdateMainDetail 更新主站点的最新影片
 func UpdateMainDetail() {
 	// 获取分页页数
-	r := RequestInfo{Uri: MainSite, Params: url.Values{}}
+	r := util.RequestInfo{Uri: MainSite, Params: url.Values{}}
 	r.Params.Set("h", config.UpdateInterval)
 	pageCount, err := GetPageCount(r)
 	if err != nil {
@@ -256,7 +257,7 @@ func UpdateMainDetail() {
 func UpdatePlayDetail() {
 	for _, s := range SiteList {
 		// 获取单个站点的分页数
-		r := RequestInfo{Uri: s.Uri, Params: url.Values{}}
+		r := util.RequestInfo{Uri: s.Uri, Params: url.Values{}}
 		r.Params.Set("h", config.UpdateInterval)
 		pageCount, err := GetPageCount(r)
 		if err != nil {
@@ -288,11 +289,11 @@ func StartSpiderRe() {
 // =========================公共方法==============================
 
 // GetPageCount 获取总页数
-func GetPageCount(r RequestInfo) (count int, err error) {
+func GetPageCount(r util.RequestInfo) (count int, err error) {
 	// 发送请求获取pageCount
 	r.Params.Set("ac", "detail")
 	r.Params.Set("pg", "2")
-	ApiGet(&r)
+	util.ApiGet(&r)
 	//  判断请求结果是否为空, 如果为空直接输出错误并终止
 	if len(r.Resp) <= 0 {
 		err = errors.New("response is empty")
@@ -309,7 +310,7 @@ func GetPageCount(r RequestInfo) (count int, err error) {
 }
 
 // GetMovieDetail 处理详情接口请求返回的数据
-func GetMovieDetail(pageNumber int, r RequestInfo) (list []model.MovieDetail, err error) {
+func GetMovieDetail(pageNumber int, r util.RequestInfo) (list []model.MovieDetail, err error) {
 	// 防止json解析异常引发panic
 	defer func() {
 		if e := recover(); e != nil {
@@ -319,7 +320,7 @@ func GetMovieDetail(pageNumber int, r RequestInfo) (list []model.MovieDetail, er
 	// 设置分页请求参数
 	r.Params.Set(`ac`, `detail`)
 	r.Params.Set(`pg`, fmt.Sprint(pageNumber))
-	ApiGet(&r)
+	util.ApiGet(&r)
 	// 影视详情信息
 	details := model.DetailListInfo{}
 	// 如果返回数据为空则直接结束本次循环