golang批量下载文件

package main

import (
    "bufio"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "os"
    "path/filepath"
    "strings"
    "sync"
)

var (
    downloadDestFolder = "/Users/zhangsheng/Go/WorkPlace/src/xcrm"
    urlFilePath        = "/Users/zhangsheng/Go/WorkPlace/src/xcrm/file.txt"
)

func init() {
    log.SetFlags(log.Lshortfile)
    _ = os.MkdirAll(downloadDestFolder, 0777)
}

func main() {
    fi, err := os.Open(urlFilePath)
    if err != nil {
        fmt.Printf("Error: %s\n", err)
        return
    }
    defer fi.Close()
    br := bufio.NewReader(fi)
    var w sync.WaitGroup
    for {
        line, _, err := br.ReadLine()
        if err != nil {
            log.Println("read url complete")
            break
        }
        list := strings.Split(string(line), ",")
        w.Add(1)
        go download(list[1], list[0]+".xlsx", &w)
    }
    w.Wait()

}

func download(url string, filename string, w *sync.WaitGroup) {
    res, err := http.Get(url)
    if err != nil {
        log.Printf("http.Get -> %v", err)
        return
    }
    data, err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Printf("ioutil.ReadAll -> %s", err.Error())
        return
    }
    defer res.Body.Close()
    if err = ioutil.WriteFile(downloadDestFolder+string(filepath.Separator)+filename, data, 0777); err != nil {
        log.Println("Error Saving:", filename, err)
    } else {
        log.Println("Saved:", filename)
    }
    w.Done()
}

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容