golang + goquery写个爬虫

goquery 是一个超好用的库,可以帮你爬取页面,解析页面。我用它写了个糗事百科的爬虫,可以用来看当前有什么好玩的笑话。写代码写累了的时候,看看笑话吧

package main

import (
  "fmt"
  "log"
  "github.com/PuerkitoBio/goquery"
)

func GetJokes(){
  doc, err := goquery.NewDocument("http://www.qiushibaike.com")
  if err != nil{
    log.Fatal(err)
  }
  doc.Find(".content").Each(func(i int, s *goquery.Selection){
    fmt.Println(s.Text())
  })
}

func main(){
  GetJokes()
}

首先使用 goquery.NewDocument去爬取页面,爬取成功后,使用doc.Find()找出所有的class=content的dom并读取其中的内容打印到终端。

是不是超简单。
是不是可以在简历上写上,会用golang写出高性能爬虫了(天真脸)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容