gospider 介绍

gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包

安装

go get -u gitee.com/baixudong/gospider

gitee地址

https://gitee.com/baixudong/gospider

github地址

https://github.com/baixudong007/gospider

ja3介绍:

python 缺陷：

python目前只能改Ciphers里面的算法套件，来生成非默认的ja3指纹，然后可以骗过检测不是太高的反爬机制。但是其他的Extensions,EllipticCurves,EllipticCurvePointFormats是没法改的，原因是 python跟openssl没有很直接的联系，python发https请求最后还是借助openssl库暴露出来的方法，也就是的ssl_.py里的方法create_urllib3_context，因为openssl库对外提供的方法或者接口是没办法这么高度自定义的，Ciphers部分也最多能改改算法，都不能给个自己定义的算法进去的，所以requests，httpx，aiohttp都不行，因为这三个库底层都借助了openssl库发请求。

gospider 全局设置ja3 指纹：(ja3指纹默认是最新chrome 指纹)

package main

import (
	"context"
	"log"

	"gitee.com/baixudong/gospider/requests"
)

func main() {
	reqCli, err := requests.NewClient(context.TODO())
	if err != nil {
		log.Panic(err)
	}
	reqCli.Ja3 = true //启动ja3伪装
	response, err := reqCli.Request(context.TODO(), "get", "https://tools.scrapfly.io/api/fp/ja3?extended=1")
	if err != nil {
		log.Panic(err)
	}
	log.Print(response.Text())
}

gospider 局部设置ja3 指纹：(ja3指纹默认是最新chrome 指纹)

package main

import (
	"context"
	"log"

	"gitee.com/baixudong/gospider/requests"
)

func main() {
	reqCli, err := requests.NewClient(context.TODO())
	if err != nil {
		log.Panic(err)
	}
	response, err := reqCli.Request(context.TODO(), "get", "https://tools.scrapfly.io/api/fp/ja3?extended=1", requests.RequestOption{Ja3: true})//启动ja3伪装
	if err != nil {
		log.Panic(err)
	}
	log.Print(response.Text())
}