scrapy安装与验证

scrapy安装：

pip install scrapy

验证安装：

pip list

在pycharm中，点击file——settings——project——python interpreter——点击+号——搜索scrapy——install package！

创建第一个scrapy项目

控制台输入cd/d 然后将想要放置的项目位置拖过来即可！

管理员身份下好像不能拖？我是直接双击！

键入命令：scrapy_baidu是我起的名字，大家可以按照自己的更改！

名字不能以数字开头，也不能是中文，否则后续会报错奥！

scrapy startproject scrapy_baidu

接下来，我们可以在其中看到如下！

创建爬虫文件

一定要在spiders目录下创建爬虫文件！

首先我们来看其目录结构，然后再看怎么写命令！

接下来我们看看当前进入的目录，再看看怎么写命令！

于是 项目名\项目名\spiders 即可进入目录！

再来创建第一个文件吧！

baidu是我起的文件名，大家也可以自行更改奥！

https://www.baidu.com是我想爬取的网页，大家也可以自行更改奥！

scrapy genspider baidu https://www.baidu.com

注意一般创建爬虫文件不加http协议的，具体见下文注释。

爬虫文件各参数含义

import scrapy


class BaiduSpider(scrapy.Spider):
    # 爬虫的名字 用于运行爬虫的时候 要用的名字
    name = 'baidu'
    # 允许访问的域名
    allowed_domains = ['https://www.baidu.com']
    # 起始的url地址 指的是第一次要访问的域名
    # start_urls是在allowed_domains的前面加上http:// 然后在后面加上/ 一般情况下创建文件的时候不需要加http协议 如果添加了手动删掉
    start_urls = ['https://www.baidu.com/']

    # 是执行了start_urls之后执行的方法 方法中的response就是返回的对象 相当于requests.get()
    def parse(self, response):
        print("2022考研加油！")

我们想要执行的内容，就在方法体中书写！

运行爬虫文件

scrapy crawl 爬虫的名字

好像做了反爬，我们看看robots.txt文件！

还挺多！

下面来改settings！

ROBOTSTXT_OBEY = False

结果来啦！