彩世界开奖app官网-彩世界平台官方网址(彩票平台)
做最好的网站
来自 计算机编程 2019-12-07 01:30 的文章
当前位置: 彩世界开奖app官网 > 计算机编程 > 正文

scrapy爬取豆瓣电影彩世界开奖app官网

在setting改变ROBOTSTXT_OBEY为False,让scrapy不要遵守robot协议,之后就能正常爬取

禁止ROBOTSTXT_OBEY

打开settings.py文件,将ROBOTSTXT_OBEY修改为False

它默认为True,就是要遵守robots.txt 的规则,那么 robots.txt 是个什么东西呢?
通俗来说, robots.txt 是遵循 Robot 协议的一个文件,它保存在网站的服务器中,它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

当然,我们并不是在做搜索引擎,而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以,某些时候,我们就要将此配置项设置为 False ,拒绝遵守 Robot协议 !

所以在这里设置为False。当然可能本次爬取不一定会被它限制,但是我们一般来说会首先选择禁止它。

存储在Mongo

从官方文档中拷贝如下代码到pipeline.py中,只需要修改collection_name,其余基本不用修改。在存储MongoDB之前,你需要将正确安装MongoDB,并且启动MongoDB

class MongoPipeline(object):

    collection_name = 'douban'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db[self.collection_name].insert_one(dict(item))
        return item

另外记得开启一下Item Pileline。setting.py

ITEM_PIPELINES = {
    'dbmovie.pipelines.MongoPipeline': 400,
}

可以使用 yield scrapy.FormRequest(url, formdata, callback)方法发送POST请求

回调函数

需要哪个函数来处理这个返回值,就调用哪个函数,返回值会以参数的形式传递给你所调用的函数。

scrapy爬取豆瓣电影,存储在MongoDB

formdata的 参数值 必须是unicode , str 或者 bytes object,不能是整数。

Selectors

在Scrapy里面,Selectors 有四种基础的方法:

  • xpath():返回一系列的selectors,每一个select表示一个xpath参数表达式选择的节点
  • css():返回一系列的selectors,每一个select表示一个css参数表达式选择的节点
  • extract():返回一个unicode字符串,为选中的数据
  • re():返回一串一个unicode字符串,为使用正则表达式抓取出来的内容

yield item:将存储下来的item交由后续的pipelines处理

创建项目

在你的工作目录的文件夹下打开命令提示符窗口,输入:

scrapy startproject dbmoive

解决方法:将create_time字段设置为timestamp 并设置默认值CURRENT_TIMESTAMP

最重要的官方文档

定义item

根据前面的分析,我们需要抓取一共十个字段的信息,现在在items.py文件中定义item

class DoubanItem(Item):
    # 排名
    ranking = Field()
    # 篇名 
    title = Field()
    # 导演和演员
    director = Field()
    # 一句话描述 有的为空
    desc = Field()
    # 评分
    rating_num = Field()
    # 评价人数
    people_count = Field()
    # 上映时间
    date = Field()
    # 上映国家
    country = Field()
    # 类别
    category = Field()

注意!!!

运行爬虫:scrapy crawl 爬虫文件(无后缀)

本节分享用的Scrapy爬取豆瓣电影Top250的实战。

本节要实现的内容有:

  • 爬取豆瓣电影Top250页面的,全部字段
  • 将抓取到的结果存储到MongoDB。

实验环境:

  • PyCharm
  • Python3.6
  • Scrapy
  • PyMongo
  • MongoDB

5. mysql 让清空表且自增的id重新从1开始

start_urls

爬虫启动后运行的url,Scrapy为爬虫的 start_urls属性中的每个URL创建了一个 scrapy.http.Request 对象 ,并将爬虫的parse 方法指定为回调函数。然后,这些 Request被调度并执行,之后通过parse()方法返回scrapy.http.Response对象,并反馈给爬虫。

parse方法

写完上面的代码,其实只是抓取一页的罢了,为了抓取完整的top250榜单,我们需要让爬虫跳转到下一页再进行循环抓取,因为每个页面的结构是一样的,所以不用担心会抓取不到。

这里不单独讲解XPath和CSS选择器的使用方法,多看一点资料,自己总结一下。

不知道各位有没有获取XPath和CSS好用一点的方法,欢迎分享给我。

    def parse(self, response):
        item = DoubanItem()
        movies = response.xpath('//div[@class="item"]')
        for movie in movies:
            # 名次
            item['ranking'] = movie.xpath('div[@class="pic"]/em/text()').extract()[0]
            # 片名 提取多个片名
            titles = movie.xpath('div[@class="info"]/div[1]/a/span/text()').extract()
            item['title'] = titles
            # 获取导演信息和演员信息
            info_director = movie.xpath('div[2]/div[2]/p[1]/text()[1]').extract()[0].replace(" ", "").replace("n", "")
            item['director'] = info_director
            # 上映日期
            date = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("n", "").split("/")[0]
            # 制片国家
            country = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("n", "").split("/")[1]
            # 影片类型
            category = movie.xpath('div[2]/div[2]/p[1]/text()[2]').extract()[0].replace(" ", "").replace("n", "").split("/")[2]
            item['date'] = date
            item['country'] = country
            item['category'] = category
            desc = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').extract()
            if len(desc) != 0:  # 判断info的值是否为空,不进行这一步有的电影信息并没有会报错或数据不全
                item['desc'] = desc
            else:
                item['desc'] = ' '

            # item['desc'] = movie.xpath('div[@class="info"]/div[@class="bd"]/p[@class="quote"]/span[@class="inq"]/text()').extract()[0]
            item['rating_num'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
            item['people_count'] = movie.xpath('div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()').extract()[0]
            yield item
# 获取下一页
        next_url = response.xpath('//span[@class="next"]/a/@href').extract()
        if next_url:
            next_url = 'https://movie.douban.com/top250'   next_url[0]
            yield Request(next_url, callback=self.parse, dont_filter=True)

那么到这里,代码就写完了。
然后我们来运行一下这个爬虫,scrapy框架是通过命令来启动爬虫的,
在项目根目录下打开命令提示符,输入:

scrapy crawl douban

如果没有出错,你会在终端看到一行行滚动的信息。

  1. 自动创建create_time

反反爬措施

禁止ROBOTSTXT_OBEY

接下来你需要打开settings.py文件,将ROBOTSTXT_OBEY修改为False。

ROBOTSTXT_OBEY = False

它默认为True,就是要遵守robots.txt 的规则,那么 robots.txt 是个什么东西呢?
通俗来说, robots.txt 是遵循 Robot 协议的一个文件,它保存在网站的服务器中,它的作用是,告诉搜索引擎爬虫,本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后,会在第一时间访问网站的 robots.txt 文件,然后决定该网站的爬取范围。

当然,我们并不是在做搜索引擎,而且在某些情况下我们想要获取的内容恰恰是被 robots.txt 所禁止访问的。所以,某些时候,我们就要将此配置项设置为 False ,拒绝遵守 Robot协议 !

  1. 如何进一步获取数据并同时保存
加请求头

修改settings文件

彩世界开奖app官网 1

默认无请求头

彩世界开奖app官网 2

修改后

页面分析

彩世界开奖app官网 3

对照图

使用选取工具选取整个电影的信息,可以发现,所有的信息都是放在单独的一个li标签中的,而且在li下还有一个class为item的div包裹着所有的信息。

1. 爬虫出现Forbidden by robots.txt

pipelines

pipelines主要用于数据的进一步处理,比如类型转换、存储入数据库、写到本地等。
pipelines是在每次spider中yield item 之后调用,用于处理每一个单独的item。

import json

class NjuptPipeline(object):
    def __init__(self):
        self.file = open('njupt.txt',mode='wb')
    def process_item(self, item, spider):
        self.file.write(item['news_title'].encode("GBK"))
        self.file.write("n")
        self.file.write(item['news_date'].encode("GBK"))
        self.file.write("n")
        self.file.write(item['news_url'].encode("GBK"))
        self.file.write("n")
        return item

记得修改settings文件,pipelines才能生效

彩世界开奖app官网 4

settings文件

尝试最初的爬取

接下来我们什么代码也不修改,执行爬取,运行如下命令:

scrapy crawl douban

你会发现爬取结果会出现这样的一个错误:

500 Internal Server Error

访问知乎得到的状态码是500,这说明爬取并没有成功,其实这是因为我们没有加入请求头,知乎识别User-Agent发现不是浏览器,就返回错误的响应了。

所以接下来的一步我们需要加入请求headers信息,你可以在Request的参数里加,也可以在spider里面的custom_settings里面加,当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件,取消DEFAULT_REQUEST_HEADERS的注释,加入如下的内容:
所以在这里设置为False。当然可能本次爬取不一定会被它限制,但是我们一般来说会首先选择禁止它。

所以接下来的一步我们需要加入请求headers信息,你可以在Request的参数里加,也可以在spider里面的custom_settings里面加,当然最简单的方法莫过于在全局settings里面加了。

我们打开settings.py文件,取消DEFAULT_REQUEST_HEADERS的注释,加入如下的内容:

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'Accept-Encoding' :  'gzip, deflate, br',
    'Cache-Control' :  'max-age=0',
    'Connection' :  'keep-alive',
    'Host' :  'movie.douban.com',
    'Upgrade-Insecure-Requests' :  '1',
    'User-Agent' :  'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
}

这个是为你的请求添加请求头,如果你没有设置headers的话,它就会使用这个请求头请求,添加了User-Agent信息,所以这样我们的爬虫就可以伪装浏览器了。

接下来重新运行爬虫。

scrapy crawl zhihu

这时你就会发现得到的返回状态码就正常了。
解决了这个问题,我们接下来就可以分析页面逻辑来正式实现爬虫了。

解决方法:setting.py ROBOTSTXT_OBEY = True 改成False

运行爬虫并保存输出文件:scrapy crawl 爬虫文件(无后缀)-o 输出文件名(.json/.jl/.csv/.xml/.pickle/.marshal)

彩世界开奖app官网 5

各个文件的作用

创建爬虫

cd dbmoive
scarpy genspider douban movie.douban.com/top250

如果正确创建,得到的目录如下所示

彩世界开奖app官网 6

目录结构

  • scrapy.cfg文件中主要包含的是项目的相关设置。
  • dbmoive文件夹下是用于编写爬虫的目录。
  • items.py:定义我们所要爬取的信息的相关属性。
  • middlewares.py:爬虫中间件,这里可以用过自定义相关的方法,用来处理爬虫的响应和请求。
  • pipelines.py:当数据被爬虫爬取下来后,它会被发送到item pipelines中,每个item pipelines组件(有时称为“项目管道”)是一个实现简单方法的Python类。他们收到一个项目并对其执行操作,还决定该项目是否应该继续通过管道或被丢弃并且不再被处理。
  • settings.py:项目的设置文件。
  • douban.py: 项目中,爬虫的主要逻辑代码

原因:scrapy抓包时的输出就能发现,在请求我们设定的url之前,它会先向服务器根目录请求一个txt文件

新建项目:scrapy startproject 项目名

实验结果

彩世界开奖app官网 7

结果

彩世界开奖app官网 8

MongoDB

项目的完整代码,可以看这里scrapy爬取豆瓣电影Top250,存储在MongoDB中

如果不想存储在MongoDB中,可以使用scrapy支出的命令导出其他格式的文件

scrapy crawl douban -o data.json 
scrapy crawl douban -o data.csv
scrapy crawl douban -o data.xml

本文由彩世界开奖app官网发布于计算机编程,转载请注明出处:scrapy爬取豆瓣电影彩世界开奖app官网

关键词: 日记本 学习笔记