博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
windows配置Scrapy爬虫框架
阅读量:4614 次
发布时间:2019-06-09

本文共 955 字,大约阅读时间需要 3 分钟。

一、环境

 

Windows10 64位

Python2.7.13 64位

下面的安装步骤最好配置代理,可能会遇到被墙的情况。

 

二、的安装

 

可以去参考这篇文章:

 

三、Scrapy依赖项的安装

 

Scrapy的依赖项可以在这里进行下载:

 

 

安装以下依赖,也可以通过pip进行安装(这里最新版的Python2.7.13安装好后会有pip安装方式直接通过pip命令即可安装最新版的库):

 

安装lxml-3.2.4.win-amd64-py2.7.exe

安装pywin32-218.win-amd64-py2.7.exe
安装Twisted-13.2.0.win-amd64-py2.7.exe
安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe
安装zope.interface-4.3.3.win-amd64-py2.7.exe()
安装--1.2.3.win-amd64-py2.7.exe(非必须)

安装PIL-fork-1.1.7.win-amd64-py2.7.exe python图片库

 

上面的安装步骤很简单,下一步下一步就行了,安装之后验证scrapy依赖项是否安装成功的方法:

 

cmd执行python进入python控制台

● 执行import lxml,如果没报错,则说明lxml安装成功。
● 执行import twisted,如果没报错,则说明twisted安装成功。
● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。

 

四、安装Scrapy

 

方法1: 控制台输入:pip install scrapy(下载较慢,安装的是最新版的Scrapy尽量安装最新版的好处不必多说)

方法2: 去解压,然后在其目录下执行$ python setup.py install进行Scrapy的安装。

 

这里采用第一次方法进行安装:

 

 

检查Scrapy是否安装成功的方法:可以在cmd控制台执行 scrapy  version,如果没有报错,说明安装成功。

转载于:https://www.cnblogs.com/zxtceq/p/8534476.html

你可能感兴趣的文章
面向对象 理论 笔试
查看>>
WPF简介:VS创建桌面应用程序
查看>>
PHP怎么样去掉从word直接粘贴过来的没有用的格式
查看>>
Python SQLAlchemy --2
查看>>
海龟交易法操作商品期货
查看>>
php 判断字符串包含
查看>>
C++代码统计工具
查看>>
需求分析报告
查看>>
第四次作业
查看>>
多线程2:java.util.concurrent.atomic.*
查看>>
SAP接口编程 之 JCo3.0系列(01):JCoDestination
查看>>
day3-编码、文件、集合、函数、递归
查看>>
使用Windows系统提供的IP控件
查看>>
hibernate与ibatis的区别
查看>>
jsp自定义标签开发
查看>>
Reorder Point Planning Procedure
查看>>
抽象类和接口的区别
查看>>
输出方式
查看>>
Python程序中的协程操作-greenlet模块
查看>>
Hdu 3395 【最大权值匹配】.cpp
查看>>