RUI个人博客 首页>>Linux>>Centos6系列环境下安装scrapy1.0.3

Centos6系列环境下安装scrapy1.0.3

ubuntu上安装scrapy非常简单,但是在redhatcentos等系列的linux版本中安装scrapy比较麻烦,安装过程中会遇到各种各样莫名其妙的报错,于是网上找了很多例子,并没有一个详细完整的安装过程,都会遇到大大小小的问题,本人综合了网上各大神的经验,自己总结了一套centos下安装scrapy的方法,

先介绍一下环境:

centos6.7 x86_64

scrapy 1.0以上

python2.7(安装scrapy1.0以上要求)

由于每个人的机器配置不同,安装的依赖库也不同,可能还需要安装一些lib支持。

不多说了,直接看安装步骤

1.下载scrapy的源码

git clone https://github.com/scrapy/scrapy.git

2.安装python2.7

wget http://python.org/ftp/python/2.7.3/Python-2.7.3.tar.bz2

tar -xjvf Python-2.7.3.tar.bz2

cd Python-2.7.3

./configure

make && make install

3.安装setuptools

wget http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz

tar -xzvf setuptools-0.6c11.tar.gz

cd setuptools-0.6c11

python2.7 setup.py install

4.安装zope

wget http://pypi.python.org/packages/source/z/zope.interface/zope.interface-4.0.1.tar.gz

tar -xzvf zope.interface-4.0.1.tar.gz

cd zope.interface-4.0.1

python2.7 setup.py install

5.安装Twisted

wget http://twistedmatrix.com/Releases/Twisted/12.1/Twisted-12.1.0.tar.bz2

tar -xjvf Twisted-12.1.0.tar.bz2

cd Twisted-12.1.0

python2.7 setup.py install

6.安装w3lib

yum install libxslt-devel

7.安装libxml2

wget ftp://xmlsoft.org/libxml2/python/libxml2-python-2.6.21.tar.gz

tar -xzvf libxml2-python-2.6.21.tar.gz

cd libxml2-python-2.6.21

python2.7 setup.py install

yum install libxml2 libxml2-devel

8.安装libxslt-devel

yum install libxslt libxslt-devel

9.安装libffi

yum -y install libffi libffi-devel

10.导入环境变量

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH

export LD_LIBRARY_PATH=/usr/local/lib

11.安装sqlite开发库

yum -y install sqlite sqlite-devel

12.最重要的一步,重新编译安装python2.7,才能让刚才安装的模块生效

cd Python-2.7.3

./configure

make && make install

13.安装scrapy

cd scrapy/

python2.7 setup.py install

提示:如果在安装scrapy过程中报错某个模块找不到,需要安装该模块,并且重新编译python2.7才能生效。

14.大功告成,测试

scrapy shell http://www.xxxxxx.com

提示:执行过程中遇到报错,执行上一步中的提示。

安装到此结束,可以使用了。

昵  称:
邮  箱:
评论内容:
验 证 码:
可用[code][/code]插入代码
点击刷新验证码