推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
hengz
V2EX  ›  Python

小白问下,用python的scrapy写了个抓网站数据的程序,如何打包成exe?

  •  
  •   hengz ·
    hengz · Oct 19, 2013 · 12314 views
    This topic created in 4779 days ago, the information mentioned may be changed or developed.
    我用python的scrapy包写了个抓网站数据的程序,需要在命令行写scrapy crawl xxx来执行, xxx是我自己定义的spider文件,在spiders目录下

    现在希望能把这个基于scrapy的script程序打包成一个可以独立直接执行的exe文件(执行机器无需安装scrapy等),结果就是是类似csv表格文件呈现在窗口里。我用py2exe来build这个exe,按照py2exe教程我现在只能添加单个的.py文件并将其转为exe, 而scrapy需要执行的scrapy crawl xxx命令如何添加进去呢
    13 replies  •  1970-01-01 08:00:00 +08:00
    C0VN
    C0VN
    Oct 19, 2013
    1
    yelite
    yelite
    Oct 19, 2013
    2
    argparse
    NFSwind
    NFSwind
    Oct 19, 2013
    3
    py2exe
    yelite
    yelite
    Oct 19, 2013
    4
    argparse好像太重了。。。
    如果你只有这样一条命令的话,可以直接import sys, 然后sys.argv
    如果是scrapy crawl xxx的话,
    sys.argv=['<path>/scrapy.py', 'crawl', 'xxx']
    hengz
    hengz
    OP
    Oct 19, 2013
    5
    @xavierskip

    项目有这些文件,
    items.py
    pipelines.py
    settings.py
    spiders目录下有spider_us.py name为xxspider

    目前执行是scrapy crawl xxspider; 这样,pyinstaller去打包哪个py文件呢
    hengz
    hengz
    OP
    Oct 19, 2013
    6
    @yelite 你是指重新建一个.py文件,然后里面写import sys sys.argv=['<path>/scrapy.py', 'crawl', 'xxx']
    yelite
    yelite
    Oct 19, 2013
    7
    @hengz 你的问题应该不是打包吧?你是想让自己的程序接收命令行参数吗?
    hengz
    hengz
    OP
    Oct 19, 2013
    8
    @yelite 因为执行这个scrapy程序是需要在命令行执行scrapy crawl xxspider
    然后我想把整个打包成exe(包括里面的配置文件什么的),这样直接执行这个exe就可以了
    yelite
    yelite
    Oct 19, 2013
    9
    @hengz 这个包好奇怪。。。居然是这么玩的
    打包scrapy目录里面cmdline.py试试?
    C0VN
    C0VN
    Oct 19, 2013
    10
    哦,我不清楚 scrapy这个框架。

    难道不是 import的,执行·python *.py·。而是另外的 ·scrapy crawl xxx· ,我不太明白。

    反正打包的应该是执行程序的那个脚本。
    fork3rt
    fork3rt
    Oct 19, 2013 via Android
    11
    我给我女朋友写的采集程序,用的py2exe转的。
    hengz
    hengz
    OP
    Oct 19, 2013
    12
    @fork3rt 能简单介绍下吗
    Kabie
    Kabie
    Oct 20, 2013
    13
    cx_freeze
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2572 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 11:40 · PVG 19:40 · LAX 03:40 · JFK 06:40
    ♥ Do have faith in what you're doing.