mirror of https://github.com/CrimsonTome/tldr.git
33 lines
1.1 KiB
Markdown
33 lines
1.1 KiB
Markdown
# scrapy
|
|
|
|
> ウェブクローリングのフレームワークです。
|
|
> 詳しくはこちら: <https://scrapy.org>
|
|
|
|
- プロジェクトを作成する:
|
|
|
|
`scrapy startproject {{プロジェクト名}}`
|
|
|
|
- スパイダーを作成する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy genspider {{スパイダー名}} {{ウェブサイトのドメイン名}}`
|
|
|
|
- スパイダーを編集する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy edit {{スパイダー名}}`
|
|
|
|
- スパイダーを実行する (プロジェクトのディレクトリ内での実行):
|
|
|
|
`scrapy crawl {{スパイダー名}}`
|
|
|
|
- Scrapyが見るようにWebページを取得しソースを`stdout`(標準出力)に表示する:
|
|
|
|
`scrapy fetch {{url}}`
|
|
|
|
- Scrapyが見ているようにデフォルトブラウザ内でウェブページを開く(より応答に忠実であるようにするためにJavaScriptを無効化している):
|
|
|
|
`scrapy view {{url}}`
|
|
|
|
- URL用のScrapyシェルを開き、Python(もしくは可能であればIPython)シェル内でページソースとの対話式でのやり取りを可能にする:
|
|
|
|
`scrapy shell {{url}}`
|