tldr/pages.ja/common/scrapy.md

33 lines
1.1 KiB
Markdown

# scrapy
> ウェブクローリングのフレームワークです。
> 詳しくはこちら: <https://scrapy.org>.
- プロジェクトを作成する:
`scrapy startproject {{プロジェクト名}}`
- スパイダーを作成する (プロジェクトのディレクトリ内での実行):
`scrapy genspider {{スパイダー名}} {{ウェブサイトのドメイン名}}`
- スパイダーを編集する (プロジェクトのディレクトリ内での実行):
`scrapy edit {{スパイダー名}}`
- スパイダーを実行する (プロジェクトのディレクトリ内での実行):
`scrapy crawl {{スパイダー名}}`
- Scrapyが見るようにWebページを取得しソースを`stdout`(標準出力)に表示する:
`scrapy fetch {{url}}`
- Scrapyが見ているようにデフォルトブラウザ内でウェブページを開く(より応答に忠実であるようにするためにJavaScriptを無効化している):
`scrapy view {{url}}`
- URL用のScrapyシェルを開き、Python(もしくは可能であればIPython)シェル内でページソースとの対話式でのやり取りを可能にする:
`scrapy shell {{url}}`