はてなブックマーク

Scrapy入門(4) はじめに Scrapy入門(1) Scrapy入門(2) Scrapy入門(3) 前回の記事では、Scrapyを利用してファイルをダウンロードする方法を試しました。今回はSpiderに対して、コマンドラインから引数を渡す方法をご紹介します。 Spiderの作成 今回はQiitaのアドベントカレンダーのカテゴリページの内容を取得するSpiderを作成します。Spider内では対象となるカテゴリーをコマンドライン引数として受け取り、対象となるURLを動的に生成し、ページの内容をダウンロードします。 # -*- coding:utf-8 -*- import scrapy class QiitaSpider(scrapy.Spider): name = 'qiita_spider' def start_requests(self): # クローリング対象のURL url

Scrapy入門(3) はじめに Scrapy入門(1) Scrapy入門(2) 前回までの記事では、Scrapyを利用してWebAPIをコールする方法を試しました。今回はファイルのダウンロード処理を行うSpiderを作成してみましょう。 Spiderの作成 今回はMLBに関するデータ(zipファイル)をダウンロードするSpiderを作成します。実際のデータはSean Lahman Databaseで公開されているデータを利用します。ダウンロードしたzipファイルは任意のディレクトリに保存することにしましょう。 Spriderの処理の流れは次の通りです。 start_urlsのページの内容を取得 取得したページの内容を解析し、aタグのhrefにcsvの文字列が含まれているurlを取得 上記で取得したurlの内容を取得 # -*- coding:utf-8 -*- from scrapy i

Scrapy入門(2) はじめに Scrapy入門(1) 前回の記事では、Scrapyのはじめの一歩として、簡単なSpiderを作成し、URLの抽出処理を試しました。ScrapyはWebページだけではなく、WebAPIの結果を取得したり、画像のダウンロード処理なども行うことができます。今回はWebAPIを呼び出して結果を保存するSpiderを作成してみましょう。 Spiderの作成 郵便番号のリストを元に、駅の情報を取得するSpiderを作成します。郵便番号の取得には、HeartRails様の提供しているAPI( http://geoapi.heartrails.com/api.html )を使用します。Spiderは次のようになります。 # -*- encoding:utf-8 -*- import json from scrapy import Spider from scrapy.h

Scrapy入門(1) はじめに PythonでWebスクレイピングを行う場合には、様々なアプローチが存在します。この記事ではスクレイピング用のフレームワークであるScrapyを題材に取り上げ実際に簡単なサンプルを作成しながら、Scrapyについて学んでいきます。 Scrapyとは Scarpyとは速くて、ハイレベルなスクレイピングのフレームワークです。Webサイトのクロールと、スクレイピングに関する様々な機能を持っています。主要な機能はコンポーネントに分かれており、ユーザーは各コンポーネントに関連するクラスなどを作成して、プログラムを作っていきます。 http://doc.scrapy.org/en/1.0/topics/architecture.html より 主要なコンポーネントは次の通りです。 Scrapy Engine コンポーネント間のデータフローの制御を担当 特定のアクション

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

==> Downloading http://redis.googlecode.com/files/redis-2.6.10.tar.gz ######################################################################## 100.0% ==> make -C /private/tmp/redis-e09G/redis-2.6.10/src CC=cc ==> Caveats To have launchd start redis at login: ln -sfv /usr/local/opt/redis/*.plist ~/Library/LaunchAgents Then to load redis now: launchctl load ~/Library/LaunchAgents/homebrew.mxcl.redis

Available versions: 1.8.6-p383 1.8.6-p420 1.8.7-p249 1.8.7-p302 1.8.7-p334 1.8.7-p352 1.8.7-p357 1.8.7-p358 1.8.7-p370 1.8.7-p371 1.8.7-p374 1.9.1-p378 1.9.1-p430 1.9.2-p0 1.9.2-p180 1.9.2-p290 1.9.2-p318 1.9.2-p320 1.9.3-dev 1.9.3-p0 1.9.3-p125 1.9.3-p194 1.9.3-p286 1.9.3-p327 1.9.3-p362 1.9.3-p374 1.9.3-p385 1.9.3-p392 1.9.3-p429 1.9.3-p448 1.9.3-preview1 1.9.3-rc1 2.0.0-dev 2.0.0-p0 2.0.0-p195

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?