codeなにがし::urllib を用いた簡単なデータ取得

urllib を用いた簡単なデータ取得: ponsuke

ソースコードID：　608
登録日時：　2008/08/19 21:49
最終更新日時：　2008/08/19 21:49
アクセス数：　317
タグ：　 python spidering

0 users

説明

オライリィから出ている SPIDERING HACKS を Python で
書き直して見る。

１回目は、
「SPIDERING HACKS Hack09 LWP::Simpleを用いて簡単なデータ取得」
を参考に書いてみた。

Perl の LWP::Simpleの様にWWWを介してWebからデータを取得する
モジュールがPythonにも用意されている。

それが、urllibモジュール。

提示したソースコードでは、urllibモジュールを用いて、
外務省海外安全ホームページにアクセスして、指定した国の
危険情報を取得してくるものだ。

国の指定は、数値を引数としてプログラムに渡す。
引数がない場合は、074が使用される。
074は、ニュージーランドを示すIDだ。

結果は、以下のように表示される。

ニュージーランド
危険情報は出ていません。
詳細は http://www.anzen.mofa.go.jp/ を見てください

ソースコード

履歴表示コピペ用

#!/usr/bin/env python2.5
#-*- coding: utf-8 -*-

from urllib import urlopen
import sys
import re

try:
    # 国IDの取得
    try:
        country_id = sys.argv[1]
    except IndexError:
        country_id = '074'
    
    # URL先データの取得
    url = 'http://www.anzen.mofa.go.jp/info/info4.asp?id=%s' % country_id
    content = urlopen(url).read().decode('shift-jis', 'ignore').encode('utf-8')

    # コメント削除
    re_comment = re.compile(r'<!--(.*?)-->', re.M|re.S)
    content = re_comment.sub('', content)
    
    # 国名の取得
    re_select = re.compile(r' SELECTED>▼([^<]+)<')
    result = re_select.findall(content)
    
    print result[0]
    
    # メッセージの確認
    re_message = re.compile(r'現在、危険情報は出ておりませんが、')
    result = re_message.findall(content)
    
    if result:
        print '危険情報は出ていません。'
    else:
        print '危険情報が出ています。'
    
    print '詳細は http://www.anzen.mofa.go.jp/ を見てください。'
    
except:
    print '該当する国はありません。'