にーやんのブログ

Amazon 検索サイト「amabiki（あまびき）」を更新

amabiki - Amazon 検索を更新しました。Google App Engine を使った Amazon.co.jp/Amazon.com/Amazon.co.uk 検索サイトです。

Google App Engine SDK 1.0.2 でクエリ文字列を含む URL のデータが取得できない件の影響が気になりましたが、更新しても問題なく動いているようです。

主な変更点

追加: Amazon.co.uk 対応。
修正: Internet Explorer 6/7 で、お取り置き欄の商品のダブルクリックが動作しなかったのを修正。
- HTML に onDblClick 属性を埋め込んでいたのを、JavaScript でイベントを追加する方式に変更。
変更: 商品リンクのコードを微調整。
追加: フッタにリンク（App Engine と Amazon）を追加。
- Google App Engine のロゴは、Downloads - Google App Engine - Google Code からダウンロードできます。

Posted at Sat, May 17, 2008 00:27
Permalink | 開発::あまびき | No Comment | No TrackBack

Google App Engine SDK 1.0.2 でクエリ文字列を含む URL のデータが取得できない件（解決済）

注: この問題は、Google App Engine SDK バージョン 1.1.0 で修正済みです。

Google App Engine SDK が 1.0.2 にバージョンアップしたので、さっそくインストールしてみました。念のため、1.0.1 をアンインストールしてから、1.0.2 をインストールしました。

ところが、試しに動かしてみると、検索結果がつねに 0 になったり、商品情報なしになります。そこで、簡略化したスクリプトを使って、ちゃんとデータが取得できているのか確認してみました。

確認用のスクリプト

# -*- coding: utf-8 -*-

# モジュールのインポート
import wsgiref.handlers
from google.appengine.ext import webapp

# Google App Engine ハンドラ
class Fetch(webapp.RequestHandler):
    def get(self):
        # Amazon ECS の URL
        request_url = 'http://ecs.amazonaws.jp/onca/xml?Service=AWSECommerceService&AWSAccessKeyId=（以下略）'
        # Google AppEngine urlfetch
        from google.appengine.api import urlfetch
        xml_data = urlfetch.fetch(request_url).content
        # 出力
        self.response.headers['Content-Type'] = 'application/xml'
        self.response.out.write(xml_data)

# main
def main():
    application = webapp.WSGIApplication(
                                        [('/', Fetch)],
                                        debug=True)
    wsgiref.handlers.CGIHandler().run(application)

if __name__ == "__main__":
    main()

取得した XML 形式のデータをそのままブラウザに表示するだけのものです（Amazon ECS の URL は省略してありますので、そのままでは動きません）。

結果

すると、

リクエストには、Serviceパラメータが含まれていません。リクエストに Serviceパラメータを追加し、再度リクエストを実行してください。

というエラーメッセージが返ってきました。Amazon.com の場合は、

Your request is missing the Service parameter. Please add the Service parameter to your request and retry.

でした。

Service パラメータは、Amazon ECS の URL の「Service=AWSECommerceService」の部分でちゃんと指定してあります。にもかかわらず、このパラメータが含まれていないということは、「urlfetch.fetch()」に渡した後に URL の文字列が正しく処理されていないのでしょうか。

ちなみに、すべての XML データが取得できないかというとそうでもないようです。Amazon 以外のものもいくつか試してみましたが、たとえば私のブログの RSS（http://feeds.feedburner.com/niiyan）は上のスクリプトで取得することができました。しかし、はてなブックマークの最近の人気エントリー（http://b.hatena.ne.jp/hotentry?mode=rss）はダメでした。

素人考えで「クエリ文字列を含む URL の処理に何か問題があるのだろうか」と思ったりもしましたが、試した数が少なく、また問題箇所を突き止めたわけでもないので何とも言えません。もうちょっと調べて見るつもりではいますが、これ以上は Python に詳しくないと無理かもしれません。

まとめ

とりあえず、私が試した範囲でわかったことや気づいたことを、最後にまとめておきます。

Google App Engine の SDK を使わずに、Python だけ（urllib とか）でスクリプトを組むと、ECS のデータは取得できる（スクリプト自体には問題がない？）。
Google App Engine の SDK のバージョンを1.0.1 に戻したら、意図したとおりに動作した。
- 1.0.2 のアンインストールでいくつかファイルが残っていたので、いったん削除してから 1.0.1 を入れ直している。
オンラインの Google App Engine に置いてあるものは、今のところ、動作しているらしい。
取得できない URL と取得できる URL がある。

追記（2008-05-12）

Issue 341 - googleappengine - Google Code

Google Code の Issue Tracker に私と同じ症状と思われる報告があがっていました。現時点では、まだコメントなどはついていません。

一方、コメントをいただいた mattn さんによれば、1.0.2 でも問題なく取得出来たそうです。

追記（2008-05-15）

修正パッチ

Issue 341 - googleappengine - Google Code にて、jkester さんがパッチを提供されています。「google_appengine/google/appengine/api/urlfetch_stub.py」に対するパッチです。

urlfetch_stub.py を見てみたところ、70 行目と 118 行目で urlparse を使って、パス（path）やクエリ（query）などを取り出していますが、このあとこの query はどこにも使われていないように見えます。jkester さんのパッチは、この query が空でない場合には、path の後ろに ? と query を追加するというもののようです。

実際にパッチを適用してみたところ、Amazon ECS のようにクエリ文字列を含む URL からデータを取得できるようになりました。とりあえず、ローカルで開発する分にはこれで何とかなりそうです。ただ、オンライン（App Engine）上のアプリが動かなくなるのでは、という不安は残りますが……。

ちなみにパッチの適用の仕方については、patch/diff Tips が参考になります。今回のパッチの場合、そんなに量が多くないので、該当部分を手動で修正してもいいと思います（念のため、オリジナルのバックアップを取っておいたほうがいいでしょう）。

改題

初出時のタイトルは「Google App Engine SDK 1.0.2 で Amazon ECS のデータが取得できない件」でしたが、クエリ文字列を含む URL が関係する問題のようなので、記事タイトルを「Google App Engine SDK 1.0.2 でクエリ文字列を含む URL のデータが取得できない件」に改めました。

追記（2008-05-30）

28 日付けでリリースされたGoogle App Engine SDK バージョン 1.1.0 で、この問題は修正されました。

Issue 341 - googleappengine - Google Code

Comment 13 by ryanb+ap...@google.com, Today (6 hours ago)

hi all! thanks for the report, and sorry for the trouble. this should be fixed in 1.1.0.

Posted at Mon, May 12, 2008 00:50
Permalink | 開発::google | 5 Comments | No TrackBack

Amazon 検索「あまびき」を Google App Engine バージョンに移行

Google App Engine - Google Code の勉強もかねて作ってきた Amazon 検索アプリを「あまびき」の新しいバージョンとして公開することにしました。まだ作りかけですが、いろいろ勉強しながら、もうちょっと何とかしていくつもりです。

amabiki - Amazon 検索

デフォルトではメッセージが英語になっていますが、右上の「Japanese」をクリックすると日本語表示に変更されるはずです。

特徴

日本語表示と英語表示の切り替えが可能。
Amazon.co.jp と Amazon.com （のどちらか）から検索可能。
画像のドラッグ＆ドロップでお取り置き（Cookie を利用）。
- 2008-05-05 現在、ブラウザを閉じると消えるようになっています。
画像をダブルクリックで商品ページが見られる変態仕様。
簡易 HTML リンク作成機能（商品ページから）。

今後の予定（主なもののみ）

JavaScript 無効時の表示を何とかする。
ドラッグ＆ドロップを活かして何かする。
ユーザー認証とデータストアを勉強して、何か機能を追加するか考える。
Python を勉強する。

というわけで、まだ途中ですが、「あまびき開発日誌」は休止します。メモは取ってありますので、何か役に立ちそうな情報があれば、別途、記事にまとめるかもしれません。

【追記】新しいバージョンでは、Yahoo! ウェブ検索サービスは利用していません。Amazon Web サービスを使った検索のみ可能です。

Posted at Mon, May 05, 2008 00:33
Permalink | 開発::あまびき | No Comment | No TrackBack

Google App Engine: 独自ドメインでの利用

Google Apps を使えば、Google App Engine のアプリを独自ドメインで運用できるらしいので、実際にやってみた。

Google Apps の登録

まず、Google Apps にドメインを登録する。Google Apps でもドメインが取得できるらしいが、今回はすでに使用していた amabiki.com のドメインをそのまま利用することにした。

登録手順は、以下のサイトを参考にした。

Google App Engine を独自ドメインを利用することだけに限定するのなら、「メールの配信設定」や「ウェブの公開設定」は、とくに不要だと思われる。「Add more services（サービスの追加）」からウェブページを追加する必要もない。逆にサブドメインがバッティングしたりしないように気をつける。

Google Apps のコントロールパネルを拡張版に変更

2008-05-04 現在、Google Apps で Google App Engine を利用するには、コントロールパネルの設定を「拡張版 (アメリカ英語のみ)」に変更する必要がある。

ドメインの設定 > 全般 > コントロールパネル > 拡張版 (アメリカ英語のみ) にチェック -> 変更を保存

言語（Language）の設定ではなく、コントロールパネルの設定。「現在のバージョン」を選択していると、Google App Engine 側からドメインを追加する際に Forbidden 403 エラーが出るので注意。

参考: Adding domain to GAE is forbidden - Google App Engine | Google Groups

Dashboard > Add more services をクリックした時に、Other services のところに Google App Engine が追加されている。こちらから追加することも可能かもしれない。

アプリの追加

以下のサイトを参考にした。

「Restricted to the following Google Apps domain:」の部分は、アプリを Google Apps で追加したユーザーのみに制限するということだと思うので、その必要がなければデフォルトのままでいいと思われる。

上にも書いたように、Google Apps 側から追加することも可能かもしれない。

サブドメインの設定が必須のようなので、www をサブドメインに設定した。ただし、サブドメインなしでアクセスしても www にリダイレクトされる模様。

というわけで、Google App Engine を利用して作った Amazon 検索サイト。

amabiki - Amazon 検索

Posted at Mon, May 05, 2008 00:07
Permalink | 開発::google | No Comment | No TrackBack

Google App Engine SDK: アプリケーションのアップロード

やっと Google App Engine からの招待状が来たので、とりあえずアップロードしてみる。以下のドキュメントやページを参考にした。

debug=False

application = webapp.WSGIApplication(
                                    [('/', MainPage)],
                                    debug=False)

開発中は debug=True にしていたが、運用中にはデバッグ情報を表示する必要はないだろうと思ったので False にしてみた。

2008-05-28 追記: Big Sky :: Google App Engineでアプリを高速化する3つのtips によると、高速化のため（CPU Quota を出さないため）にも False にした方がいいそうです。また「debug=Trueだとスタックトレースに変数の値が表示されてしまい無茶苦茶危険」とのこと。

アップロード

コマンドプロンプトを開いて、

cd "C:\Program Files\Google\google_appengine"
appcfg.py update example/

こんな感じで入力する。1 行目がカレントディレクトリの変更で、2 行目がアップロードのコマンド。example/ はアプリのディレクトリ

favicon.ico の MIME タイプ

favicon.ico の MIME タイプがわからないということでエラーが出た。app.yaml を開いて、favicon のハンドラのところに

mime_type: image/vnd.microsoft.icon

という行を追加。ハイフン（-）ではなく、アンダースコア（_）である点に注意。

favicon の MIME タイプについては、下のページを参考にした。

ただし、Google Apps で独自ドメインでの運用を行う設定を行った場合、favicon は反映されないらしい（2008-05-04 現在）。

2008-05-28 追記: いつ頃からかわかりませんが、こちら側で用意した favicon が表示されるようになりました。

アップロードのやり直し

アップロードが中途半端に終わってしまったので、rollback コマンドでいったん元に戻す。

使い方は基本的に update コマンドと同じ。

appcfg.py rollback example/

詳しくは、Uploading an App - Google App Engine - Google Code を参照。

つづけて update コマンドでアップロード。以上でアプリケーションのアップデートは完了。

アップロードしたアプリ

とりあえず問題なく動いている様子。

Posted at Sun, May 04, 2008 23:52
Permalink | 開発::google | No Comment | No TrackBack

Page 1 of 9: 1 2 3 4 5 6 7 8 9 › »