エラーが出始めてから、データベースの構造を改善したり、SQL文の書き方を工夫してみたりしました。しかし、好転の兆しが見えず、かえって状況は悪化…。

　そんなときに、アクセス解析を眺めていたら、Naver のロボット、Yeti が大量にアクセスしてきていることが判明しました。普段、ロボットを除いたアクセス解析しか見ていなかったので気付かなかったのですが、改めて見てみると、全体の転送量の60％以上が Yeti によるアクセス。他の検索エンジンのロボットがせいぜい5～6％なのに比べると、大きな違いです（ちなみに、Googlebot によるアクセスは、訪問回数こそ多いものの、転送量は非常に小さく、同じ内容のデータを読まないような配慮がされているように思います）。

　Naver 経由のアクセスもありませんし、人間のアクセスに支障が生じてまでロボットに配慮する必要はありませんから、Yeti を追い出すことにしました。

　方法としては、.htaccess と、robots.txt を併用することにしました。単にアクセス禁止にするだけだと、リソースの無駄遣いは減らせるものの、アクセス数そのものは減らせないからです。

　まず、.htaccess によるアクセス制限ですが、こちらは IPアドレスベースの制限をかけることにします。私のページにアクセスしてきたロボットの IPアドレスを JPNIC の Whois にかけて調べると、運営者である NHN Japan 株式会社が使用している IPアドレスが確認できます（結果）。これをすべてアクセス禁止にしてもよいのですが、それも気の毒なので、今回は 119.235.237.0/24 だけを制限することにしました（成果が出なければ拡大します）。また、後で述べるように robots.txt を読ませたいので、.htaccess に追加した記述は最終的に以下のようになります。

Order allow,deny
Allow from all
Deny from 119.235.237.0/24

<Files robots.txt>
order deny,allow
allow from all
</Files>

　次に、robots.txt の記述ですが、こちらは簡単で、

User-agent: Yeti
Disallow: /

これだけ。これで、robots.txt 以外へのアクセスを遮断したうえで、robots.txt を解釈してくれるのであれば、私のサイトに来てはいけないということを認識してくれるはずです。

　早く成果が挙がることを祈ってます。

　Baidu の BaiduMobaider もお行儀が悪いので、追い出すことにしました。こちらについては、IPアドレスの範囲が、119.63.195.0/24 なので（Baidu のクローラー情報ページ）、.htaccess に
Deny from 119.63.195.0/24
を追加しました。大量のアクセスでリソースを食いつぶされてしまうのは、本当につらい…（2010年7月22日：追記）

require_once 'Services/Amazon.php';
require_once 'Cache.php';

$access_key_id = '(公開アクセスキー)';
$secret_access_key = '(秘密アクセスキー)';
$associate_tag = '（アソシエイトタグ）';
    
$amazon = new Services_Amazon($access_key_id, $secret_access_key, $associate_tag);
$amazon->setCache('file', array('cache_dir' => '（キャッシュの保存先）'));
$amazon->setCacheExpire(3600); // 秒数で指定
$amazon->setLocale('JP');

$options = array();
    
$options['ResponseGroup']  = 'Medium'; //取得したい情報
$options['Keywords']       = '検索したいキーワード';
$options['Sort']           = 'salesrank';

$result = $amazon->ItemSearch('Books', $options);

if (PEAR::isError($result)) {
        echo $result->message;
} else {
    foreach($result['Item'] as $item) {
        $ItemData[] = array(
            'ImageURL' => $item["SmallImage"]["URL"],    
            'DetailPageURL' => $item["DetailPageURL"],
            'Title' => $item["ItemAttributes"]["Title"],
            'Price' => $item["ItemAttributes"]["ListPrice"]["FormattedPrice"]
        );
    }
}

　これで、$ItemData の中に商品データが入るので、適宜加工して表示するような形になります。ちょっと変わったこととしては、キャッシュを使うことによって、同じリクエストを連続して行わないように工夫をしています。この機能を使うためには、Services_Amazon のほかに、Cache のパッケージも必要となります（Cache_Lite ではないので注意）。

　パッケージのドキュメントもクラスのリファレンスしかないため、取っつきにくいですが、電子署名認証を自動でやってくれたり、結果を連想配列で返してくれたりと、かなり使い勝手がよいので、おすすめです。他にも、複数のキーワードについてひとつのリクエストで処理する doBatch メソッドや、複数の操作をひとつのリクエストで処理する doMultiOperation メソッドなども便利だと思います。

　準備として、PEAR の PHP_Compat をインストールします（stable版の1.5.0ではなく、alpha版の1.6.0a2が必要）。

　次に、ga.php の先頭部分に

require_once 'PHP/Compat/Function/setrawcookie.php';
require_once 'PHP/Compat/Function/file_get_contents.php';

を追加します。そして、97行目と100行目にある file_get_contents を php_compat_file_get_contents に書き換えます。さらに、144行目以降を

    setrawcookie(
        COOKIE_NAME,
        $visitorId,
        $timeStamp + COOKIE_USER_PERSISTENCE,
        COOKIE_PATH);

から

    setrawcookie(
        COOKIE_NAME,
        $visitorId,
        $timeStamp + COOKIE_USER_PERSISTENCE,
        COOKIE_PATH,
        '',
        false,
        false);

に変更します。

　これで動くようになるはずです（PHP4.4.9 の環境で確認）。

　種明かしをすると、setrawcookie は PHP5 から新たに登場した関数です。また、file_get_contents のコンテキストサポート（第3引数）も PHP5 以降にサポートされたものです。このため、これらを使えるようにしなければなりません。setrawcookie は、PHP4 にもともとない関数ですので、それほど問題ない（せいぜい 1.6.0a2 をインストールすることと、引数を省略せずに記載することくらい）のですが、file_get_contents は、PHP4.3.0 以降ではすでに登場しているため、PHP_Compat::loadFunction を使う PEAR PHP_Compat の通常の使い方だと、PHP ネイティブの関数が優先されてしまいます。そこで、上記のように個別の関数を手動で読み込んだうえで、PHP_Compat 側の関数を使うようにしているのです。

　不具合等があれば、コメント欄などでご指摘ください。

1. javascript で表示中の Amazon の URL から ASIN を取得
2. 取得した ASIN を Amazon の API に渡して ISBN を取得
3. 取得した ISBN を楽天の楽天ブックス書籍API に渡して楽天ブックスの商品ページを取得

　書籍の場合はこれでうまくいくのですが、雑誌の場合はうまくいきません。雑誌には ISBN ではなく、JANコードが付けられており、ASIN→ISBN変換では値を返さないからです。

　いろいろ調べてみると、Amazon API の ItemAttributes レスポンスグループの中にある EAN が日本の雑誌の場合には JANコードになっていることがわかりました。そこで、ASIN→ISBN変換で値を返さない場合は、EAN を取得し、これを楽天ブックス雑誌検索API に渡すことで、雑誌でも楽天ブックスの商品ページを取得できるようになりました。

　これを応用すれば、CD や DVD でも Amazon→楽天の検索ができるかもしれません（未検証ですが）。

　API の使い勝手の良さもあって、Webサービスで書籍を紹介する場合、大概のサービスは Amazon へのリンクを張っています。私がよく使うはてなもメディアマーカーも同様です。レビューの充実度をみても、確かに便利なのですが、実際に買う段になると、個人的にはポイントがたまっている楽天ブックスで買いたいのです。そこで、Amazon の商品紹介ページから楽天ブックスの商品紹介ページに橋渡しをするブックマークレットを作ってみました（下のリンクをブックマークに保存すれば利用できます）。私個人で使う分には、直接飛ばしてもよさそうな感じですが、一応確認ページをはさんでいます。

　Amazon to Rakuten

　Amazon の URL に ASIN または dp が含まれている場合のみに対応しています。それ以外の場合には、うまく動きませんので、ご了承ください。

　仕様としては、スペースで区切られていない一つのキーワードで検索されたときに、そのキーワードを含む検索キーワードを表示するようにしてみました（表示は過去の検索回数が多い順に最大10件まで）。

　これまでもはてなや Yahoo! の API を利用して関連キーワードの表示を行ってきましたが、それらとはまたひと味違ったキーワードが表示されますので、試してみてください。

　で、当サイトで「倒産」とともに検索されている企業ですが、「ダヴィンチホールディングス」「青山メインランド」など不動産業が多いようです。どうなるのでしょう…。

　アカウントは、mikenews123 ですので、よろしければフォローよろしくお願いします。

　作業は順調に進んだように見えたのですが、実際に動かしてみるとうまくいきません。日本語を含むキーワードを入れると、データベースのエラーが出ます。この症状は、4.0系から4.1系以上に上げるときによく起こる現象で、PHP に組み込まれている MySQL のライブラリのキャラクターセットと MySQL サーバの設定が一致していないことが原因。
　対処方法としては、PHP の再コンパイル（これはかなり面倒）か、MySQL の設定ファイル my.ini に

skip-character-set-client-handshake

SET NAMES utf8

　PEAR の MDB2 を利用している場合、DSN の設定時に

'option' => 'charset=utf8'

参考リンク

• 4.1以上の壁 (日本語の扱いの違い、文字化け等/含む5.0以上) - MyNA Web Site内
• PHPからSET NAMESを使わない方が良い理由と対策まとめ
• mysqliをPEAR::MDB2で利用する

男女比

年齢分布

　よく見られるキーワードから、男女比は男性のほうが多いと予想できましたが、年齢層が思ったよりも高くてびっくり。女性アイドルの画像を探している人が多いので、20代から30代の人が中心かと思ってました。
　もちろん、「なかのひと」は企業などからのアクセスのみを集計して年齢構成を推測しているので、うちのように企業外ユーザーが多いサイトではサンプルが偏っているのだと思うのですが。

　XML_RPC2 の特徴として、サーバからのレスポンスをキャッシュすることができるというものがあります。これまで、XML_RPC と Cache_Lite を組み合わせて使っていた人からすると、一つで済むので手間がだいぶ省けると思います。

　サンプルとして、Trend Antenna でも使っているはてなダイアリーキーワード連想語APIのサンプルを XML_RPC2 で書いてみようと思います（キャッシュ付き）。

require_once 'XML/RPC2/CachedClient.php';

$options = array(
    'prefix' => 'hatena.',
    'encoding' => 'utf-8',
    'cacheDebug' => false,
    'cacheOptions' => array(
        'cacheDir' => '/tmp/',
        'lifetime' => 21600,
        'automaticCleaningFactor' => 20,
        'hashedDirectoryLevel' => 1,
        'cacheByDefault' => true
    )
);

// XML_RPC2_CachedClient オブジェクトを作成します
$client = XML_RPC2_CachedClient::create('http://d.hatena.ne.jp/xmlrpc', $options);

try {
    $result = $client->getSimilarWord(array('wordlist' => array('Hatena', 'PHP')));
    $ret_val = array_values($result['wordlist']);
} catch (XML_RPC2_FaultException $e) {
    // XMLRPC サーバが XMLRPC のエラーを返しました
    die('Exception #' . $e->getFaultCode() . ' : ' . $e->getFaultString());
} catch (Exception $e) {
    // その他のエラー (HTTP あるいはネットワークの問題など...)
    die('Exception : ' . $e->getMessage());
}

foreach($ret_val as $word) {
    echo $word['word'] . ', ';
}

　こんな感じです。XML_RPC と比べると、XMLRPC の型を意識せずに使えることと、サーバのメソッドをクライアントオブジェクト（例の $client）のメソッドとして呼び出して使うので、スクリプトが見やすいという点が便利だと思います。なお、cacheOptions の中身は、Cache_Lite と同じ部分もあるので、それほど難しくないと思います。

　一番悩ましかったのは、docomo の仕様。携帯の場合、cookie も使えないことが多いので、同一ユーザーからのアクセスであることを識別するには、セッションを URL に埋め込むか、端末識別番号を取得することになります。セッションを URL に埋め込む方法は、セキュリティ的にどうかと思ったので、端末識別番号を利用する方法を採用することにしました。
　幸い、端末識別番号の取得自体は、PEAR の Net_UserAgent_Mobile を使えば、

require_once 'Net/UserAgent/Mobile.php';

$agent = &Net_UserAgent_Mobile::factory();
$uid = $agent->getUID();

　docomo は、リファラは返さないし、アクセスのたびごとに IPアドレスは変わるしで、アクセス解析を行ううえでは、非常に困った仕様です。iモード開始時にはインターネットへの接続を想定していなかったのでしょうし、セッションが終わるまで一つの端末がIPアドレスを固定で持ってしまうとネットワークを有効活用できないという事情はあるのだと思うのですが、モバイルサイトを作るうえで、docomo なかりせば、と思うことが多いのも事実です（外部スタイルシートも使えないですしね）。

　モバイル版ということで、表示内容は絞ってありますが、PC版にはない動画検索の機能を追加しました。移動中の時間つぶしに使っていただければ幸いです。

　解決方法としては、文字列を渡す前にあらかじめ別の文字列に置換しておき、返ってきた結果に対して、逆の置換を行うことが考えられます。例えば、

require_once 'XML/RPC.php';

$str = (XML_RPCに渡す文字列)

// 以下の部分で全角チルダと波ダッシュをいったん naminamimoji に置換
$str = preg_replace('#\xEF\xBD\x9E#i', 'naminamimoji', $str);
$str = preg_replace('#\xE3\x80\x9C#i', 'naminamimoji', $str);

$params = new XML_RPC_Value(
    array(
        'body' => new XML_RPC_Value($str, 'string'),
        'score' => new XML_RPC_Value(50, 'int'),
    ),
    'struct'
);
    
$msg = new XML_RPC_Message('hatena.setKeywordLink', array($params));

$cli = new XML_RPC_Client('/xmlrpc', 'd.hatena.ne.jp');

$resp = $cli->send($msg);

if (!$resp) {
    echo 'Communication error: ' . $cli->errstr;
    exit;
}

if (!$resp->faultCode()) {
    $val = $resp->value();
    $data = XML_RPC_decode($val);
    $ret_val = $data;
        
} else {
    /*
     * xmlrpc.php スクリプトが遭遇した問題を
     * 報告する
     */
    echo 'Fault Code: ' . $resp->faultCode() . "\n";
    echo 'Fault Reason: ' . $resp->faultString() . "\n";
    $ret_val = $data;
}

// 置換していた文字を元に戻す
$ret_val = str_replace('naminamimoji', '～', $ret_val);

　おそらく内部でエンコードの変換を行っていることが原因だと思うのですが、ちょっと困りものです。

　Amazon の API(AWS)は、きっちり作り込めばできることは多いのですが、出力される内容が細分化されているため、若干敷居が高い気がします（ドキュメントも英語ですしね）。それに比べると、楽天はカスタマイズの点では不十分なところもありますが、扱いやすいと思います。

　使い方としては、リクエスト用のURLを

$developerId  = '(ディベロッパーID)';
$affiliateId  = '(アフィリエイトID)';
$operation    = 'ItemSearch';
$keyword      = rawurlencode('(検索したいキーワード)');
$version      = '2008-09-01';
$hits         = 10;
$page         = 1;
$sort         = rawurlencode('-reviewCount');
$availability = 1;
$field        = 0;
$imageFlag    = 1;
$request_url = "http://api.rakuten.co.jp/rws/1.12/rest?developerId={$developerId}&affiliateId={$affiliateId}&operation={$operation}&keyword={$keyword}&version={$version}&hits={$hits}&page={$page}&sort={$sort}&availability={$availability}&field={$field}&imageFlag={$imageFlag}";

$xml = file_get_contents($request_url);
require_once 'XML/Unserializer.php';

$options = array(
    "parseAttributes" => true
);
$unserializer =& new XML_Unserializer( $options );
$unserializer->unserialize( $xml, FALSE );
$res = $unserializer->getUnserializedData();

　で、本題ですが、Trend Antenna に関連イメージを表示するようにしました。これは、Google AJAX Search APIを利用して作成したもので、関連する画像を検索して表示しています。画像が表示されることで、画面が少しにぎやかになったと思います。

　具体的な実装方法ですが、私の場合は、JavaScript を利用しない方法でこの API を利用しています。詳しくは、ディベロッパーズガイドやクラスリファレンスの該当箇所を読んでもらいたいのですが、PHP の場合は、

$json = file_get_contents($googleSearchURL);
$resAry = json_decode($json, TRUE);