PHPのスクレイピングツールSnoopyにOSコマンドインジェクションの脆弱性

JVN#20502807: Snoopy における OS コマンドインジェクションの脆弱性

脆弱性を解消したバージョン1.2.4がリリースされている。

ver.1.2.3

$safer_URI = strtr( $URI, "\"", " " ); // strip quotes from the URI to avoid shell access
exec($this->curl_path." -D \"$headerfile\"".$cmdline_params." \"".$safer_URI."\"",$results,$return);

↓
ver.1.2.4

exec($this->curl_path." -k -D \"$headerfile\"".$cmdline_params." \"".escapeshellcmd($URI)."\"",$results,$return);

影響があるのは、ユーザーが任意のURIを入力できる場合で、httpsスキームで始まり不正な文字を含むURIを入力された場合。（ダブルクォートのみは1.2.3でもエスケープされる。）
httpスキームの場合はこの関数（_httpsrequest()）を通らないので影響無し。（httpの場合はcURLを使わずにsocketを開いてガリガリ書いている。）

ところでescapeshellcmd()でエスケープしているが、escapeshellarg()じゃなくていいんだろうか？

また、スクレイピングライブラリのhtmlSQLはSnoopyを内部的に使っているが、htmlSQLはhttpスキームのみを受け付けているので影響無し。（改造していない限りは。）

PCで携帯向けのWeb開発をするためのメモ

とりあえずメモ書き。整理できると良い。


モバイル検索結果をPCで見る

• Googleモバイル検索
• Googleモバイル検索
• 携帯でも同じURL（www.google.co.jp/m OR google.jp/m）で使える
• URL例： http://www.google.co.jp/m?q=[URLエンコードした検索文字列]
• URLエンコーディングはたぶんUTF-8で
• Yahoo!モバイル
• Yahoo!モバイル検索の結果をキャリア別に表示
• 検索結果から、そのまま携帯ブラウザのシミュレータでの閲覧ができる
  

シミュレーター（× シュミレーター）

• Firefoxでモバイル端末をシミュレートする独自アドオン「FireMobileSimulator」を公開します - 遙かへのスピードランナー

• Firefoxのアドオン
• http headerをいじったりできる
• 表示幅を携帯電話機種に合わせたサイズにできる
• ウノウラボ Unoh Labs: Ext JSをUIに使って携帯サイトのシミュレータを作ってみた
• PHPでサーバサイドで処理する
• Request/Responseの詳細などが見やすそう
• インストールが少し面倒そう
  
• CodeRepos::Share – Trac
• Rubyでサーバサイドで処理する
  
• Yahoo!モバイル
• 検索結果から、そのまま携帯ブラウザのシミュレータでの閲覧ができる
• 外部に公開していないWebページは見られない
• Yahoo!の検索エンジンが携帯サイトとしてインデックスしていないページも見られない

PCサイトを携帯用に変換するサービス

• Google Wireless Transcoder
• PCからも見られる
  
• 画像有無を選択できる
• 画像あり： http://www.google.co.jp/gwt/n?u=[URLエンコードしたhttpから始まるURL]
• 画像無し： http://www.google.co.jp/gwt/n?u=[URLエンコードしたhttpから始まるURL]&_gwt_noimg=1
• URLエンコーディングはたぶんUTF-8で
• 携帯用のページが指定されている場合はそのページにリダイレクトされる
  （参考：携帯電話での表示用にウェブ ページが調整される仕組みを教えてください。 - ウェブマスター向けヘルプ センター）
  

その他

• 無料アクセス解析 with 位置情報 「なかのひと」
• 携帯用の「うごくひと」が便利
  
• アクセスしてきた端末のキャリアのシェアや画面サイズの統計などが分かる
• 表示ページやリンク元などの統計は無い
• floatingdays : 携帯電話関連の日本製Apacheモジュール
• MobilePictogramConverter 絵文字変換ライブラリ
• PHP高機能日本語メール送信ライブラリ・文字化けフリー - Qdmail - PHP::Mail Library , Quick and Detailed for Multibyte
• （2008/1/12 追記）今見ているWebページのURLをQRコードで表示する - GreaseMonkey版 QR This! [ゼロと無限の間に：Sandbox]
• PCで見ているページを携帯で見たい時に一番手軽に見られる
  

参考資料

• 携帯サイトのDOCTYPEについてもう一度考えてみる。 携帯ホームページを作ろう！　-ちょっと詳しいモバイルサイトの作り方-
• ケータイサイトを作る時にやっていること。 - ぎじゅっやさん
• 世界四季報: [3キャリア対応携帯サイト]XHTMLテンプレート
• 参考になるリンクが多く、Updateされている
  

Scala調査メモ

Javaから離れて久しいが、最近Scalaが気になる。

• Scalaとは
• Scala - Wikipedia
• ウノウラボ Unoh Labs: 5分くらいで知るScala
• ブログ.武田ソフト.jpでも使われている
• Scalaを使ったWebフレームワーク
• Lift
• Scala関連では一番メジャー
• セットアップにMavenが必要
• Jettyと相性が良いらしい
  
• 参考
• Apache Geronimo に Lift を活用する
• それでも俺はLiftをやるってのか | ブログ.武田ソフト.jp
• scalaのwebフレームワークliftを試す - 玲瓏庵
• scalaのWebフレームワーク liftで遊ぶ 目次 - ゆろよろ日記
• Web Flavor
• とてもシンプルで良さそう
  
• Tomcat上で動く（Jettyでも動く？）
• 「XMLリテラルで気軽に(X)HTML/XML出力」が面白い
• Blog：航海日誌

感想：

• 文法が面白い。ループとか。
• XMLを練り込めるのが面白い。
• 特にレンタルサーバの場合など、PHPほど気軽に使えなさそう。
  
• Apacheのモジュールで動けば気軽に使えるのだが．．．
  

Goolge Docsから Bloggerへの投稿でエントリーのタイトルが登録可能になった

中途半端な感じだったGoolge DocsからBloggerへの投稿がだいぶ改善された。

1. Docsで付けたタイトルがそのままエントリーのタイトルとして登録されるようになった。（今までは登録後にわざわざタイトルをコピーして更新していた。）

2. 改行等が反映されない不具合が解消された（気がする）。（今まではDocsからの登録後、Docs側で1回再登録していた。）

その代わり、なぜか本文の先頭に10行くらいの空行が入るようになった。
なぜ？

携帯電話関連の日本製Apacheモジュール

mod_ktai

携帯サイトの場合、キャリア・機種によって絵文字の出力、表示可能データ量、画面の大きさなどが異なる為、キャリア・機種判別、絵文字の出し分け等、携帯サイト向けの知識が不可欠です。
mod_ktaiを使用すると、それらの処理を簡単に行なうことが可能です。

参考：

　ke-tai.org > Blog Archive > ゆめみのmod_ktaiがとうとうリリース、しかも無償利用が可能

　オープンソース研究室: mod_ktaiを試してみました




mod_chxj

国内の主要携帯(3キャリア)向けコンテンツ変換ミドルウェアをApache2.x用のモジュールとして作成します。
CHTMLや通常のHTMLで作成したコンテンツを出力時にUserAgentを見てそれぞれの端末用に変換します(画像はJPG、GIF、PNGからJPG、GIF、PNG、BMPへ)。
QRコード生成機能付。

参考：ke-tai.org > Blog Archive > 携帯向け自動変換用Apacheモジュール「mod_chxj」が0.10系にバージョンアップ



mod_cidr_lookup

mod_cidr_lookupは、アクセスしてきたクライアントのIPアドレスが、起動時に読み込んでおいたCIDRブロック群のいずれかにマッチするかどうかを判別するためのモジュールです。

参考：DSAS開発者の部屋:ケータイやクローラの判別などに使えるmod_cidr_lookupを公開しました

Googleによる自然言語解析検索の実例に関する考察

動的URLへの検索エンジンの対応 『GoogleとYahooの違い』 ： 実例 ： リアルSEOで、検索されたキーワードの実例として「東京上野駅近く女性一人でも気軽も入れる店」って．．．。

もう少し精度が高まれば、PowersetのやりたいことはGoogleが実現しそうな勢いだ。

関係ないが、TechCrounchでもそうだが、サイト内にある検索機能より、Google検索の方が対象が広く、かつ表記の揺れに強くて使いやすい。

Googleモバイル検索に携帯サイトとして表示される方法

結果として、下記のようなサイトでGoogleモバイル検索に携帯サイトとしてインデックスされた。
ただし、これが最良の方法とは思えない。これ以外の方法もたくさんあるだろう。


文字コード
Shift_JISでOK。


マークアップ（HTML）
DOCTYPE無しのCHTMLでOK。
XHTMLは試してないが、DOCTYPEは気を付けた方が良さそう。
（GoogleはXHTML Basicを推奨しているが、他のフォーマットでも問題無し？
　参考：携帯サイトのDOCTYPEについてもう一度考えてみる。 携帯ホームページを作ろう！　-ちょっと詳しいモバイルサイトの作り方-）


MIME-Type
CHTMLなら text/htmlでOK。
XHTMLは試してないが、application/xhtml+xmlらしい。


URL振り分け
無し。PCと携帯で同じURLで、表示内容は別にしている。
ただしNokiaは対応（携帯向け表示）している場合も対応していない（PC向け表示）場合もあり。（両方ともインデックスされた。）
本来はPCと携帯は別のURLにすべき？


IP制限（携帯用IPのみ閲覧を許す）
していない。


半角カタカナ
英数字とカタカナはほとんど半角に変換して表示している。


絵文字
使っていない。


ページのファイルサイズ
携帯向けに小さくしてくる。


Sitemap
Googleにモバイルサイトマップを登録した場合も、登録しない場合（ただしPC用サイトマップは登録済み）も、両方インデックスされた。


Googleモバイル検索にインデックスされているかどうかは、携帯版Google検索で"site:example.com"で検索すれば分かる。
Yahoo!モバイル検索はYahoo!モバイルで同様に調べられる。

Yahoo!モバイル検索ではau向けは問題ないが、docomoとSoftBank向けで、インデックスされていたりされていなかったり．．．。


参考（今後改善するための参考として）：
　携帯サイトのDOCTYPEについてもう一度考えてみる。 携帯ホームページを作ろう！　-ちょっと詳しいモバイルサイトの作り方-
　モバイル検索エンジンのインデックス対策 - 携帯SEO・ケータイ検索エンジン最適化 - ププアブログ
　Googleモバイル（googlebot-mobile）にインデックスさせる - 携帯検索エンジンSEO - ププアブログ

郵便番号検索APIのまとめ

無償のもののみピックアップ。
住所からの検索ができるものが意外に少ない。

• 郵便番号検索API
• リンクウェア
• レスポンスはXML or CSV
• 5桁の郵便番号での検索もできるらしい
  
• グルーブテクノロジー株式会社 - Web サービス：郵便番号検索API
• 要クレジット表示
• レスポンスはXML or JSON or PHP（シリアライズド？）
• JSONPに対応
  
• 前方一致で検索
  
• 住所からの検索も可能
• クジラ　郵便番号　API
• レスポンスはXML
• 全国郵便番号一覧 | 郵便専門ネットのWEBサービスAPI
• プロトコルはXML-RPC
• 郵便番号から緯度経度を取得できるらしい
• APIでご提供する郵便番号検索
• レスポンスは住所の文字列
• キクミミ研究棟 / 郵便番号検索 API for FileMaker
• 実験中らしいので、データの更新は少なそうだ
• 郵便番号検索 CSV XML Webサービス API :: ライムネット（株）
• 商用利用の場合は別途契約が必要
• レスポンスはCSV or XML

（2011/07/21 追記）
今ならGoogle日本語入力のAPI（Google CGI API for Japanese Input）を使うという手もある。
参考：floatingdays: Web form用入力ヘルパー JavaScriptライブラリいろいろ
サンプル：GAddress Finder 動作サンプル - ゼロと無限の間に

Windows用のフリーのバックアップツール × 3

個人的には、BunBackupが見た目が分かりやすくて使いやすい。

• BunBackup
• シンプルで分かりやすいGUI
• パソコンに詳しくなくても使えそう
  
• ミラーリングも可能（デフォルトでは非表示メニューになっている）
• コマンドラインからの実行も可能 （参考：BunBackup FAQ）
  

  "BunBackupへのパスBunBackup" /AUTO:"BunBackup設定ファイル(*.lbk)へのパス"
  

• FastCopy
• 「Windows系最速(?)のファイルコピー＆削除ツール」
• 一般の人には最初は少し分かり辛いかも
• 右クリック時に表示されるメニューからFastCopyを呼び出せるのが便利そう
• 常駐させて同期させるなら便利そう
  
• コマンドラインオプションは豊富
• Fire File Copy
• 「ファイルのコピーや移動を「高速に、しかもガリガリという音を立てずに行おう」という、ちょっと珍しい（？）ツール」
• 大容量のファイルコピーに向いている？
• コマンドラインオプションは一番多そう（参考：コマンドラインオプション）

Flickr services （Flickr API）で写真検索

写真検索のマニュアルはFlickr Services: Flickr API: flickr.photos.search。

必須のパラメータは api_key。

キーワード的なものでの検索のパラメータは text。

sortは、

• デフォルトは date-posted-desc
• ただし radial geo query の場合は指定したポイントからの ascending distance
• 指定可能な値
• date-posted-asc
• date-posted-desc
• date-taken-asc
• date-taken-desc
• interestingness-desc = 人気の高い順
  
• interestingness-asc

licenseで指定する値は、Flickr Services: Flickr API: flickr.photos.licenses.getInfoのExample Response欄を参照。


PHPなら、Serialized PHP Response Formatでの取得が一番手軽そう。

CakePHP初心者のための Tips （CakePHP 1.2）

自分用のメモ。



本家のマニュアル：The Cookbook :: 1.2 Collection :: マニュアル







URLでパラメータを受取る

• 
  参考：The Cookbook :: 1.2 Collection :: マニュアル :: CakePHPによる開発 :: 環境設定 :: Routesの設定
  

AppControllerの記述例

<?php

class AppController extends Controller {

public $components = array('foo');

}

• 
  AppControllerは、CAKE_HOME/app/app_controller.php に置く。
  
  

DBを使わない場合の設定

• 
  方法1. Controllerに「public $uses = null;」を書く （参考：CakePHP データベースを使わないアプリケーション | Shin x blog）
  


• 
  方法2. Modelに「public $useTable = false;」を書く （参考：CakePHP Modelに関する6つの誤解 | Shin x blog）
  
  全ModelでDBを使わないなら、Super Class（Super Model？）のAppModelで「public $useTable = false;」すればOK。 （参考：CakePHP データベースを使わないアプリケーション | Shin x blog）
  
• （2008/11/25追記）こちらも参考に：CakePHP without database access. Webservices only - CakePHP | Google グループ

Controllerでのset()を一度で済ます

• 
  PHP標準関数のcomapct()を使うと楽
  
• 
  参考：@TheKeyboard » Blog Archive » Stupid CakePHP Controller Tricks
  

ControllerからViewにデータを渡す方法

• 
  Controllerでは「$this->set('foo', 'value');」する。すると、Viewでは「echo $foo;」で"value"が出力される。
  


• 
   
  
  
  
  • 
    参考：The Cookbook :: 1.2 Collection :: マニュアル :: CakePHPによる開発 :: コントローラー :: コントローラのメソッド :: ビューとの連携 :: set
    
  
  
  
  


• 
  set()したデータは、Controller->data['foo'] に入っている
  
  

Pagesコントローラについて

• 参考：CakePHP 静的なページの作成方法 | Sun Limited Mt.
• 参考：CakePHP　Pagesクラスでmodelを利用する方法 - 私的WEBサイト制作日誌

レイアウト用のファイル

• 
  レイアウト用のファイルは、CAKE_HOME/app/views/layoutsディレクトリに置く （参考：The Cookbook :: 1.2 Collection :: マニュアル :: CakePHPによる開発 :: ビュー :: レイアウト）
  


• 
  デフォルトで使うレイアウトのファイル名は「default.ctp」
  


• 
  レイアウトファイルが無い場合、CAKE_HOME/cake/libs/views/layouts/default.ctpが使われる
  


• 
  レイアウトについての説明：The Cookbook :: 1.2 Collection :: マニュアル :: CakePHPによる開発 :: ビュー :: レイアウト
  

エレメント

• 
  Viewの共通部品はエレメントという
  


• 
  エレメントはCAKE_HOME/app/views/elementsディレクトリに、拡張子「.ctp」を付けて配置する
  


• 
  エレメント名を指定して出力すればOK。拡張子は付けなくてよい
  
  

  
  echo $this->element('foo');
  
  

  
  


• 
  参考：The Cookbook :: 1.2 Collection :: マニュアル :: CakePHPによる開発 :: ビュー :: エレメント
  

FormHelperの使い方

• 
  FormHelperはCakePHP 1.2から登場した
  


• 
  参考：The Cookbook :: 1.2 Collection :: The Manual :: Core Helpers :: Form
  

特定のページでしか使わないCSSやJavaScript

• 
  layoutでこれらを出力する場所に「echo $scripts_for_layout;」する。
  


• 
  HTML部分を書いた後でもCSS等を指定できるのは便利。
  


• 
  CSSとJavaScriptを別の場所に出力はできなそう。
  
  

  
  //link to webroot/css/foo.css
  
  $this->addScript($html->css('foo'));
  
  //include webroot/js/bar.js
  
  $this->addScript($javascript->link('bar'));
  
  //write Code Block of JavaScript
  
  $this->addScript($javascript->codeBlock("alert('Hello! CakePHP.');"));
  

  
  

翻訳（GetTextの使い方）

• 
  参考：CakePHP のおいしい食べ方: CakePHP1.2の簡単国際化