2014年7月20日日曜日

Webページを解析する

Yahoo競馬からデータを取得すると決めた。APIが用意されているわけではないので、HTMLを解析し、必要な部分を抜き出さなくてはならない。

public HtmlAnalyzer(String html) {
buf = new StringBuffer(html); 

}
public String getData(String begin, String end) {
int ibegin = buf.indexOf(begin);
if (ibegin == -1) return null;
ibegin += begin.length();
buf.delete(0, ibegin);
int iend = buf.indexOf(end);
if (iend == -1) return null;
String ret = buf.substring(0, iend);
buf.delete(0, iend + 1);
return ret;

}

上記のように、HTMLをStringBufferに入れて、解析した部分から消していくことにした。解析として、ある文字列とある文字列の間の文字列を取り出す関数を作った。そして、HTMLのソースファイルを見ながら、必要な部分の前後の文字列を切り出し、上記関数getDataの引数として与えるようにした。
<p id="raceTitDay" class="fntSS">2000年1月5日(水) <span>|</span> 1回中山1日 <span>|</span> 10:00発走</p> 
HTMLのソースファイルで、日付と開催日と場所の情報は上記のように書かれている。そこで、以下のようにgetDataを呼び出してデータを取得するようにした。

HtmlAnalyzer ha = new HtmlAnalyzer(html);
Race race = new Race();
race.horses = new ArrayList<Horse>();
String date = ha.getData("<p id=\"raceTitDay\" class=\"fntSS\">", "<span>");
SimpleDateFormat format = new SimpleDateFormat("yyyy年MM月dd日");
race.date = format.parse(date);
race.termplaceday = ha.getData("</span>", "<span>").trim();

多くのデータがあるため、かなり面倒だが、基本的には同じように書いて行けばよい。難しいのは、どこまで可変でどこまで固定なのかということだ。HTML自体は、データを埋め込んで自動生成しているのだろうから、基本的には同じ枠組みで作られているはずだ。しかし、どこが埋め込み部分なのか判断が難しい場合もあるので、試行錯誤が必要だろう。

2014年7月19日土曜日

どのプログラミング言語で作るか

久しぶりに、競馬予想ソフトを作ると決めたものの、どのプログラミングで作るのがいいのか。それを決めるための最も大きな要件は、どのデバイスで使うのか、ということになるだろう。後は、自分の得意・不得意もあるし、開発工数が少なくてすむというのもある。昔作ったときは、確か、C#で作ったのだが、そのときはWindowsで動かすことしか考えていなかったし、サーバー側で処理することも考えていなかった。今回の要件は以下のようになるだろうか。


  • 開発環境 MacBook Air + 無料の開発環境
  • Androidから見られるようにしたい
  • 最初はMac上でいろいろ試したい
  • 完成したもののロジックはクラウドで(Google App Engine?)
Macで使うことを考えると、Objective CもしくはSwiftという選択肢がある。速度的にはこれが一番早いだろう。他のデバイスで動かすことには適さない。マルチプラットフォームという話では、HTML/JavaScriptがいいのだろうな。無料で開発できるし。node.jsを動かしたようなクラウドサービスを使えば、これをクラウド側に展開することも可能だ。しかし、Google App Engineは対応していない。これからはHTML5だ、とか、口では言うのだが、あまり優秀な開発環境がないからか、書きにくくて好きではない。UI部分はまだしもロジックを書くのには向かないように思う。結局、Javaを使うか。これなら、Google App Engineも対応しているので最終的にロジック部分を全部移行することが可能だろうし、Eclipseで開発ができる。データベースをどうするかだが、めんどくさいので、最初のうちは、計算時は全部メモリ上において動作させるか、富豪プログラミング的に。最近はoracleとかのデータベースもインメモリが使われているしな。毎回、Yahooのページからデータを取るわけに行かないから、取ってきたデータをメモリ展開したものをファイルに保存することにする。

2014年7月18日金曜日

競馬のデータ

競馬の予想アプリを作ろうで書いたように、JRA-VANから生データは手に入れられないし、MAC用のSDKは現在はないようである。でも、データがないことには、どうもならん。ということで、何らか方法を考える。APIを提供してくれているところないかなー、と思ったが、さすがにそれはないようだ。しかし、競馬の結果を見ることができるWebサイトはいくつかある。そのデータを利用することにする。どこのサイトにしようかと思ったが、Yahooの競馬にすることに決めた。どこでも、大差ないと思うが、大手の安心感というやつか。で、当たり前だが、仕様書があるわけではない。したがって、仕様を推測しながら作ることになる。まずはURL。
結果のサイトは、

http://keiba.yahoo.co.jp/race/result/1402020101/

のようなURLになっている。どうもこれは、

http://keiba.yahoo.co.jp/race/result/[year - 2000][競馬場ID][x回][x日][xレース]/

という形式らしい。競馬場IDは、

01:札幌, 02:函館, 03:福島, 04:新潟, 05:東京, 06:中山, 07:中京, 08:京都, 09:阪神, 10:小倉

のようだ。昔、JRA-VANのデータを使ったときも同じだった気がするな。0はなくて10まで。ということで、この形式でURLを生成すれば、結果のページを取得できる。対応するレースが存在しない場合は、404エラーが帰ってくるので、404エラーが帰ってくるまで繰り返せば、すべてのデータを取ることが可能だ。

2014年7月17日木曜日

競馬の予想アプリを作ろう

完全にほったらかしになっていたのだが、少しずつ書いていきたい。

GWに友人に連れられてひさしぶりに競馬に行った。天皇賞含め、いくつかのレースを買ったのだが、惨敗。ひとつも取れず。昔は、自身で予想ソフトを作って、それをもとに予想していたが、新聞だけを読んで予想も楽しいものだった。

その後、競馬はしてないのだが、今、予想ソフトを作ってみると当時と違うことが出来るだろうか、と思い出した。で、作ってみることにした。

まず、データをどこからか取らなければ行けない。昔は、たしかnifty経由でJRA-VANからデータが取れたんだったっけ。しかし、今は違う。JRA-VANのサイトを見ると、JRA-VANデータラボの会員になる必要があるらしい。これは、月額2,052円(こっちのページには1,995円になっている、消費税が5%->8%であがってこちらは修正漏れか)。高いと言えば高いが、まあ、それで楽しめるのであればいいと思ったのだが、このサービスはデータをくれるのではなく、SDKベースでデータにアクセスできるようになるものらしい。

しかし、このSDKはMacで使えなさそうである。Q&Aでは、



Macintosh版のSDK(JV-Link)はありますか?
JRA-VAN SDKの中にMacintosh版も含まれております。
Macintosh版のJV-Linkは、Carbonインターフェースとして作成されており CodeWarriorやOS標準でバンドルされているXcodeで開発可能です。
と書かれているのだが、JV-Link質問箱では、

申し訳ございませんが、Mac版のJV-Link、SDKの更新は
現在行っておらず、Cocoaによる開発にも対応しておりません。


になっている。ということで、現在は使えないのだろう。どちらにしろ、Android版はなさそうだ。SDKベースではなくデータそのものを配布してくれればいいのに。

2012年1月25日水曜日

ビッグデータ

JR東日本子会社が2億件のビッグデータで商品開発、「移動中に飲む水」訴求

田村修・代表取締役社長は「列車に乗る前にミネラルウオーターを買って移動中に飲むという行動は意外だった。新しいコンセプトの有効性を裏付けるのにビッグデータが役立った」と話した。

JR東日本と名のつく会社の社長は、電車に乗ったことないんだね。というわけではないだろう。そもそも、それが意外と思っているんなら、駅のホームでなんで自動販売機あるんだよ。

ビッグデータをとった限りは活用しないといけない。とはいっても大したことができない。それでも、何とかひねり出し、大げさに言って、活用したということにする。大変だねぇ。

といっても、自分も人のことは言えない。時間もしくはお金をかけて何かをすると、何の役にも立たなかった、無駄だった、とは言いづらい。というか、そんなこと上司に言うとろくなことにはならない。でも、その報告の結果、横展開とかされて増殖していくと、申し訳ない気持ちでいっぱいになるよな。難しいところだ。

2012年1月24日火曜日

食べログでのステマ

食べログで業者がやらせレビューを書いていた問題が大きくなり、ステルスマーケティングの話題が広がっている。

食べログにしろ、アマゾンのレビューにしろ、一般人の書き込みがそんなに信頼がおけないのはあたりまえだし、関係者が書いていたり、業者が書いていたり、そういうことはあるだろうな、とみんな思っているはずで、問題はそのこと自身ではないだろう。

あてにならない(かもしれない)とみんなが思っているものでも、おもしろいことに、普及すればそれなりに権威を持つ。単純に言えば、誰かをお店に連れて行って失敗した場合、「食べログでは高評価だったんですけどねぇ」と言い訳すれば、なんとなく許されてしまうということだ。

雑誌も同じようなものだ。しょせん、広告費など何らかの利益を得た上で店の紹介をする。でも、雑誌がそれなりに権威を持っていれば、雑誌で紹介されていた、みたいなのでなんとなく許される。

そもそもみんながあるだろうと思っていたものが、やっぱりね、ということなので、あまり状況は変わらないように感じられる。しかし、一方で、言い訳として使いにくくなったのは事実だろう。今回の件でどれだけ権威が傷つき、どう回復していくのか、気になるところだ。

また、そのようなことを考えていると、どうやってみんなの言い訳を作ってあげられるか、の重要性は何らかのサービスを考える参考になる。

au one Marketが通知領域に広告

Twitterでは、au one Marketが通知領域に広告を出し始めたことが話題になっている。

広告が出るような機種もあります、という話なら、それを買わなければいい、ですむのであるが、バージョンアップでこれまでは出なかったスマートフォンでもでるとなると話は別。

やはり、android搭載の機種は、デジタル機器に詳しくない人には、まだすすめられる状況にはないということだ。もうしばらくは、iPhoneかガラケーの中から考えるしかない。そうはいっても、ガラケーはメーカー各社どこも力が入ってなく、店に行くとスマートフォンをすすめてくるような状況で、なかなかいい買い換え候補を考えるのは難しい。人に聞かれたときは、できるだけ今使っている携帯を長く使うこと、と答えるのが最善の策。