雑文発散

▼ 僕がまだ寝ているときに

non-nonnは帰っていったらしく、さよならの挨拶はできなかった。

▼ 遅めの朝食を

食べ終わったあと、なんだかみんなでまったり。TV見る人あればビデオ見てたり、マンガ読んでたり。途中でこまひこさんは帰ったけど、結局、15時すぎまでそんな感じ。

▼ 恵比寿で遅めの昼食を

食べる予定が、結局ヨサゲなお店がなく、渋谷まで歩く途中で探すことに。が、やはりヨサゲな店がなく、そのまま渋谷に到着。ここで本日の目的のひとつであったohsamuメガネを購入。その後、マークシティ脇の韓国料理のお店（店名忘れてしまった）で、遅めの昼食を取ったのが18:00ころ。

▼ 食べ終わったあと

ここまで一緒に行動していた犬子とちむたん、恵比寿で合流したよきゅん友人と別れ、ohsamuメガネ完成品を取りに行く。その後、PARIYAのアイスクリームでデザートタイム。美味しくて、何回も足を運びたいとこだけど、お客さんが女の子ばかりでちょっと難易度高いか？とか思ったり。ohsamuは「僕は平気だよ」と言っていたけれど（笑）

▼ ちょっと時間をつぶした後、

本日最後の予定である映画『ピンポン』を観にシネマライズへ。日曜最終回は1000円で観られるし、公開日からそんなに経ってないので混んでいた。座れはしたけど、前から2列目、右から4番目付近だったので、ちょっと首が痛かった。で、肝心の映画の方は、、、前日に原作を読んだのは失敗だったかも知れない。原作の最初から最後までを2時間程度でこなすのはやっぱり無理で、はしょられ感を感じてしまった。さらに一番問題なのは、、、ホワイトベース似の校舎が出なかったことだな。これでかなりマイナスだね（笑）

▼ 残処理

土曜出勤した分の残処理をするため、今日は早出。と言っても会社に着いたのは8:15くらいか。10時前までにダーッと終わらせ、この件終了。

▼ こなーい

Amazon で注文した「best / クラムボン」。アカウントサービスで確認すると「7月25日に発送しました」ってなってるけど、まだ届いていない。メール便だから日通のサイトでも調べられないし。明日届かなかったら確認してみた方がいいのか？

▼ Windows サポート

ケータイに「Windows の『閉じる』ボタンとかが文字化けした！」という電話が。会社で何度か対応したので、同じ件だろうと話してみたら、やっぱりフォントキャッシュの問題だった。

「じゃー、お礼にオゴリな」と言ったら「500円でいい？」と。しかも、すき家限定らしい（笑）

▼ 文字化け

上の「Windows の文字化け」を書いて更新したら、この日記の右上のメニューも文字化けして表示された（笑） それにしても Safari は EUC-JP が苦手くさいな。

▼ Finder が重い？

XEmacs 21.5.14 をコンパイルしているので、どのくらいの負荷かと思い top コマンドの表示を眺めていた。すると、Finder が異常な数値を出していることに気が付いた。

常に50〜70%の CPU 使用率って、どーなってんの？ もしかして、このせいで MPEG2 再生がコマ落ちしてたのか？ XEmacs のコンパイルが終わったら再起動してみよう。って、まだ何時間かかかりそうだから寝るけど。今までも何回か Fink 系のモノをインストールしてきたけど、G4 867MHz でのコンパイルは遅いなぁ。比較対象が P4 1.5GHz だから不公平かも知れないけど。

▼ [雑] 自閉モード

今日は朝から iPod でテクノを聴きながら仕事をするという完全自閉モード。台風の影響で流れの速い雲を見ながら「あの雲になりたいっ！」みたいな感傷に時々浸りながらも、「オレに声をかけるな」オーラを展開してガシガシとコーディング。

▼ [雑] 雲の流れ

相変わらず煮詰まると窓外の雲を眺めている。なんでも、今回の台風は北西に進む珍しいヤツなのだそうだ。そう言われてから見ると、雲の進む方向がいつもと違うような。。。

ま、それは良いとして、さっきからジーっと見ていると、スーっと動いている雲が、時折カクカクとした動きになっているような気が。そう、まるでグラディウスで敵キャラやの弾がいっぱい出て来て処理落ちしているときのような状態。

これって、僕の目がおかしいのかな？ それとも、そこに見える雲は実際には天井のスクリーン映像で、何かの原因で処理が重くなっているだろうか？（笑）

そういえば買ったよ、グラディウスV。買った日にプレイしただけで、その後、ぜんぜん遊べてないけど。

▼ [音] 攻殻機動隊 STAND ALONE COMPLEX~be Human

買おうかどうか迷っていたのだけれど、今なら15%オフだっていうのでポチった。

▼ [Mac] PixeStation が不安定

それまで持っていたブラウン管TVは引越の時に置き去りにしてきたので、今の家にはTVがない。専用TVの代わりに、Mac に Capty Firewire を接続して TV を見ていたのだが、今朝からなぜか音声だけ出なくなった。

まず、ありがちなボリューム OFF になっているのかと思ったけど、そうじゃない。ちゃんと再生ソフトの PixeStation も OS のボリューム設定も ON になっている。QuickTime やら iTunes などの他のアプリケーションでは、ちゃんと音が出ているので、Mac 本体の問題ではなさそうなので訳が分からない。VLC でも音が出るかどうかを試したら、再生した動画の音声と一緒に TV の音声も出てきた。なんだ？と思って、VLC の動画を閉じたら TV の音がまた消えてしまった。

結局、「VLC で動画を再生またはポーズしている状態だけ PixeStation の音が出る」という状態なのだが、これってどこをどうすれば直るんだろう。。。

▼ [雑] WASF 第4回コンファレンス

Webアプリケーションセキュリティフォーラムの第4回カンファレンスに参加してきた。

マイクロソフトによる「Internet Explorer7でのセキュリティ」も参考になったのだけれど、今回の目玉は三井住友銀行の「公式メールへのS/MIMEの導入と運用」という講演だった。何しろ実運用において発生した問題と解決方法を具体的に解説して頂けたのが素晴らしかった。

いやいや、有意義な一日だったなぁ。

▼ [雑] 下がり調子

ほとんど家の中でゴロゴロして体力回復を待つ。右手の痺れと結膜炎の他に、左の鼻からタラタラと鼻水が。。。どうも、鼻炎も併発したようだ。人間、体力が落ちているとボロボロになるんだな。

買い物に行くのも辛かったのだが、食料と栄養ドリンクとハーゲンダッツを買い込んで、更に家でゴロゴロと。

▼ [雑] 「わへい 田町 肉カレー」

だ、誰だろ、このワードで検索していた人は。。。かなりの確率で同じ学校だった人のような気がする（笑）

▼ [雑] ウォーキングしたけどペースダウン

今日も会社からの帰りがけにウォーキング60分。

最初は先日と同じように5.0km/hのスピードにしたんだけど、なんか今日は辛かったので4.4km/hまでペースダウンして歩いた。

角度がキツ目の時は一時的に心拍数が上がるものの、緩やかな角度になると130台後半〜140台くらいの心拍数で推移してたので、もしかしたら、まだこのくらいのスピードの方が良いのかも。

もうちょっとカラダが負担に慣れて来たらスピードを上げるようにしようかな。

▼ [Elasticsearch] 第11回 Elasticsearch 勉強会へ参加してきた

昨日、第11回 Elasticsearch 勉強会へ参加してきた。いつもの時間に会社を出たつもりだけど、会場・開始までにはそんなに余裕が無かったので、いつもの時間を間違えていた気がするのだけど、いつもの時間とはいつだったのだろうか。

今回は Elastic 社の CTO である Shay Banon さんがトークするという回。昨年もそういうタイミングがあったそうなのだけど、その頃は Elasticsearch に触れていなかったので、まったく知らなかった。

その Shay さんの到着が遅れそうだからみたいな理由（だったと思う）で、LT からのスタートに予定変更になっていた。でも、開会のタイミングでは到着していたので、元通りの発表順でも間に合ったかも知れない。ただ、LT で始まり、通常の勉強会の雰囲気が作られた後で CTO の発表という順番は、意外と良かったのかも知れない。

【追記】到着遅れという話じゃなくて、最初から場の空気を感じてもらう意図での順番変更だったそうです。さすが。

各 LT の発表後、Shay さんから積極的に Question を投げてたし、そういう場の空気を感じてから発表するのは、彼にとってもやりやすかったんじゃないかなぁと勝手に思ったりした。どうせなら話した後に満足感を得て頂きたいしねぇ。そういう意味では、まともに英語が聴き取れない参加者だったオレは、彼に満足感を与えられないのであった。まったく申し訳ない。

ということで、各感想など。

Elasticsearch and Recruit Technologies Co., Ltd.

会場提供して頂いているリクルートテクノロジーズさんでどのように Elasticsearch を使っているかの話。

Elasticsearch を選択したのは、その簡易性にあったとか。スケールが楽だし、レプリカがあり障害時の対応も楽という話。発表後の会場からの質問で「大規模利用で苦労したことは？」との答えが「いまのところ特に無い」だったところからもシステムの信頼性の高さが伺えた。

また、検索に関して、複数のインデックスを作れるところも魅力だとか。形態素解析だけ、N-gram だけ、ではなく、それらを組み合わせて検索ができるところが良いそうだ。「ハイブリッドインデックス」と呼んでいた。

ただこれだけではなく、検索用に静的および動的な独自スコアを付けて、そのヒット率を上げているとか。静的なスコアは、ユーザのログやコンテンツを Hadoop で集計し、Elasticsearch へ保存しておく。動的なスコアは、クエリ内容によって可変させる仕組みを作っているそうだ。ひとつのクエリを実行する前に、そのクエリに対応するファクター（要因）を検索し、そのファクターを利用したクエリに書き換えて検索を実行するなどの方式を取っているみたい。

この辺りの挙動はプラグインで行なっているんだとか。自作、かな。

Elasticsearch as a DMP

インティメート・マージャーさんの DMP で Elasticsearch をどのように使っているかという話。少し前に別の流れでこの会社名を聞いていて、その後にこの勉強会で発表があると聞いてビックリしていた。

Elasticsearch には 3.6 億レコードを入れて利用中とのこと。DMP なので、複数のデータソースから各種ログなどをインプット要素にしており、それらを KVS などで JOIN した後のデータを Elasticsearch へ入れているそうだ。

サンプルのデータ構造としてはこんな感じのだった（まだスライド公開されていないので、実況ツイートと記憶で書いている）。

こういったデータから「女性で東京に住んでいる人」や興味・関心などの条件で絞り込みを行い、広告配信システムへ引き渡す使い方を行なっている。

また、特徴抽出のような機能もあり、例えば「Elasticsearch というキーワードで抽出される人たちの業種」というと広告業界が多く、更にその中でもサイバーエージェントの人が多いみたいなところまで分かるんだとか。

これらの QPS を特に測ったりはしていないそうだけど、ID を抽出するようなクエリの場合、数千万件（の結果？）でも1秒かからないレベルだそうだ。

どのくらいのノード数でこれを実現しているのか知りたいな（発表内にあって聞き漏らした可能性あり）。

Real-time social big data analytics using elasticsearch

ホットリンクさんのサービスで Elasticsearch を使っている話。ソーシャルメディアなどのデータを一般的な企業でも使いやすいように加工して利用してもらうサービスを運営しているとのこと。

ソーシャルメディア上の書き込みをテキストマイニングして、その発言がポジティブなのかネガティブなのかを判定したり、どの年齢層が多いのか、どの位置情報が多いのかを調べたり、拡散した元の発言者（インフルエンサー）が誰なのか？を知ることができるのだとか。また、時系列の過去データを利用して、これから流行る商品や株価の行方などの未来予測なども行えるサービスもやっているそうだ。

そういうサービスでなぜ Elasticsearch を使うことになったのかというと、データ量の増大があったり、他言語化やリアルタイム性の要求が大きくなったからとのこと。

データの流れとしては、ソーシャルメディアのデータをクローラーやストリームで MySQL や S3 にいったんストアし、そのストアしたデータを Elasticsearch へ入れているとのこと。直接 Elasticsearch へ入れていないのは、データロストを心配していまのところこの形になっているみたい。あと、一次受けで MySQL を使っているのは、旧来のシステムがまだ残っているからだそうだ。ちなみに旧システムは、Senna で形態素解析をやっていたので、同じく形態素解析が使える Elasticsearch + kuromoji は相性が良かったみたい。

ノード数については、30ノードと話していた気がする。

Elasticsearch in Hatena Bookmark

はてなブックマークでの Elasticsearch の使い方の話。はてブの検索エンジンは、MySQL → Sedue → Solr → Elasticsearch と移ってきているそうだ。

Elasticsearch は、全体で3クラスタを利用しており、それぞれユーザー（の検索？）用とバッチ処理用、（システムの？）ログ用になっている。

はてブでの検索用途では、タグやタイトル検索には普通にキーワード検索やソート、フィルタなど。本文検索には「コンセプトサーチ」と言っていた気がするけど、ちょっと良くわからず。「他社製品名に聞こえるよね」みたいな声も会場から上がってたけど、ちょっと分からない。

Term Vector API を使って（？）、検索用語に味付けをして、より精度の高い検索結果を出しているような話だった気がするけど、ちょっとうまく思い出せない。

特集記事みたいなものは、はてブの編集さんがまとめているのだけど、ここに掲載するための Query DSL を編集さんに書かせるのは難しいので、それ用の管理画面を用意して使ってもらっているそうだ。管理画面をポチポチしていくと、裏側でクエリを組み立てているそうだ。

「どのくらいのノード数で使っているか？」という質問が相変わらず出てくるんだけど、「メインクラスタ9台」という話だった。

About Elastic and Elasticsearch

さて、今回の目玉、CTO の Shay さんの話。スライドは無く、会場からの質問ベースのやりとり。ここからオレの実況ツイートは途絶えている。いや、聞き取れる単語はあるし、だいたい何を言っているかの雰囲気は分かるんだけど、詳細はまったく頭に入ってこない。

英語が、英語が、英語が……

それでも @yusuke さんが同時テキスト通訳をしてくれていたので、理解できるところは理解できた。いや本当にありがたかった。

この話の中で、いくつか気になった点だけ箇条書きでピックアップして書いておく。

• Elasticsearch をデータソースとして Apache Spark が動くみたいな話が気になった
  • Spark SQL で Elasticsearch 内のデータが引っ張れるってことかな？
• 「PostgreSQL と同じようにデータの信頼性を持てるようにしたい」みたいな発言があった
  • PostgreSQL 好きとしてはなんか嬉しかった

どこかの発表の時に 2.0 で入る「Pipeline Aggregations のリンク」が紹介されていて辿っていったのだけど、master 版のリファレンスには、もう 2.0 で拡張予定の機能がドキュメント化されているんだね。いつも 1.6 とか 1.7 版のリファレンスしか見てなかったから気づいていなかった。

あと、その Pipeline Aggregations に含まれる機能は、もしかしたら、使いたかった機能かも知れないので、これから読み進めようと思っている。

はー、 Elasticsearch いいわぁ。

▼ [雑] 自宅勤務に舞い戻り

おとといの自宅勤務で、足の調子は少し良くなっていたので、昨日は出社した。自分が関係したちょっと大きめのリリースがあったので、その動作確認をしたかったので。でも、家に帰るくらいからまた炎症が悪化してしまったので、今日も自宅作業にさせてもらった。

左足は、手の平くらいのサイズに炎症が広がっていて、だいぶ熱を持っていたし痛みもあった。自宅のソファ＋オットマンもどきに座りながら、該当部分を氷枕で冷やして対応。なるべく足を動かさないのと、この冷却が効いたようで、痛みが割と早く引いた。炎症部分も夜には小さくなっていたので、ちょっと安心。