朝から新世界の串焼屋『てんぐ』へ。そこそこ混んでいて、全員並んでは座れないだろうなと思ったけど、11人分ピッタリ空いていて、ちょっと驚き。朝からなんか凄い。キャベツをかじりながら食べる串焼は旨かった。油っぽくてもたれるかな、と思ったけど全然そんなことはなかった。犬子が高校時代から7年ごしで憧れていたというのも納得。
もうオトナだから通天閣くらいの高さなら克服できたんじゃないだろうか(笑)手すりから身を乗り出すときはビビってたけど。
RIKI TAKEUCHIの店を堪能した後に寄ったカフェが良かった。もともと天井まで高さのある空間なのに、さらにローソファで形成された空間。なんか凄く落ち着いたりして、ポケ〜っと、いろんなことを考えたりしてたんだけど、視線を感じて見てみたらよきゅんに見られていた。
いま、流行っているという堀江。に行く前に寄った公園にて謎の集団に出会う。誰かがなんとなく手を振ったら振り替えしてくれたので、更に手を振っていたら「フーリガンじゃないからね!」とか言って来たので笑う。更に「バンザーイ!」と言ってきたので、すかさずバンザイ返し。ネタと思われるようなタイミングの良さ。お互い良い味だしてたね。あ、それで堀江。時間がなくなって来たので、あまり堪能できなかったけど、面白いお店がいっぱい。近くだったらちょくちょく行きたいようなトコだった。
『今井』というお店で、「鴨なんば」を食べる。ちょっと鴨が固くって残念だったけど、うどんは旨かった。でも、こういう店なら素うどんに近い方が良かったかなと、後から思ったり。
帰りは新幹線。しゃべったり寝たりして、割と早く着いた感じ。東京駅で最後の写真を撮ったあと、それぞれの家路に。
ということで、終わった大阪散歩。うまく言えないけど、全てにおいて絶妙なバランスで楽しかった。同じことをもう一度やれと言われても無理だね。深夜バス組も見送り組も大阪組も飛行機組も神戸組も全てが組み合さっての結果だし。みんなどうもありがとう!
今日から新人がやってくる。PHP は未経験ってことなので、下手すると手取り足取り教える必要があるかもしれない。さらに残念なことがひとつ。この新人は男だってトコだ(笑)
初対面の微妙な緊張の中、初オリエンテーション。思ったより使えそうな予感! 研修内容を前倒しにリスケした方が良さそうだ。
いま個室に入ってきたら、隅っこのほうに「To John XXX」と書かれたメモ紙と共に「China XXX financial Ltd.」と書かれた CD-R が置いてあった。。。こ、これってもしかして産業スパイのやりとりなのか!?(笑)
今後、ココが更新されなくなったら、スパイ事件に巻き込まれたものと思ってくれ。。。
いずれは受けてみたいと思うのだけれど、金銭面の問題で気が引けている視力矯正手術。この記事は最新の状況と筆者の体験談が書かれているので参考になった。でも、60万円は無理だ〜。
う、狙ってた本に他の人から入札が。。。でも、まだ3000円だ。5000円くらいまでなら出しても良いので、がんばって落としたい。
と言ってる間に「七夕の国」を落札! しかも、4冊で11円だ。ほんとにこの値段でいいのかなぁ(笑)
Bluetooth 搭載の CLIE 用に出た GPS ユニット。性能的には良さそうなんだけど、この製品のターゲットはどの辺の年代なんだろう?
GPS の電波状態を知らせるのに、可愛くしたつもりだけど失敗したようなキャラクターが「きみがしっかり見えているよ!」とか「何とか見えているよ!もう少し空が見えるところにいて欲しいな。」とかってメッセージを出してるけど、こりゃ小学生向きなのか?
少なくとも子供が「パパ買って〜」とか言い出すよりも、30代独身男が「GPS 萌え〜」と言い出して購入する確率の方がよっぽど高いと思うので、猫耳娘に語らせるまともな言葉で表示する方が良いと思うけどどうよ?
DomainKeys、Caller ID for E-mail、SPF のそれぞれに対応した sendmail 用実装を Sendmail 社が公開したそうだ。でも、sendmail 使ってないんだよな。
Postfix や qmail の実装がどこかから出て来てくれると試しようがあるんだけど。。。
正直に言おう。オレは芳崎せいむの絵がそんなに好きではない。だがしかし、金魚屋古書店は好きだ。
この5巻に収録されたモノの中では「あしたのジョー」が出てくる「ストリートファイター」と「星のカービィ」が出てくる「漫画好き」がいいな。面白い。
四季大賞の「東日人民よ! / 山口甚八」は、オレには合わなかった。キャラの絵が古くさく感じてしまって、あまり没入できず。みんな髪の毛が多すぎるというか、頭がデカいのが気になっちゃって。
「囚われクローン / 太田モアレ」の絵は割と好みだけど、話としてはもうちょっと盛り上がりが欲しかったかなぁ。
最後の「黄色い家 / 新田章」が今回のヒット作。この絵はイイ!好きだ! 話もなんだかグッと来たよ。いいなぁ、一卵性<そこか?
マッサージを受けた後、書店へ行くためにサンプラザ前を歩いていたら、なんだか声をかけてくる女の子が。「あのー、すみません、この中でどの時計がお好きですか?」とかなんとかって良いながら、9種類くらいの腕時計の写真が載ったA4用紙を見せてきた。
最初、答えずに歩き続けていたのだけど「おにーさん、今日はお休みですか?」とか「お仕事はなんですか?」とか歩きながら聞いてきて適当に答えていたんだけど、一向に諦める気配がないので立ち止まって答えて、さっさと解放される道を選んだ。
再び「どれが好みですか?」と聞かれたので、シンプルなモノを選んでコレと指差した。もうこれで解放されるかなと思ったら「結婚されてますか?」「お住まいは近くですか?」などとも聞いてくる。
「あたしは沼袋に住んでいるんです」「仕事で青山から来てるんですよ」「あたしいくつに見えます?」などとも聞いてきて段々面倒くさく(いや元々面倒くさかった訳だが)になってきて、更にイヤイヤ答えているんだけど相手は一向に気にしない、、、というかかなりテンパリ気味に話していたので、そういう様子には気付いてなかったのかも知れない。
「アンケート用紙にも記入して頂けますか?」と言ってきたので、例の好みの時計の番号とか、いま使っている時計のブランドとかを記入し、更に名前やら住所やら電話番号やらを書かされた。
ウソの情報を書いたろか?とも思ったんだけど、ココで書いた情報がどう使われるかに興味が出てきて、戯れに本当の情報を書いてみた。そしたら、「電話かけるんで出てくださいね」と、その女の子がその場で今オレが書いたケータイの電話番号へ電話をかけた。どうやら本当の番号かどうかを試したようだ。
流石に(?)ここで電話に出ることはせず「じゃーどーも」と言って立ち去った訳だが、これいったいなんだろうね。キャッチセールスなのかな。「選んだ時計が抽選で当たりますからー」とも言っていたけど、間違いなくそんな抽選はされないだろう。
「時計が当たったので、どこそこに取りに来てくれます?」的な展開が待っているのだろうか? それとも単に個人情報を収集して、それを販売しているのかなぁ。
GarnetVM のサイトからダウンロードして、N810 にインストールしてみた。
全画面モードに対応したので、パッと見は、ホンマモンの Palm みたいに見えなくもない。
が、しかし、キーボードをスライドさせると違和感が出てくる。
ちなみにキーボードでも文字入力が可能だった。
オレが PalmTX で PIM として使っている Agendus は、残念ながら「いま動かそうと対応中なんだよリスト」に入ってしまっている。ということは、そのうち動くのか。。。
チラっと触った程度だと、動作速度は悪くないので、日本語環境さえ動けば意外と使い物になっちゃいそうな気もするんだけどなー。
特に何も考えずに検診受付を15:30の回にしてたのだけど、検診内容の関係で8時間前から飲食禁止だった。
朝イチにバナナを食べただけで15:30まで待つことに。
少量の水またはお茶は摂取可能とやらだったので、ちびちび飲みながら仕事してた。
ようやく時間になって検診が始まったんだけど、血圧が高くて、結局バリウムを飲んでの胃の検査は中止。
胃をカラにする努力が無駄になってしまった。。。
まぁ、最近は処方されてる降圧剤を飲み忘れることもチラホラあって、血圧が安定してないのが原因なんだけどさ。
ちゃんと飲もう。
会社帰りに小田急の北海道物産展へ行って、昨日のリベンジ。
小樽のなるとの半身焼きとかもろもろ買ってきた!
昨日、第10回elasticsearch勉強会 へ参加してきた。
えっ、日記なのに今日の話じゃなくて昨日の話を書くのはどうなの!?という思いもあるけど、昨日は別の話題で、ちょっと長めの日記を書いてしまっていたので、日を分けてしまおうという考え。まぁ、なんだ、ネタ切れ防止だ。
ちなみに少なくとも2014年1月1日から今日まで、途切れなく毎日この Web 日記を書いている。ただ、気負い過ぎるとツラくなるので「ネタが無い場合にはヒトコトで良し!」という方針でやっているので、わりと気楽だ。
まぁ、そんな話は置いておいて、勉強会の感想など。
Elasticsearch およびその周辺にまつわる初の単独カンファレンスであるところの elastic{ON} の紹介など。このときに Elasticsearch から Elastic へ社名を変更した。
また、Elasticsearch を AWS 上で構築して商用サービスをやっている Found 社の買収についてもこの時に発表されたらしい。Found 社のサービスは、ES のバージョンアップとかもマネジメントコンソール的な画面からポチポチやっていけるらしい。
Elasticsearch は最初の構築が簡単なので導入時はいいんだけど、いざ運用に入るといろいろな問題が発生しそうな予感はある(まだ体験していない)。こういう「サービス開発の本筋ではないところ」を運用してくれるサービスはこれからも増えていくんだろうな。
elastic{ON} の講演のサマリでは、名だたる企業が ES を使っている様子が伺えた。Microsoft は msn や Azure Search などで利用。Yelp は Solr から ES へ乗り換え。GitHub の検索も ES だし、Wikimedia でも利用されているとか。あとは企業ではないけど NASA では、宇宙にある機器からのデータを ES にブチ込んでいるんだとか。「宇宙」って聞くだけで盛り上がる人種には、ES と関わっているだけで嬉しくなる話だ。
Facebook でも社内で使っているとか。(社内?)ハッカソンで使ってみて、いいね!ということになったらしく、内部システムで利用しているとか。
それから Elastic 社の有償プラグインである Marvel、Shield、Watcher についての紹介。
Marvel は ES のクラスタやノードの状態(ヒープサイズ、ディスクサイズなど)の監視に利用でき、その取得データを Kibana 上で閲覧するもののようだ。またクエリを投げる UI もあり、そこでは Elasticsearch API のサジェスト機能や JSON の構文チェック機能などがあるとか。
Shield は ES をよりセキュアにするためのもので、誰でもアクセスできちゃう割とオープンな仕様の ES のユーザー認証・認可などが行えるようになる。また ES のクラスタ内での通信も SSL 化できるそうだ。あと、重要なデータを入れた場合に必要になってくる監査ログの取得・閲覧機能もあるそうだ。
Watcher は、まだベータ版で、クエリによる監視・通知サービス。定期的にクエリを投げて「システムとしては正常かどうしているが、データに異常値が見つかった」などの検知に使えるみたいだ。この検出をトリガーとして、メール送信やら Slack などへのチャットへ投げたりできるとか。
企業内に入れていくなら、このあたりのプラグインは欲しくなるね。うまいところを付いている商売だと思う。
【資料はまだアップされてないかも】
自社サービスでの Elasticsearch の利用内容と AWS Auto Scaling での利用事例の紹介だった。
パブリック DMP として、現在約4億件のデータを ES に蓄積・検索をしているそうだ。提携している各メディアからの来訪者情報、閲覧履歴やネットリサーチからのアンケート情報などを絡めたセグメントを広告配信ツールへ提供してエンドユーザーの趣味嗜好などに合わせた広告配信を実現するためのサービスの一角を担っている。
全て AWS 上に構築し、クラスタがひとつで Type もひとつというシンプルな構成。そこにノードが 86 台あるそうだ。86 台の内訳は、マスタ(データは持たない)が3台で、データ(マスタ機能は持たない)が80台、検索を受け付ける ES が2台にインデクサ(index を作成する役割)が1台。さらにこのフロントに ELB が置かれている。インデクサ以外は Auto Scaling の対象になっているそうだ。
この構成に決める前に、負荷試験などを行なってみたそうで、ノード数 == シャード数の状態では100台くらいまで性能向上が見られたが200台くらいで検索のパフォーマンス劣化を見つけ、シャードとノードの比率が 1 を超える(例えばシャード 10 に対しノード 8 とかの状態?)だと、パフォーマンス劣化が見られるなどを発見したそうだ。
インスタンスの性能については、SSD の性能重視で選択し、c3 ファミリーに。コストパフォーマンスを考えて xlarge にしているそうだ。
Auto Scaling は、100台単位のクラスタを数人で回すために必要だったとのこと。運用コストを減らす対策。その一方でスケールアウトしやすくなったというメリットも出たそうだ。
Auto Scaling って、急な負荷のときの対策というイメージが強かったんだけど、一定数の規模のクラスタを運用し続けるという使い方もあるんだね。そこが分かってなくて、勉強会の最中にはあまりピンと来ていなかった。よく見たら AWS のドキュメントにも「必要な数の Amazon EC2 インスタンスを確実に実行するための助けとして、Auto Scaling を使用することができます」と書いてあったわ。
「一定数の規模のクラスタの維持」の話だということでリカバリの話もあった。コケたサーバとか、ライフサイクルにより入れ替わったサーバを復帰させるときのリカバリ処理を速くする TIPS。indices.recovery.max_bytes_per_sec
をデフォルトの 40mb から 500mb にしているとか。こういった設定などで、CPU 4 コア、データ量 40GB のノードが10分程度でサービスインできるそう。
これが速いのか遅いのか、ちょっとまだオレの感覚にはないなぁ。。。
ELB のヘルスチェックは、検索受付用サーバ以外にも実行しているそうだ。これはリカバリしたノードで、ごくたまに ES がうまく立ち上がらない場合があるからだそうだ。9200 ポートを叩いて返事があるかどうかでチェックしてるそう。
Q&A コーナーでは、検索用ノードを分けた理由についての質問が興味深かった。もともとマスタノードで検索をしていたが、激しい検索で GC が発生してマスタノードがコケたからだそうだ。「激しいクエリ」がどのくらいなのかは分からないけど、そういう可能性があるという良いノウハウを聞けた。
【資料はまだアップされてないかも】
ビズリーチ社での利用事例。Scala で Elasticsearch を叩いているそうだ。Scala の知識が無かったので、そのメリットについてはあまり分からなかったけど、サービス構築までの裏話が聞けて面白かった。
サービス開発は1年くらいかけたのだけど、その間に何回か作りなおしたりしていたそう。当初は AWS の CloudSearch を使っていたそうなのだが、今回のサービスは「検索」そのものに重きを置いているので、そのキモの部分をブラックボックスである CloudSearch に任せてしまうことへのリスクを考え、ES にしたとのこと。ES なら自分たちで手を入れることが可能なのもプラスポイントになったそう。
当初のアーキテクチャでは、クロールしてきたデータを入れる ES と、そのデータを元にして検索用データを投入する ES を分けていた。そこをふたつに分けていくことにより、それぞれのサービス開発のライフサイクルの違いを吸収。別々にデプロイしやすくしたそうだ。
データ量の増加と作業の反復などを踏まえて、Apache Spark を導入して分散処理ができるようにしたそうだ。ただ、初期には map のタスク数 == シャード数にしてしまい、タスクが分割されないというミスも。また、Spark で大量に書き込みを行ったら、シャードが壊れてしまう事故も発生したので、設定値の一部を低くして書込しすぎないようにしたんだとか。
現在ではアーキテクチャの一部を変更して、Spark Streaming を導入しているそうだ。クロールしたデータは ES へ入れるのではなく S3 へ登録、Spark Streaming で S3 を監視し、新しいファイルがあれば処理を開始するというスタイルになっているとか。
サジェスト機能の話もさることながら、先日の Testing Casual Talks #2 のときに引き続き、Gatling の名前が出てきた。負荷試験には Gatling がいいのかもなー。
形態素解析のいろいろな準備が面倒なので、Elasticsearch の API を使って、形態素解析 API サーバを作っちゃおうという話。ちょうどこの辺について興味があったので、似たようなことを試してみたい。
Sublime Text 3 の拡張(プラグイン?)で Elasticsearch にクエリを投げたり結果をみたりするヤツだそうだ。Emacs にも es-mode があるので試してみたい。
あと、Hello! Elasticsearch. のなかの人だったとは。いろいろ勉強させてもらってます。
【資料はまだアップされてないかも】
Elasticsearch のプラグインは簡単に作れるよ、いろんな部分で作れるよ、という話。フック出来る箇所がたくさん良いされているそうだ。
アプリケーション側で行われている処理を ES のプラグイン化してしまえば、ES 本体のクラスタ機能により、処理が分散でき、スケールするという考えが面白かった。そういう発想は無かった。
いろいろな方面の話があって面白い回だった。実況ツイートという名のメモを書いていたけど、自分の知識の範囲外の単語も出てきて、なかなか大変だったけど、勉強になった。まさに勉強会。
開催ありがとうございました。
▽ ゆうすけ [通天閣がOKということは、東京タワーにも登れますね。もちろん、階段で。(笑)]
▽ すずき [か、階段は体力ないので遠慮しときます(笑)]
▽ よしい [串焼きじゃなくて串揚げでは?]
▽ すずき [あ、間違えた。]