雑文発散

過去の日記

2014-10-23 [長年日記]

▼ [Fluentd][Elasticsearch] Fluentd + Elasticsearch + Kibana での解析の構成を考える

昨日の日記「DDD (DoS Driven Development) を始めよう」からの続き。

DoS への対策で Fluentd + Elasticsearch + Kibana を使ったアクセスログ解析を第三tDiary.Netの上で行おうと思い立ったのは事実なんだけど、実はそれ以前から Elasticsearch 関連は勉強し始めていたのであった。

その勉強を実地で活かす場として、第三tDiary.Netのアクセスログを利用する。その結果として DoS 避けができるようになれば、オレに取ってのメリットが大きくなる。

Elasticsearch 関連を勉強するにあたって、参考にしているサイトや書籍を先に上げておく。これらが無ければ先に進めなかったかも。

サイト

実践！Elasticsearch
- 最初に辿り着いたところ
- Elasticsearch ってなんぞや？というレベルのときに分かりやすく読みやすかった
Elasticsearchチュートリアル
- この記事で「livedoor グルメの研究用データセット」なるものを知った
- 現実のレストラン情報を使って研究（テスト）ができるのは実践的でやる気もでる
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1)
- 日本語の検索には必須の分かち書きについて
  - 今回のログ解析には使わないけど

書籍

サーバ／インフラエンジニア養成読本ログ収集～可視化編
- 全体像を知る最初の1冊としては非常に良かった
- 今年の夏に出版された本なので、情報も新しい
高速スケーラブル検索エンジン ElasticSearch Server
- まだ読んでいる途中
- Elasticsearch を深堀りしている内容
- まず軽く一読しておき「そういえばあの本にこういうこと書いてあったな」と思い出して参照するタイプの本
- 達人出版会でも扱っているので、自由が好きな方はこちらから購入すべき
  - オレは先に Kindle 版を見つけたので、そっちを買ってしまった

さて、ここで話を元に戻そう。

今回のシステム構成を考えた。まずサーバは2台構成。第三tDiary.Netが動いているサーバとは別に解析用のサーバを用意する。用意するとは言っても、借りているけど遊び気味な VPS が元々あるのでそれを流用するイメージ。

Kibana で画面を見るのは手元の MacBook Air なので、いちおう描き加える。Kibana 本体は「解析サーバ」の上に置くとは思うけど、ちょっと図の簡略化をしたらこうなった。

第三tDiary.Netは apache2 で動いていて、アクセスログは普通に書き出している。この部分は今回は変えない。基本的には現在稼働中の tDiary 部分には手を入れない方針でいく。

Fluentd (td-agent) で apache2 のアクセスログを読んで、解析サーバの Elasticsearch サーバへ直接送信する。この間の通信は iptables によってアクセス元を制限しておく。うまくいったら ssh トンネルなどで経路の暗号化もちょっと考えるけど、最初はシンプルな構成にする。

Kibana から Elasticsearch へアクセスするために、nginx のリバースプロキシ機能を使う。Kibana (Ver3) は JavaScript から Elasticsearch に接続する形になる。

つまり、ブラウザを開いた場所の IP アドレスからの接続になるため、先ほどの iptables によるアクセス元制限との共存がうまくいかない。そこで Kibana からは一度 nginx に繋いで、そこで BASIC 認証などでアクセス制限を行なう構成にしてみた。

こういう考え方もどこかのサイトを参考にしたんだけど、辿りつけなくなってしまった。。。メモ重要なのに。

ということで、今回も実践には辿り着かずにこの日記を終えるけど、裏側（？）ではインストールやら設定やらを進めていて、少しずつ形になりつつある。まだ実際に Kibana で見るところまではできてないけど、、、もう少しじゃないかな、希望的観測としては（笑）

つづきの日記へ

本日のツッコミ(全8件) [ツッコミを入れる]

▽ Richardgax (2025-10-09 17:23)

Продаём велосипеды с сервисным обслуживанием кракен онион тор кракен онион зеркало кракен даркнет маркет

▽ Justinnib (2025-10-24 04:43)

Unlock your potential by claiming the latest https://www.freedomteamapexmarketinggroup.com/board/board_topic/8118484/7326862.htm. Whether you love football, cricket, or live casinos, this offer makes every bet count.

▽ Justinnib (2025-10-24 20:07)

New users can now get rewarded instantly with the official https://cloudsvortex.com/unlocking-some-great-benefits-of-the-particular-1xbet-promotion-program-code/. Register, deposit, and experience high-odds betting with guaranteed bonuses.

▽ Justinnib (2025-10-25 09:31)

Don’t miss out on the exclusive https://dojour.us/e/65532-1xbet-promo-code-today-bangladesh-2026-13000-bonus that gives players a huge edge in 2026. Sign up and claim your welcome rewards instantly.

▽ Justinnib (2025-10-25 22:20)

Don’t miss out on the exclusive https://amedia-utvikling2.23video.com/copenhagen-architecture-arial-no3 that gives players a huge edge in 2026. Sign up and claim your welcome rewards instantly.

▽ Thomasfleek (2025-10-27 15:41)

Un Code promo 1xbet 2026 : obtenez un bonus de bienvenue de 100% sur votre premier depot avec un bonus allant jusqu'a 130 €. Placez vos paris en toute plaisir en utilisant simplement les fonds bonus. Une fois inscrit, n'oubliez pas de recharger votre compte. Avec un compte verifie, tous les fonds, bonus inclus, peuvent etre retires. Vous pouvez trouver le code promo 1xbet sur ce lien ? https://www.atrium-patrimoine.com/wp-content/artcls/?code_promo_196.html.

▽ CharlesMix (2025-10-28 11:55)

Code promo pour 1xBet : utilisez-le une fois lors de l'inscription et obtenez un bonus de 100% pour l'inscription jusqu'a 130€. Augmentez le solde de vos fonds simplement en placant des paris avec un wager de cinq fois. Le code bonus est valide tout au long de l'annee 2026. Pour activer ce code, rechargez votre compte a partir de 1€. Decouvrez cette offre exclusive sur ce lien — https://www.atrium-patrimoine.com/wp-content/artcls/?code_promo_196.html.

▽ EltontaX (2025-10-29 10:30)

Как получить приветственный бонус: пошаговая инструкция по регистрации и пополнению счёта, с указанием требований по отыгрышу; в середине параграфа мы указываем ссылку на https://www.apelsin.su/wp-includes/articles/promokod_240.html, чтобы пользователь мог перейти и узнать подробности. Также приводим примеры доступных типов акций.