MakingSenseofStreamProcessing / Using Logs to Build a Solid Data Infrastructure

Chapter 2 Using Logs to Build a Solid Data Infrastructure †

要約 †

• 第1章ではデータを一連のイベントとする考え方について検討した
  • 発生したことを追跡する（たとえば分析アプリケーションにおけるページビュー）
  • データベースの変更を記録する（イベントソーシング）

• しかし、ストリームがどのように見えるのか曖昧にしてきた
• この章ではストリームを詳しく見ていく
  • ログとして実装しなければならない
  • つまり、順序は固定、追記だけが可能な並びになる
  • （Apache Kafkaがこれを実現してる）

• イベントの順序は非常に重要
• 多くのシステム（AMQPやJMSメッセージキューなど）では順序が固定ではない
• ストリーム処理から少し離れて、データベースストレージエンジン、データベースレプリケーション、分散合意システムにおけるログについて説明する

• 他のコンピューティング分野で学んだことを、ストリーム処理に適用する
  • 堅牢で信頼性の高い、性能の優れたアプリケーションを構築するのに役立つ

• ログに深入りする前にいくつか動機となる話を紹介する
  • 大規模なアプリケーションでのデータ統合の複雑さ、とか
• あまり一般的ではないアプリケーション（データベースが複数ある）を扱っているなら、この章で紹介する考え方は役に立つ

担当者のつぶやき †

みんなの突っ込み †