tech.guitarrapc.cóm

Technical updates

トップ > Logging > SumoLogic の紹介と LocalFile の日本語対応

SumoLogic の紹介と LocalFile の日本語対応

Logging
Sumo Logic というSaaS型のログ収集、リテンション、解析クエリ提供 のサービスがあります。
Sumo Logic | Next Generation Log Management & Analytics
日本語記事が少ないので概要を。 あと、LocalFileで日本語が化ける件をバグ報告をしたところ日本語表示が対応完了したので報告です。

SumoLogicの概要

日本語での紹介記事

具体的な使い方はまた機会があれば挙げますが、以下のページで紹介がされています。
ログブラウズ、解析サービスSumologicの紹介 neuecc - Http, SQL, Redisのロギングと分析・可視化について

利用会社例

日本での知名度、利用度は本当にWeb上に少なく、極めて残念です。 世界としてみると、おっと思う企業も使っていますしどれだけ期待されているかは投資情報でも拾えます。
一挙公開！チャットワークを支える10の厳選ITツール&Webサービス The world’s leading enterprises leverage the Sumo Logic service to gain instant insight from Machine Data.

SumoLogicとは

このSumoLogic について、概要だけ説明しておきます。

SumoLogic が行う事

ざっくりとあげます。
  1. ログといわず、あらゆるテキスト データの収集、集約を行える
  2. Webブラウザ上から SumoLogic クエリ構文 で検索/分析を行う。
  3. 構文によりグループされた結果は、数値の羅列から 棒/パイ/ロウソクなど各種チャートに変換も可能
  4. 構文によりグループされた結果はDashBoardに置くことが可能、リアルタイムに数値を表示、反映
  5. クエリは、必要に応じて定期自動実行も可能で、結果件数に応じて、アラームメールを飛ばすことも可能
  6. 定められた期間だけ収集/集約したログを保持し、期間を過ぎると破棄 (Retention)
つまり、 SumoLogic は、ログ収集、分析サーバーを SaaS として提供するものと言えます。 ※ perf結果 (Windows Performance Monitorのバイナリ結果) などテキストデータでない場合は、SumoLogicで扱うことはできません。

SumoLogic(SaaS) と オンプレミスの違い

この辺をどうぞ。
The Sumo Logic Cloud Service vs. On-Premise Solutions

Splunkの cloud解析サービス Splunk Stormとの比較

この辺、大事です。比較対象ですからね。
Splunk introduces Storm…welcome to the cloud. Comparing Splunk and Splunk Storm with Sumo Logic

SumoLogicの契約形態

基本的には年間契約で、2つの要素で成り立ちます。
  • 日当たりの転送ログボリューム
  • リテンション期間(ログの保持期間)
日当たりの転送ログボリュームとは、月間で日当たりの利用ボリュームを均して契約以内ならそれ以上の請求がありません。 もし、均しても契約ボリュームを超えた場合は、+αがかかります。 詳しくはここを！シミュレータもありますよん。
What’s Your Pricing?
契約にあたっては、営業(英語ですがトテモできるAsia/Pacific担当) とメールや電話で交渉が出来ます。 とても柔軟、丁寧な対応ですので、ぜひ交渉してみてください。

SumoLogicの対象OS

SumoLogicは、ログを取り込む対象の事を Collector と呼びます。 Collector に対して、収集サービス(daemon) をインストールすることで、ログの更新に応じて自動的にログ収集されます。 Collectorも各種OSに対応しています。
Installing a Sumo Logic Collector
  1. Linux (32bit/64bit)
  2. Mac OSX
  3. Solaris (32bit)
  4. Unix
  5. Windows (32bit/64bit)

SumoLogicの対応アプリケーション

SumoLogicで、各Collector毎に収集するログを調整できます。 その取り込むログ設定を Source と呼びます。 自分でクエリを書かずとも、取り込んだSourceの解析パターンを用意しているアプリケーションがあります。 一覧はこちら。
Gain Instant Insight With Sumo Logic Applications Active Directory Adobe Connect Adobe Experience Akamai Amazon Cloudfront Amazon S3 Apache Cisco Collectd Hyperguard IIS Linux Mac OSX OSSEC Postfix Sentiment Snort StatsD VMware Windows
例：
IISなら、 
_sourcecategory = iis
| parse using public/iis
で、iisのw3cログをパースしてくれるので楽です。 ※検証したところIISは、IIS7までで IIS8はまだ完全対応ではないようです。とはいっても些細なものですが。 Searches for the Microsoft IIS Parser

SumoLogicの取り込みソース

色々ですね。
  1. Linux SysLog
  2. Windows EventLog
  3. LocalFile
  4. RemoteFile
  5. ScriptFile
概要をサクッと。特にLocalFileが利便性高くよく利用されます。
Linux SysLog : Linux の SysLogです。Linuxに Collectorをインストール時に特に指定しなければ自動的に取り込まれます。
  1. Windows EventLog : Windows Event Log (System/Security/Application)です。Windowsに Collectorをインストール時に特に指定しなければ自動的に取り込まれます。
  2. LocalFile : LinuxでもWindowsでも、そのCollector内の絶対パスで指定した先にある、あらゆるテキストファイル(*ワイルドカード指定可能) を取り込めます。
  3. RemoteFile : Windowsなどで、そのCollectorから他のWindowsに指定した認証でログインして UNCパスからファイルを収集します。Collectorのインストールを絞れるメリットがあります。
  4. ScriptFile : Scriptを指定することで、そのScriptの実行結果を収集します。

その他

時刻解析

Source 設定一つでも、ログの時刻フィールドを自動解析して指定したTimeZone表示してくれます。 この解析パターンは、.NET標準とは違いますので、 C# などでログ出力する場合は気を付けてください。 What time stamp formats does Sumo Logic support? Windows Event や Linux SysLog は、問題なく自動的に時刻解析がかかります。

サポート

英語です。質の高いサポートをWeb上で行っています。 これまで数多のやり取りを行っていますが、技術的にも、適切な回答をキッチリ返してくれて満足しています。 今回の日本語バグレポートもサポート経由で行いましたが、開発との連携も取れており、報告から状況のアップデート、相互確認などで一週間程度で事態が大きく進行しています。 英語で本当に助かりました。

LocalFileの日本語対応

今回、SumoLogicを国内で利用するにあたり、日本語検証などを行いました。
基本的に、SumoLogicは UTF8N エンコーディング で解析しています。
つまり、エンコーディングが正しいファイルなら日本語も本質的には問題ないはずですが、実際は 化けるという症状がありました。 これに関してサポートへバグ報告、やり取りをした結果、Collectorに修正が入りました。 Collectorバージョン 19.50 でまずは LocalFileにおける日本語文字化けが解消されました。
LocalFileは UTF8N でエンコーディングすることで、日本語がSumoLogic上で表示されます。
[office src="https://skydrive.live.com/embed?cid=D0D99BE0D6F89C8B&resid=D0D99BE0D6F89C8B%211735&authkey=AGAaNff-nbZkdYA" width="314" height="28"] ※但しクエリ解析に日本語は現状使えないので気を付けてください。 Windows EventLog の日本語も現在サポートと対応中です。 解消時期が見えているので、解消が確認され次第報告します。

まとめ

ログ解析は身近に。SumoLogicはその準備を大幅に簡略化する優れたツールです。 利用者へ利用を促す際も、DashBoardなどを使うと「視覚から」と、guiのメリットもあるのでいいと思います。 取り込んだログをハイライトすることで解析クエリに簡単反映できるのもいいです。 無料での試用期間もあるので、ぜひ試してみてください。
Sumo Logic Free - get started in minutes