tech.guitarrapc.cóm

Technical updates

SumoLogicの紹介とLocalFileの日本語対応

Sumo LogicというSaaS型のログ収集、リテンション、解析クエリ提供のサービスがあります。

Sumo Logic | Next Generation Log Management & Analytics

日本語記事が少ないので概要を。 あと、LocalFileで日本語が化ける件をバグ報告をしたところ日本語表示が対応完了したので報告です。

SumoLogicの概要

日本語での紹介記事

具体的な使い方はまた機会があれば挙げますが、以下のページで紹介がされています。

利用会社例

日本での知名度、利用度は本当にWeb上に少なく、極めて残念です。 世界としてみると有名な企業も使っていますしどれだけ期待されているかは投資情報でも拾えます。

SumoLogicとは

このSumoLogicについて、概要だけ説明しておきます。

SumoLogic が行う事

ざっくりとあげます。

  • ログといわず、あらゆるテキスト データの収集、集約を行える
  • ブラウザ上からSumoLogicクエリ構文で検索/分析
  • 構文によりグループされた結果は、数値の羅列から棒/パイ/ロウソクなど各種チャートに変換も可能
  • 構文によりグループされた結果はDashBoardに置くことが可能、リアルタイムに数値を表示、反映
  • クエリは定期自動実行も可能で、結果件数に応じて、アラームメールを飛ばすことも可能
  • 定められた期間だけ収集/集約したログを保持し、期間を過ぎると破棄 (Retention)

つまり、 SumoLogicは、ログ収集、分析サーバーをSaaSとして提供するものと言えます。

※ perf結果 (Windows Performance Monitorのバイナリ結果) などテキストデータでない場合は、SumoLogicで扱うことはできません。

SumoLogic(SaaS) と オンプレミスの違い

この辺をどうぞ。

The Sumo Logic Cloud Service vs. On-Premise Solutions

Splunkの cloud解析サービス Splunk Stormとの比較

この辺、大事です。比較対象ですからね。

SumoLogicの契約形態

基本的には年間契約で、2つの要素で成り立ちます。

  • 日当たりの転送ログボリューム
  • リテンション期間(ログの保持期間)

日当たりの転送ログボリュームとは、月間で日当たりの利用ボリュームを均して契約以内ならそれ以上の請求がありません。 もし、均しても契約ボリュームを超えた場合は、+αがかかります。

詳しくはここを! シミュレータもありますよん。

What’s Your Pricing?

契約にあたっては、営業(英語ですがトテモできるAsia/Pacific担当) とメールや電話で交渉が出来ます。 とても柔軟、丁寧な対応ですので、ぜひ交渉してみてください。

SumoLogicの対象OS

SumoLogicは、ログを取り込む対象の事をCollectorと呼びます。 Collectorに対して、収集サービス(daemon) をインストールすることで、ログの更新に応じて自動的にログ収集されます。

Collectorも各種OSに対応しています。

Installing a Sumo Logic Collector

  • Linux (32bit/64bit)
  • Mac OSX
  • Solaris (32bit)
  • UNIX
  • Windows (32bit/64bit)

SumoLogicの対応アプリケーション

SumoLogicで、各Collector毎に収集するログを調整できます。 その取り込むログ設定をSourceと呼びます。

自分でクエリを書かずとも、取り込んだSourceの解析パターンを用意しているアプリケーションがあります。 一覧はこちら。

Gain Instant Insight With Sumo Logic Applications

  • Active Directory
  • Adobe Connect
  • Adobe Experience
  • Akamai
  • Amazon Cloudfront
  • Amazon S3
  • Apache
  • Cisco
  • Collectd
  • Hyperguard
  • IIS
  • Linux
  • Mac OSX
  • OSSEC
  • Postfix
  • Sentiment
  • Snort
  • StatsD
  • VMware
  • Windows

例えば次のクエリでIISのw3cログをパースしてくれます。

_sourcecategory = iis
| parse using public/iis

※検証したところIISは、IIS7まででIIS8はまだ完全対応ではないようです。とはいっても些細なものですが。

Searches for the Microsoft IIS Parser

SumoLogicの取り込みソース

多くの取り込みソースがあります。

  • Linux SysLog
  • Windows EventLog
  • LocalFile
  • RemoteFile
  • ScriptFile

概要をサクッと。特にLocalFileが利便性高くよく利用されます。

Linux SysLog

LinuxのSysLogです。LinuxにCollectorをインストール時に特に指定しなければ自動的に取り込まれます。

  • Windows EventLog : Windows Event Log (System/Security/Application)。WindowsにCollectorをインストール時に特に指定しなければ自動的に収集
  • LocalFile : Linux/WindowsでCollector内の絶対パスで指定した先にある、あらゆるテキストファイル(*ワイルドカード指定可能) を収集
  • RemoteFile : Windowsなどで、そのCollectorから他のWindowsに指定した認証でログインしてUNCパスからファイルを収集。Collectorのインストールを絞れるメリットがある
  • ScriptFile : Scriptを指定することで、そのScriptの実行結果を収集

その他

時刻解析

Source設定1つでも、ログの時刻フィールドを自動解析して指定したTimeZone表示してくれます。 この解析パターンは、.NET標準とは違いますので、 C# などでログ出力する場合は気を付けてください。

What time stamp formats does Sumo Logic support?

Windows EventやLinux SysLogは、問題なく自動的に時刻解析がかかります。

サポート

英語です。質の高いサポートをWeb上で行っています。

これまで数度やり取りしていますが、技術的にもキッチリ回答返してくれて満足しています。 今回の日本語バグレポートもサポート経由で行いましたが、開発との連携も取れており、報告から状況のアップデート、相互確認などで一週間程度で事態が大きく進行しています。 英語で本当に助かりました。

LocalFileの日本語対応

今回、SumoLogicを国内で利用するにあたり、日本語検証などを行いました。

基本的に、SumoLogicはUTF-8Nエンコーディングで解析しています。

つまり、エンコーディングが正しいファイルなら日本語も本質的には問題ないはずですが、実際は化けるという症状がありました。 これに関してサポートへバグ報告、やり取りをした結果、Collectorに修正が入りました。 Collectorバージョン19.50でまずはLocalFileにおける日本語文字化けが解消されました。

LocalFileはUTF-8Nでエンコーディングすることで、日本語がSumoLogic上で表示されます。

※但しクエリ解析に日本語は現状使えないので気を付けてください。

Windows EventLogの日本語も現在サポートと対応中です。 解消時期が見えているので、解消が確認され次第報告します。

まとめ

ログ解析は身近に。SumoLogicはその準備を簡略化する優れたツールです。 利用者へ利用を促す際も、DashBoardなどを使うと「視覚から」と、guiのメリットもあります。 取り込んだログをハイライトすることで解析クエリに簡単反映できるのもいいです。

無料での試用期間もあるので、ぜひ試してみてください。

Sumo Logic Free - get started in minutes