gnuplotの導入と、sarのグラフ作成例（2017-03-14）
sar の情報をグラフ化します。
同じ時間に別のリソースで何が起きているかを見るなら
やっぱり数値で見るより時系列のグラフにして並べると楽です。
なお、gnuplotのサンプル、使い方は gnuplot.info で見られます。
gnuplot のインストール†
gnuplotはグラフ作成に便利なフリーウェアです。
早速ですが、インストールしていきます。
（とりあえず、情報を見ます） # yum info gnuplot （インストールされて無かったので、インストールしました） # yum install gnuplot
そう、yum install して思い出したんですが、依存するパッケージが多いんです。
Install 1 Package (+24 Dependent packages)
（まだ GUI関連のパッケージが殆ど入っていないから、だろうか？）
今回はWebに繋がる環境なので、依存するものを自動で入れてもらえてホッとしています・・・
で、うちのCentOS 7環境に、
gnuplot 「4.6.2」 が入ったのですが、・・・何かがおかしい。
何かというと、「set format x '%H'」が正しく出ない。
%S（秒指定）で「%H(時間)」が出る？？
同じデータを別環境（Lubuntu）のgnuplot 5.0.3 でグラフ化すると、正しく出る・・・
・・・*1
結局、gnuplot.info のダウンロードから（sourceforge.net/projects/gnuplot/files/gnuplot から）
最新版を入れる事にしました。
とりあえず、さきほど入れた奴は消しました # yum remove gnuplot
結局、ソースコードから最新版をビルドします。
が、その前に２つほどパッケージを入れました。
私の環境だと、gd-devel が足りませんでした。
これは gnuplot を入れた後のエラーメッセージですが、
gnuplot> set terminal png
^
line 0: unknown or ambiguous terminal type; type just 'set terminal' for a list
WARNING: Plotting with an 'unknown' terminal.
No output will be generated. Please select a terminal with 'set terminal'.
これについては、
ソースから ./configure した時の、このメッセージが答えでした。
libgd-based png, jpeg, and gif terminals: no (see config.log)
libgd が無い or バージョンが古い場合に出るようです。
pngを使うために gd を追加します。
# yum install gd-devel
今度は ./configure 実行時のメッセージで、
以下のように png が使えるようになっているはずです。
libgd-based png, jpeg, and gif terminals: yes (with animated gif)
gdを入れるときにも依存パッケージはあるので、
やはりWebに繋がらない環境の場合はご注意を。
あと、私の環境では font が何も入っていませんでした。
フォント無しでも gnuplot は動くとは思いますが、
グラフ内で使える文字の制限やら、実行する時のWarningやらが嫌なので、
今回は liberation-font を入れる事にしました。
# fc-list （そもそも fc-list が無い場合は、fontconfig未導入かも その場合は「yum info fontconfig」など参照。）
fc-list の実行結果が空っぽだったので、入れました。
特にどのフォントでなければならないというのは無いと思います。
# yum install liberation-serif-fonts # fc-list （今度は何か入っていることを確認）
ようやく話がもどって、今度こそ gnuplot のインストールです。
前述のようにダウンロードしたファイルを確認して、展開して、ビルドします。
# sha1sum gnuplot-5.0.5.tar.gz （sourceforge の「i」アイコンから、sha1が見れるので、同じことを確認） # cd gnuplot-5.0.5 # ./configure # make # make check # make install
make check は何か沢山表示されて何が起こっているのか分かりませんでした。
（うちの環境はGUIが無いのでX11関連はとうぜん全abortなのだけど、結局checkはOK？NG？どっち？
make失敗した場合には、ちゃんとcheckが中断される仕様なのだろうか？）
ただ、チェック結果が詳細に表示されるので、失敗時の原因を探すときに便利かもしれません。
さておき、これで gnuplotを新しいものに差し替えました。
以下、実行できる＆バージョンが上がっていることも確認できました。
# gnuplot -V gnuplot 5.0 patchlevel 5
フォントのWarningについて（Could not find/open font when opening font "arial"）†
タイトルの通り、実行時に出るメッセージについてです。
Could not find/open font when opening font "arial", using internal non-scalable font
デフォルトの arialフォント を使おうとしたけどダメでした、と言っていますが、
これは
export GNUPLOT_DEFAULT_GDFONT=/usr/share/fonts/自分が持っているフォント.ttf
みたいに使用するフォントを環境変数指定すればＯＫです。
あるいは gnuplot時に
set term png font "使用するフォント"
など、
フォントを省略せず正しく指定するか。
余談ですが、
この件について少しコードを追ってみたのですが（term/gd.trm）
環境変数 GNUPLOT_DEFAULT_GDFONT が無ければ arial にハードコーディングされています。*2
エラーを見て、arial の代わりがあれば良いのか！？と勘違いして
フォントの設定 ~/.config/fontconfig/fonts.conf を作って*3
<alias> で arial を LiberationSerif で宣言したりしたけど
全く関係ありませんでした・・・
さておき・・・今回は自分用の環境だし、ソースも手元にあるので、直接書き換えます！
(gnuplot-5.0.5 にて) term/gd.trm で「"arial"」の部分（一カ所）を「"使いたいフォントのフルPATH"」にしてから make、 make install する。 フォントの一覧は「fc-list」コマンド等で確認できます。
これで環境変数無しで好きなフォントを使えます。
sarのグラフを描くshellの例†
ようやく、グラフが描けます。
そしてグラフ書くのも一苦労でした・・・gnuplot の書式やルールに慣れておらず。
でも、これでサンプルができたし今後はもう大丈夫、・・・な筈です！
以下、グラフの作成例です。
SAR_INPUT に sar -o で取得したファイルを、
SAR_OUTPUT に出力先の png ファイルを指定します。
#!/bin/sh
SAR_INPUT=/var/log/sa/sa10
SAR_OUTPUT=./sar_image.png
SAR_INFO="cpu usage"
export LANG=C # sar の時刻表示が日本語にならないようにする
# sar で欲しい情報を出力。今回は cpu なので -u オプションを使う。
# grep で取得する行
# egrep -vi で除外する行を指定する
# awk で一行目は項目名にする(BEGIN)、0.2fで小数点第２位まで出力。
sar -f $SAR_INPUT -u |\
grep all |\
egrep -vi '^$|average|Linux|CPU' |\
awk '
BEGIN{
printf("%s,%s,%s,%s\n", "date", "total", "user", "sys");
}
{
printf("%s,%0.2f,%0.2f,%0.2f\n", $1, 100-$8, $3, $5);
}
' |\
tee $0.tmp
# ファイル $0.tmp からグラフを描く。
# ヒアドキュメント(EOS～EOS)でコマンドを渡す。
gnuplot <<EOS
set terminal png
set datafile separator "," # 入力データの区切り指定。デフォルトはスペース
#set key outside left; # 凡例の位置
set output "$SAR_OUTPUT" # 出力先
set title "$SAR_INFO" # グラフタイトル
set xdata time # X軸が日時の場合は、それを伝える
set timefmt "%H:%M:%S" # 入力データの日時書式
set format x '%H:%M' # 出力グラフの日時書式
#set xrange [*:*] # 範囲指定 *:* は自動。
#set xrange ["00:00:00":"18:00:00"] # 時刻は "" で囲んで、入力書式に合わせる
#set xtics 3600
#set yrange [0:100]
plot "$0.tmp" using 'date':'sys' with line, \
"$0.tmp" using 'date':'user' with line, \
"$0.tmp" using 'date':'total' with line
# plot や replot などでグラフを描く
# using には X軸:Y軸 を指定する
# 入力の何列目か、あるいは入力一行目の項目名などで指定できる
# ファイル名 "-" で標準入力を指定できるが、
# 複数描くならば二本目以降エラーになるので注意
# (warning: Skipping data file with no valid points)
EOS
また、もし複数日にまたいでグラフ化する場合は、
sarの時刻書式（HH:MM:SS）では日付がないので、正しく処理されません。
（時系列に並び替えてグラフ化されて、日付がごっちゃになる）
そのため、gnuplot に渡す前にダミーの日付を書き足す必要があります。
（01/23:59:59、02/00:00:01 のように01/, 02/を付与してから、
それらを timefmt "%d/%H:%M:%S" で受け取る、など）
余談。Excelじゃだめなの？†
グラフ化する方法って、一長一短ですよね。
- gnuplot
早くて便利。ただし別途インストールが必要な場合が多い。
（客先環境や職場、間借りしている環境で導入できない）
あと、初心者は大抵の場合、泣く。*4
- CSV形式にしてから、Excel
結果報告が必要なら、データの整理分析ができるExcelは便利。
ただしデータが大量になると、Excelが固まる。
あと、手作業の魔力に魅入られる*5
- CANVASタグ（HTML5）
まだ使ったことが無いです。
CANVASタグ・・・あれ、HTMLで画像・・・TABLE？・・・TABLE！？
という訳で、次回が一番書きたかった内容です。
「gnuplot無しでグラフを描く」へ
うそ、ちゃんとしたやつも作りました。
- SVG & PATHタグ（HTML5）
「CSVファイルをJavaScriptでグラフ化」できます。
）