codeなにがし: mikedaが投稿したソースコード・ノウハウッ！の一覧

PerlでCSVファイルの変換

2008-09-07T21:54:54+09:00

仕事でCSVファイルのフォーマットを変換するスクリプトを書くことになりました。こんなふうにすれば簡単かなとPerlの汎用的な設計を思い浮かべたのですが、「だれでも読めるように書いてね。要するにPerlじゃなく普通のコマンドを並べて。」と言われて断念（基本インフラ屋なもので）。でもせっかくなのでこういう感じでやろうとした、というのをこっちにのせてみます。今回はサーバのリソース情報を格納したCSVファイルを考えます。１行目にヘッダ行、2行目以降がデータ行です。元ファイルには時間、CPUアイドル率、メモリ、スワップ、ディスク使用量（MBtye)が並んでます。 TIME,CPU_Idle,Memory_Used,Swap_Used,Disk_Used 00:00,100,100,2000,1000 00:30,90,200,3000,1500 01:00,80,300,4000,2000 これを時間、CPU、メモリ、ディスク使用率を格納したCSVファイルに変換します。（メモリとディスクの容量は1G,10G) TIME,CPU_Util,Memory_Util,Disk_Util 00:00,0,9.765625,9.765625 00:30,10,19.53125,14.6484375 01:00,20,29.296875,19.53125 変換テーブルとして1行目に新しいヘッダ行、２行目に変換式を並べたファイルを準備します。 TIME,CPU_Util,Memory_Util,Disk_Util $TIME, 100-$CPU_Idle, $Memory_Used/2**10*100, $Disk_Used/(10*2**10)*100 で、使いかたはこう。 $ ./conv_csv.pl conv_table < old.csv > new.csv 実際は複数ファイルを同時に読み込んで行の対応に２カラムをキーとする、けっこう複雑なデータ構造だったのですが、入力データ構造と変換テーブルさえ変えれば対応できるかなと。どちらにせよ今の書き方だとヘッダのカラム名にPerlの変数命名規則が適用されちゃうので苦しいですね。(CPU_UtilはいいがCPU-Utilは不可) CSVファイルの扱いかたはテキトウなのでマネすると危ないです。台北猫々さんの投稿やこのへんみておくと事故確率が減るやも。 http://blog.livedoor.jp/dankogai/archives/50765677.html

Perlでforkを用いてプロセスを生成

2008-07-12T02:01:51+09:00

perl版、基本のみを。 CやPythonと同じように、forkすると子プロセスに0が、親プロセスに子プロセスのPIDが返ってきます。そしてexecで変身したりデーモンにしたり・・・

perlで配置ディテクトリに依存しないスクリプトを書く

2008-07-07T21:30:54+09:00

perlでも。設定ファイルやライブラリをこのように外出しした場合。 /home/mikeda/src_dir/ ├─etc/ │　└─try_env.pl ├─lib/ │　└─try_lib.pl └─bin/ 　　└─try.pl require "../etc/try_env.pl"; require "../lib/try_lib.pl"; と相対指定するとbinディレクトリにcdしてからじゃないとエラーになるし # cd /home/mikeda/bin # perl try.pl =>成功 # cd # perl /home/mikeda/bin/try.pl =>失敗コードにフルパス書くとディレクトリ移動やリネームのたびにコード書き直さないといけない。回避するには use FindBin qw($Bin); で$Binにスクリプトのディレクトリパスが入るので、cdするかそこを起点にパス指定します。モジュール読み込みの場合はrequire "$Bin/../lib/~~"じゃなく use lib "$Bin/../lib"; です。

シェルスクリプトで配置ディテクトリに依存しないスクリプトを書く

2008-07-07T21:29:40+09:00

shで設定ファイルやライブラリをこのように外出しした場合を考えます。 /home/mikeda/src_dir/ ├─etc/ │　└─try.env ├─lib/ │　└─try.lib └─bin/ 　　└─try.sh 実行スクリプトtry.shで相対パスで設定ファイルを読み込もうとすると . ../etc/try.env . ../lib/try.lib binディレクトリにcdしてからじゃないとちゃんと動きません。 # cd /home/mikeda/scr_dir # sh try.sh =>正常に動作 # cd # sh /home/mikeda/bin/try.sh /home/mikeda/bin/try.sh: line 2: ../etc/env: No such file or directory かといってフルパスで指定するとベースディテクトリを移したりリネームするたびにコードの修正が必要となります。これを回避するには実行スクリプト自身のパスの入った$0からディレクトリを抜き出してcdするなり変数に格納するなりします。

C言語で外部プログラムを実行し、結果を取得する（UNIX)

2008-06-19T20:04:38+09:00

たまにはシリーズものに乗っかってみよう、というわけでC言語版です。エラー処理は全く書いてないのでご注意を。 fork版もそのうち・・・？

カードをシャッフルする

2008-06-17T16:55:17+09:00

ソートについて書いたので小ネタをもう１つ。それぞれに1から10までの数値が書かれた10枚のカード。これをシャッフルするにはどうしたらいいでしょうか。 1から10までの乱数を作ってまだ出てない数値だったら出力、を繰り返す。なんてやってたら数が多くなると無駄ループが多くなってそうとう時間かかります。（可変長配列を使って抜き出した値を取り除き、乱数の幅を徐々に小さくすれば高速にできると思いますが。）簡単な方法はそれぞれに乱数をくっつけてその乱数でソートすることです。

ソートの安定性について

2008-06-16T14:51:37+09:00

perlのsort関数のソートアルゴリズムを調べたら・5.6以前は非安定なクイックソート・5.7以降は安定なマージソートでした。perlのバージョンを5.7以降から5.6以前に変更した場合、移植性の問題が発生する可能性があります。ソートの安定性は複数のソートキーを持つ複合的な型(構造体やオブジェクト)をソートする場合に問題になります。 re:Lax,ruby mikeda,perl ikdk,ruby taipei,ruby という名前と好きな言語を並べたcsvファイルがあったときに、まず名前でソートすると ikdk,ruby #1 mikeda,perl #2 re:Lax,ruby #3 taipei,ruby #4 となります。そしてもう一度、今度は好きな言語でソートしたときに mikeda,perl #2 ikdk,ruby #1 re:Lax,ruby #3 taipei,ruby #4 ruby好きの人の中でソート前の名前順が維持されるのが安定なソート、 mikeda,perl #2 taipei,ruby #4 ikdk,ruby #1 re:Lax,ruby #3 名前順が崩れてしまうのが非安定なソートです。 perlの4.6以前のような状況で安定なソートが欲しいときは・安定なソート関数を自作するか、モジュールを拾ってくる。・複数のソートの比較用関数を組み合せて１つの比較関数を作る。というわけで下側を書いてみました。まず好きな言語で比較して、同じだったら名前を比べる、というのが基本的な考え方です。つまりsortに渡す比較関数、これは比べる値が同じだったら0を返すように作るので、それをorで繋げて新しい比較関数を作ればいいだけだと。ちなみに他の言語の組込みソート関数のアルゴリズムは・C言語のqsort()は名前通り非安定なクイックソート・C++のSTLのsort()は非安定なクイックソート、stable_sort()は安定なマージソート・JAVAのjava.util.Arrays.sort()はプリミティブ型の場合は非安定なクイックソート、オブジェクト型の場合は安定なマージソート等々、徐々に安定なマージソートに以降してるようですね。メモリ容量の心配が少なくなってきたからでしょうか。