【大容量ファイルパース】StdIn / StdOut ストリームパイプライン処理による低メモリ消費ログ解析
開発現場でよくある悪夢の再現から話を始めよう。
「数GBあるサーバーのアクセスログから、特定のエラーコードが出力された行だけを抽出してほしい」
この要求に対し、平然と `Scripting.FileSystemObject` の `OpenAsTextStream` や `ReadAll` を使い、ファイルを丸ごとメモリ上にロードするコードを書くプログラマがいる。
結論から言おう。その設計は即座に破綻する。
VBScript（WSH）は32プロセスであり、利用可能なメモリ空間には厳格な制限がある。数GBのテキストファイルを一括読み込みすれば、OSのメモリを圧迫してスワップアウトを引き起こすか、あるいは代名詞である `Out of memory`（エラー 7）の例外を吐いてスクリプトは無残にクラッシュする。
今回は、VBScriptの真骨頂である `WScript.StdIn` と `WScript.StdOut` を駆使したストリームパイプライン処理 によって、メモリ消費量を極限まで抑え、ギガ級のログを秒速でパースするプロダクションコードを伝授する。
—
なぜ従来のファイル読み込みでは太刀打ちできないのか
多くのエンジニアが陥るアンチパターンを見てみよう。
‘ 【やってはいけないアンチパターン】
Set fso = CreateObject(“Scripting.FileSystemObject”)
Set file = fso.OpenTextFile(“C:\Logs\huge_server.log”, 1)
‘ ファイル全体を一つの巨大な文字列としてメモリにロードする（爆発の原因）
allText = file.ReadAll
file.Close
このアプローチの何が問題か。
1. メモリの二重・三重消費: ファイルサイズ以上のメモリ空間がVBScriptの内部文字列バッファとして要求される。
2. GC（ガベージコレクション）の非力さ: VBScriptのメモリ管理は世慣れたモダン言語ほど洗練されていないため、巨大オブジェクトの破棄時にメモリ断片化（メモリリーク様症状）を引き起こしやすい。
これを解決する唯一の解が、「全データをメモリに置かず、流れてきた1行をその場で処理して捨てる（ストリーミング）」 アーキテクチャである。
—
堅牢なストリームパイプライン設計の極意
WSHの `cscript.exe` は、標準入力（`StdIn`）と標準出力（`StdOut`）をサポートしている。これを利用すると、コマンドプロンプト上で以下のようなパイプラインを構築できる。
type huge_server.log | cscript //nologo parse_log.vbs “ERROR-503” > result.txt
このアーキテクチャのメリットは計り知れない。
- メモリ使用量が常に一定（O(1)の空間計算量）: 1行分の文字列バッファ（数十バイト〜数百バイト）しかメモリを消費しない。
- Unixライクな部品化: 他のコマンドとパイプで結合できるため、バッチ処理のパーツとして極めて高い再利用性を誇る。
—
プロダクションコード：極限メモリ最適化ログパーサー
実務でそのまま利用できる、堅牢性とパフォーマンスを極めたVBScriptコードを提示する。エラーハンドリング（特に文字コード起因のI/Oエラー対策）も網羅している。
‘ ==============================================================================
‘ Script Name: StreamLogParser.vbs
‘ Description: 標準入力から1行ずつストリーム読み込みし、指定キーワードに
‘ ヒットした行のみを標準出力へ流す（低メモリ消費・高速処理）
‘ Usage: cscript //nologo StreamLogParser.vbs “ERROR-503” < input.log > output.log
‘ ==============================================================================
Option Explicit
Sub Main()
‘ 1. 引数のバリデーション
Dim objArgs
Set objArgs = WScript.Arguments
If objArgs.Count < 1 Then
WScript.StdErr.WriteLine "[ERROR] 検索キーワードが指定されていません。"
WScript.StdErr.WriteLine "Usage: cscript //nologo StreamLogParser.vbs
WScript.Quit 1
End If
Dim targetKeyword
targetKeyword = objArgs(0)
‘ 2. ストリーム処理の実行
On Error Resume Next
Dim lineCount, matchCount
lineCount = 0
matchCount = 0
‘ WScript.StdIn.AtEndOfStream が True になるまで1行ずつ処理
Do While Not WScript.StdIn.AtEndOfStream
Dim currentLine
currentLine = WScript.StdIn.ReadLine
lineCount = lineCount + 1
‘ 3. 高速フィルタリング（InStrによる部分一致判定）
‘ ※ 大文字小文字を区別しない場合は InStr(1, currentLine, targetKeyword, vbTextCompare) を使用
If InStr(1, currentLine, targetKeyword, vbBinaryCompare) > 0 Then
WScript.StdOut.WriteLine currentLine
matchCount = matchCount + 1
End If
‘ 巨大ファイル処理時の進捗確認用（10万行ごとに標準エラーへ出力）
If (lineCount Mod 100000 = 0) Then
WScript.StdErr.WriteLine “[INFO] Processed ” & lineCount & ” lines…”
End If
Loop
‘ エラーハンドリングの評価
If Err.Number <> 0 Then
WScript.StdErr.WriteLine “[FATAL] I/Oエラーが発生しました: ” & Err.Description
WScript.Quit 2
End If
On Error GoTo 0
‘ 4. 処理結果のサマリーを標準エラー出力へ（標準出力はデータ配信用途のため分離）
WScript.StdErr.WriteLine “————————————————–”
WScript.StdErr.WriteLine “Complete. Total Lines: ” & lineCount & “, Matched: ” & matchCount
WScript.StdErr.WriteLine “————————————————–”
End Sub
‘ 処理のキック
Call Main()
WScript.Quit 0
—
現場でエンジニアが押さえておくべき実装上の注意点
このコードを実務のプロダクション環境に投入する際、プロフェッショナルとして知っておくべきハードウェア・OSレベルの知見を共有する。
1. 実行ホストは必ず `cscript.exe` を使うこと
GUI環境で動作する `wscript.exe` を使ってパイプライン処理を行うと、標準入出力（`StdIn` / `StdOut`）のストリームが正常に結線されず、スクリプトがハングアップするか即座にエラーとなる。必ず実行時は `cscript //nologo` を徹底させること。
2. 文字コード（BOM / UTF-16 / UTF-8）の罠
Windowsの標準的なコマンドプロンプトのパイプは、Shift-JIS（CP932）やOEMコードページ（CP437等）で動作することが多い。近年のサーバーログに多い UTF-8（BOMなし） などをそのまま `StdIn` で読み込むと、文字化けや予期せぬパースミスが起きる。
もし入力ファイルの文字コードが特殊な場合は、一度 `PowerShell` のパイプラインを挟むか、事前にマルチバイト変換を考慮したラッパーバッチを用意するのが定石である。
‘ 例: PowerShell経由でUTF-8ログを安全に流し込む場合
Get-Content -Encoding UTF8 huge_server.log | cscript //nologo StreamLogParser.vbs “ERROR” > result.log
3. 標準出力と標準エラーの分離（StdOut vs StdErr）
今回のコードでは、データ本体は `WScript.StdOut.WriteLine` で流し、進捗状況や件数などのメタ情報は `WScript.StdErr.WriteLine` に逃がしている。
これにより、後続のプログラムやリダイレクト先（`> result.log`）には純粋なログデータだけが書き込まれ、コンソール画面には進捗が表示されるという、Unixの哲学に則った堅牢なパイプライン設計が実現できる。
—
総括
VBScriptは「古い言語」として片付けられがちだが、OSのプリミティブな機能（WSHストリーム）を正しく理解して設計すれば、現代の大規模データ処理の現場においても、軽量かつノーコストで動く最強の自動化ツールに化ける。
メモリを浪費するコードでサーバーを圧迫するのは今日で終わりだ。ストリーム思考を体に叩き込み、スマートでエレガントな自動化システムを構築してほしい。
