【テクニカル・上級編】【CSV データの正規化】ADODB.Connection (Microsoft Text Driver) を用いた SQL による CSV データの結合と集計 – VBScript (Visual Basic Scripting Edition)解析バイブル

スポンサーリンク
スポンサーリンク

宣言的データ操作への昇華:ADODB.Connectionを用いたCSVの「リレーショナル・プロセッシング」

多くの開発者が、CSVファイルの加工という任務を前にして、`FileSystemObject` (FSO) を用いた愚直な行ループの迷宮へと足を踏み入れる。一行ずつ `ReadLine` し、カンマで `Split` し、型変換の例外を恐れながら条件分岐を重ねる――。

断言しよう。それは「プログラミング」ではあっても、「アーキテクチャ」ではない。

データ量が増大し、結合(JOIN)が必要になった瞬間、そのコードはスパゲッティと化し、計算量は指数関数的に増大してシステムのパフォーマンスを食いつぶす。我々プロフェッショナルが取るべき道は、CSVを単なる「テキストの羅列」として扱うのではなく、「スキーマを持つリレーショナル・テーブル」として扱うことだ。

本稿では、Windows環境におけるレガシーかつ最強の武器の一つである `Microsoft Text Driver` を用い、VBScriptからSQLを用いてCSVを結合・集計する、極限のデータ加工テクニックを伝授する。

1. 思想の転換:命令型から宣言型へ

従来のFSOによる手法は「命令型(Imperative)」である。*「どうやって(How)一行ずつ読み、どうやって比較するか」*を記述する。これに対し、ADODBを用いたSQLアプローチは「宣言型(Declarative)」である。*「何が(What)欲しいのか」*を記述する。

`ADODB.Connection` を介して `Microsoft Text Driver` を呼び出すことで、OSのファイルシステム上に展開されたCSV群を、あたかも一つのデータベースのように操作できる。これにより、複雑な結合や集計演算を、エンジン側の最適化されたアルゴリズムに委ねることが可能になる。

2. 核心:Schema.ini による型定義の支配

Text Driverを利用する上で、最も致命的な落とし穴は「データ型の推論」だ。ドライバはファイルの内容をスキャンして型を推測するが、これは極めて不安定である。例えば、ID列の先頭が「0」である場合に数値型と誤認され、データが欠損する事象は日常茶飯事だ。

これを制御する唯一の手段が、CSVと同じディレクトリに配置する `Schema.ini` である。これこそが、CSVに「魂(スキーマ)」を吹き込む儀式だ。

Schema.ini の設計例

`Orders.csv` と `Customers.csv` がある場合、以下のように定義する。

[Orders.csv]
Format=CSVDelimited
ColNameHeader=True
Col1=OrderID Integer
Col2=CustomerID Integer
Col3=OrderDate Date
Col4=Amount Currency

[Customers.csv]
Format=CSVDelimited
ColNameHeader=True
Col1=CustomerID Integer
Col2=CustomerName Text
Col3=Region Text

この定義により、Text DriverはCSVを厳格なテーブルとして認識し、SQLにおける正確な型比較と演算を保証する。

3. 実装:極限のVBScriptアーキテクチャ

以下に、2つのCSVを結合し、地域(Region)ごとの売上合計を算出する、実戦的なスクリプトを示す。メモリ管理とオブジェクトのライフサイクルに細心の注意を払った実装である。

' ==============================================================================
' Script: CSV_Relational_Processor.vbs
' Purpose: ADODBを使用してCSVをテーブルとして扱い、高速な結合・集計を行う
' Author: Legendary Chief Architect
' ==============================================================================
Option Explicit

' --- 定数定義 ---
Const DRIVER_CONNECTION_STRING = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=%s;Extended Properties='text;HDR=YES;FMT=Delimited';"
' ※ Microsoft.Jet.OLEDB.4.0 (32bit) も利用可能だが、ACEプロバイダを推奨

Dim targetDir, connStr, objConn, objRS, sql

targetDir = "C:\Data\WorkDir" ' CSVが格納されているディレクトリ

' 1. Connection String の構築
' Data Sourceにはファイル名ではなく、ファイルが存在する「フォルダ」を指定するのが肝要
connStr = Replace(DRIVER_CONNECTION_STRING, "%s", targetDir)

On Error Resume Next

' 2. ADODB.Connection オブジェクトの生成とオープン
Set objConn = CreateObject("ADODB.Connection")
objConn.Open connStr

If Err.Number <> 0 Then
    WScript.Echo "CRITICAL ERROR: Connection failed. " & Err.Description
    WScript.Quit
End If

' 3. SQL文の構築 (Declarative Approach)
' Orders.csv と Customers.csv を CustomerID で結合し、Regionごとに集計
sql = "SELECT c.Region, SUM(o.Amount) AS TotalSales " & _
      "FROM [Orders.csv] AS o " & _
      "INNER JOIN [Customers.csv] AS c ON o.CustomerID = c.CustomerID " & _
      "GROUP BY c.Region " & _
      "ORDER BY SUM(o.Amount) DESC"

' 4. Recordset の実行
Set objRS = objConn.Execute(sql)

If Err.Number <> 0 Then
    WScript.Echo "CRITICAL ERROR: SQL Execution failed. " & Err.Description
    ' リソース解放へ
Else
    ' 5. 結果の出力(ここでは標準出力)
    WScript.Echo "Region, TotalSales"
    Do Until objRS.EOF
        WScript.Echo objRS.Fields("Region").Value & ", " & objRS.Fields("TotalSales").Value
        objRS.MoveNext
    Loop
End If

' 6. 徹底したリソース解放 (Object Lifecycle Management)
' COMオブジェクトの明示的な解放は、長時間稼働するWSHにおいてメモリリークを防ぐ絶対条件である
If Not objRS Is Nothing Then
    objRS.Close
    Set objRS = Nothing
End If

If Not objConn Is Nothing Then
    objConn.Close
    Set objConn = Nothing
End If

On Error GoTo 0

WScript.Echo "Process Completed Successfully."

4. アーキテクトの知見:パフォーマンスと堅牢性の極意

オブジェクトのライフサイクル管理

VBScriptにおける `Set obj = Nothing` は、単なる作法ではない。特にWSHをタスクスケジューラで長時間実行したり、ループ内で大量の接続を繰り返したりする場合、明示的な解放を怠ると、プロセスがメモリを食いつぶし、最終的にシステム全体の不安定化を招く。`Connection` を閉じるだけでなく、必ず `Nothing` を代入し、参照カウントをゼロに落とせ。

Excel不要という戦略的優位性

この手法の真価は、「Excelのインスタンスを一切立ち上げない」点にある。Excelのオートメーション(`CreateObject(“Excel.Application”)`)は、極めて重厚なプロセスであり、メモリ消費量も多く、バックグラウンドプロセスが残留するリスクも高い。
ADODBによるText Driver利用は、メモリフットプリントを最小限に抑えつつ、数万行規模のデータをミリ秒単位で処理する。これは、サーバーサイドでの自動化や、リソースの限られたレガシー環境において、決定的な差を生む。

エラーハンドリングの哲学

`On Error Resume Next` を安易に常用してはならない。エラーが発生した箇所で即座に検知し、`Err.Number` を確認して適切にクローズ処理へ誘導する。エラーを握り潰すことは、不整合なデータを生成する最大の要因である。

結論

CSVの操作を「文字列のパース」と捉えるか、「リレーショナルなデータ操作」と捉えるか。この視点の違いが、エンジニアとしての格の違いを決定づける。

`Schema.ini` で型を定義し、`ADODB` でSQLを叩く。この一連の流れをマスターした時、君の書くスクリプトは、単なる自動化ツールから、堅牢なデータ処理エンジンへと進化を遂げるだろう。

タイトルとURLをコピーしました