【実務・中級編】【CSV データの正規化】ADODB.Connection (Microsoft Text Driver) を用いた SQL による CSV データの結合と集計 – VBScript (Visual Basic Scripting Edition)解析バイブル

スポンサーリンク
スポンサーリンク

CSV処理のパラダイムシフト:FileSystemObjectを捨て、SQLでデータを支配せよ

業務自動化の現場で、多くのエンジニアが陥る「低レベルな罠」がある。それは、CSVファイルの加工を「1行ずつ読み込み、Split関数で分割し、配列や連想配列に格納して、二重ループで突合させる」という、命令型プログラミングの泥沼に足を踏み入れることだ。

もし君が、数万行を超えるCSVの結合(JOIN)や集計(GROUP BY)を、`FileSystemObject` と `For Each` ループで実装しようとしているなら、今すぐその手を止めろ。それは計算量が $O(n \times m)$ の地獄への片道切符であり、メンテナンス性を著しく低下させる、極めて非効率な設計だ。

我々プロフェッショナルが選ぶべき道は、「データをファイルとしてではなく、テーブルとして扱う」こと。すなわち、`ADODB.Connection` を介して Microsoft Text Driver を叩き、SQLの宣言的な力でデータを一括操作する手法だ。

本稿では、Excelすら介さず、VBScript単体で高速かつ堅牢にCSVデータを正規化・結合するための、極限の設計思想を伝授する。

1. 設計思想:フォルダを「データベース」、CSVを「テーブル」と定義せよ

`ADODB.Connection` の Text Driver を利用する際、最も重要な概念の転換はこれだ。

  • データベース(DB) = CSVファイルが格納されている 「フォルダ」
  • テーブル(Table) = フォルダ内にある個々の 「CSVファイル」

この設計を理解していれば、SQLの `FROM` 句にファイル名(拡張子抜き)を指定するだけで、ファイル間の `INNER JOIN` や `LEFT JOIN` が可能になる。ファイル I/O のオーバーヘッドを最小限に抑え、データ操作のロジックを「ループ」から「クエリ」へと昇華させる。これが、スケーラブルな自動化ツールの第一歩だ。

2. 致命的な落とし穴:データ型推論の罠と `Schema.ini` の重要性

ここで、初学者が必ず遭遇する「バグ」について触れておく。Text Driver は、CSVの先頭数行をスキャンして、各列のデータ型(数値か文字列か)を勝手に推論する。

もし、ある列の最初の10行が数値で、11行目に「NULL」や「欠損値」が含まれていた場合どうなるか? Driver はその列を「数値型」と誤認し、文字列の出現時にエラーを吐くか、データを切り捨てる。これはプロダクション環境においては「致命的なデータ欠損」を意味する。

「推論に頼るな。型は明示せよ。」

これを解決するのが `Schema.ini` ファイルだ。CSVと同じディレクトリに、列の型とフォーマットを定義した設定ファイルを配置する。これができて初めて、君のツールは「動くスクリプト」から「信頼に足るシステム」へと進化する。

3. 実装例:堅牢なCSV結合・集計エンジン

以下のコードは、`Users.csv`(ユーザー情報)と `Orders.csv`(注文情報)を結合し、ユーザーごとの合計注文金額を算出する実戦的な構成だ。

準備:ディレクトリ構造

C:\Automation\Data\
  ├─ Schema.ini          <-- 型定義(重要!)
  ├─ Users.csv           <-- [UserID, UserName]
  └─ Orders.csv          <-- [OrderID, UserID, Amount]

プロダクションコード (VBScript)

'**
' Script: CSV_SQL_Engine.vbs
' Description: ADODBを用いたCSVデータの高速結合・集計
' Author: Chief Architect
'**
Option Explicit

' 定数定義:マジックナンバーを排除し、保守性を高める
Const DB_PATH = "C:\Automation\Data\"
Const CONN_STR = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & DB_PATH & ";Extended Properties='text;HDR=YES;FMT=Delimited';"

Dim conn, rs, sql

' メイン処理の実行
Call ExecuteDataProcessing()

Sub ExecuteDataProcessing()
    On Error Resume Next ' エラーハンドリングの開始

    ' 1. Connection オブジェクトの生成
    ' オブジェクトのライフサイクル管理を徹底すること
    Set conn = CreateObject("ADODB.Connection")
    
    ' 2. 接続の確立
    conn.Open CONN_STR
    
    If Err.Number <> 0 Then
        MsgBox "DB接続エラー: " & Err.Description, vbCritical, "Fatal Error"
        Exit Sub
    End If

    ' 3. SQLクエリの構築
    ' JOINとGROUP BYを組み合わせ、VBScript側での計算を極限まで減らす
    ' Users.csv と Orders.csv を UserID で結合し、ユーザー毎の合計金額を集計
    sql = ""
    sql = sql & "SELECT U.UserID, U.UserName, SUM(O.Amount) AS TotalAmount "
    sql = sql & "FROM [Users] AS U "
    sql = sql & "INNER JOIN [Orders] AS O ON U.UserID = O.UserID "
    sql = sql & "GROUP BY U.UserID, U.UserName "
    sql = sql & "ORDER BY SUM(O.Amount) DESC;"

    ' 4. Recordset の取得
    Set rs = conn.Execute(sql)

    If Err.Number <> 0 Then
        MsgBox "SQL実行エラー: " & Err.Description, vbCritical, "Query Error"
        GoTo Cleanup
    End If

    ' 5. 結果の出力(実務ではここをファイル出力やDB書き込みに置き換える)
    WScript.Echo "--- 集計結果 ---"
    Do Until rs.EOF
        WScript.Echo "ID: " & rs.Fields("UserID").Value & _
                     " | Name: " & rs.Fields("UserName").Value & _
                     " | Total: " & FormatNumber(rs.Fields("TotalAmount").Value, 0)
        rs.MoveNext
    Loop

Cleanup:
    ' 6. リソースの解放(メモリリークを防ぐための鉄則)
    If Not rs Is Nothing Then
        If rs.State = 1 Then rs.Close
        Set rs = Nothing
    End If
    If Not conn Is Nothing Then
        If conn.State = 1 Then conn.Close
        Set conn = Nothing
    End If
    
    If Err.Number <> 0 Then
        WScript.Echo "予期せぬエラーが発生しました: " & Err.Description
    End If
End Sub

必須:`Schema.ini` の記述例

このファイルを `Users.csv` と同じ場所に置くことで、型推論の不安定さを完全に排除する。

[Users.csv]
Format=CSVDelimited
ColNameHeader=True
Col1=UserID Integer
Col2=UserName Text

[Orders.csv]
Format=CSVDelimited
ColNameHeader=True
Col1=OrderID Integer
Col2=UserID Integer
Col3=Amount Currency

4. アーキテクトからのアドバイス:運用における注意点

この手法を実務に投入する際、以下の3点を設計指針に含めておくこと。

1. エンコーディングの制約
Microsoft Text Driver は、基本的に Shift-JIS (ANSI) を前提としている。UTF-8 の CSV を扱う場合、BOM(Byte Order Mark)の有無によって挙動が変わる。現代的なシステムから UTF-8 で出力される場合は、事前に VBScript 側で Shift-JIS へ変換するか、PowerShell 等を介して前処理を行う設計にせよ。

2. ファイルロックの回避
`ADODB.Connection` でファイルを開いている間、そのファイルはプロセスによってロックされる。集計処理中に他のプロセスがその CSV を上書きしようとすると、エラーが発生する。長時間実行されるバッチ処理の場合は、ファイルを一時ディレクトリにコピーしてから処理を行う「隔離戦略」を推奨する。

3. パフォーマンスの限界
この手法は、数百万行規模のデータに対しては、本物の RDBMS(SQL Server や PostgreSQL)には及ばない。しかし、数万行程度の「Excelを開くには重すぎるが、DBを立てるほどではない」というミドルレンジの領域において、これほど軽量かつ強力な武器は他にない。

結論

`FileSystemObject` による泥臭いループ処理を卒業し、SQLによる宣言的なデータ操作へ移行せよ。`ADODB` と `Schema.ini` を使いこなすことは、単なるテクニックの習得ではない。それは、「データを構造的に捉え、計算コストを最小化する」という、エンジニアリングの本質への到達である。

次に君が CSV を扱うとき、そのコードには `For Each` ではなく `SELECT` が書かれていることを期待する。

タイトルとURLをコピーしました