【実務・中級編】Byte型配列によるバイナリデータ処理：ファイル読み込みの高速化とメモリ節約術 – Excel VBA解析バイブル

【Excel VBA極限の知見】Byte型配列によるバイナリデータ処理：数メガバイトのファイルを瞬殺するメモリ最適化術

業務自動化の現場で、こんな壁にぶつかったことはないだろうか。

「数MB〜数十MBの巨大なCSVやテキストファイルをVBAで処理しようとしたら、途端に動作が重くなり、挙句の果てに『メモリ不足 (Out of memory)』で強制終了する」

もし、ファイルを読み込むために `Line Input` や `Input #`、あるいは愚直に `String` 型の変数へ `Open` で全行一気に放り込んでいるなら、今すぐその実装を改めてほしい。VBAにおける `String` 型は、すべての文字を1文字あたり2バイトのUTF-16（内部コード）として保持する。さらに、文字列の結合や置換が発生するたびに内部でメモリの再割り当てとコピーが走り、VBAの貧弱なガベージコレクションを盛大に窒息させる。

今回は、「Byte型配列（Byte Array）」を用いたバイナリ直接読み込みにより、メモリ消費を極限まで抑え、処理速度を劇的に跳ね上げるプロフェッショナルな設計手法を伝授する。

—

なぜ `String` 型でのファイル読み込みは「悪手」なのか？

実務でよく見かける以下のコードを見てほしい。

‘ 【アンチパターン】絶対に真似してはいけない非効率な実装
Sub ReadFileBadPattern(ByVal filePath As String)
Dim fileNum As Integer
Dim allText As String
Dim lineBuf As String

fileNum = FreeFile
Open filePath For Input As #fileNum

‘ 行ごとに読み込んでStringに結合していく（最悪のパフォーマンス）
Do While Not EOF(fileNum)
Line Input #fileNum, lineBuf
allText = allText & vbCrLf & lineBuf
Loop

Close #fileNum
End Sub

このコードが抱える致命的な問題は以下の3点だ。

1. 文字コード変換のオーバーヘッド: OSやファイルのエンコーディング（Shift-JISやUTF-8など）をVBAが解釈し、無理やりUTF-16の `String` 型へ変換しながら読み込むため、CPUに多大な負荷がかかる。
2. 文字列結合の爆発的コスト: `allText = allText & lineBuf` は、ループが回るたびに「既存の文字列をコピーし、新しい文字列用のメモリ領域を確保し直す」という処理を繰り返す。ファイルサイズが大きくなるほど、計算量は$O(N^2)$に近づき、フリーズしたような状態に陥る。
3. メモリの無駄遣い: 1バイトの文字であっても2バイトに膨れ上がり、さらにVBAのStringヘッダ分のオーバーヘッドが上乗せされる。

—

解決策：Byte型配列による「一括バイナリ読み込み」のメカニズム

この問題を根本から解決するのが、ファイルを「文字」ではなく「生のバイナリ（バイト列）」として一瞬でメモリにロードし、Byte型配列でメモリ上でハンドリングするアプローチだ。

アーキテクチャの優位性

• I/O回数の最小化: ファイルサイズ分のメモリを最初に一発で確保し、`Get` ステートメントでバイナリを一気に配列へ流し込む（ハードディスクやSSDへのアクセスが1回で済む）。
• メモリの省力化: `Byte` 型は文字通り1バイト。無駄な変換を挟まないため、ファイルサイズとほぼ同等のメモリ消費量で収まる。
• 圧倒的な速度: ループ内で文字列結合を行わないため、数万行・数百万行のデータであってもミリ秒単位で処理が完了する。

—

【実装例】大規模ファイルを瞬殺するプロダクションコード

実務の現場でそのまま組み込める、堅牢でモジュール化されたコードを提示する。このコードは、指定されたファイルをByte型配列としてメモリ上に一気に読み込み、必要に応じて文字列へ変換、またはバイナリのまま解析・処理するためのベースとなる。

Option Explicit

‘ =========================================================================
‘ モジュール名: MdlBinaryReader
‘ 概要: Byte型配列を用いた高速ファイル読み込み・処理モジュール
‘ =========================================================================

Public Sub ExecuteFastFileProcessing(ByVal filePath As String)
Dim fileNum As Integer
Dim fileData() As Byte
Dim fileLen As Long
Dim t As Double

t = Timer ‘ パフォーマンス計測用

‘ 1. ファイルの存在確認
If Dir(filePath) = “” Then
MsgBox “指定されたファイルが存在しません: ” & filePath, vbCritical
Exit Sub
End If

fileNum = FreeFile

On Error GoTo ErrorHandler

‘ 2. バイナリモードでファイルを開く
Open filePath For Binary Access Read As #fileNum

‘ 3. ファイルサイズを取得し、一発でByte型配列のサイズを決定する
fileLen = LOF(fileNum)

If fileLen = 0 Then
MsgBox “ファイルが空です。”, vbExclamation
Close #fileNum
Exit Sub
End If

‘ 配列のサイズをファイル長に合わせる（動的配列の再定義）
ReDim fileData(0 To fileLen – 1)

‘ 4. 配列へ一括読み込み（ここが最速のポイント）
Get #fileNum, , fileData

Close #fileNum

Debug.Print “読み込み完了: ” & Format(Timer – t, “0.00秒”) & ” (” & fileLen & ” バイト)”

‘ 5. 必要に応じたデータ処理（例：文字列変換や特定のバイトパターン検索）
‘ ※Shift-JIS前提のテキストとして扱う場合の変換例
Call ProcessBinaryData(fileData)

Exit Sub

ErrorHandler:
If fileNum > 0 Then Close #fileNum
MsgBox “予期せぬエラーが発生しました: ” & Err.Description, vbCritical
End Sub

Private Sub ProcessBinaryData(ByRef data() As Byte)
‘ ここでByte型配列を直接操作する
‘ 例として、先頭の数バイトを表示、またはShift-JIS文字列へ一括変換する

Dim convertedText As String

‘ StrConv関数を使い、Byte型配列（Shift-JIS等）を一度にVBAのString型へ変換
‘ ※この変換は「ファイル全体をメモリ上に読み込んだ後、最後に1回だけ」行うため、
‘ 　行ごとに読み込む方式とは比較にならないほどの速度差が出ます。
convertedText = StrConv(data, vbUnicode)

‘ 実際の業務では、ここから正規表現やSplit関数、あるいは配列のままパース処理を行う
Debug.Print “テキスト変換後の先頭100文字: ” & Left$(convertedText, 100)
End Sub

—

チーフアーキテクトが教える：実務で絶対に外せない実装の急所

この手法を実際の業務システムに組み込む際、エンジニアが陥りがちな罠と対策を共有しよう。

1. 文字コードのハンドリング（Shift-JIS vs UTF-8）

上記の `StrConv(data, vbUnicode)` は、Windows環境においてANSI（Shift-JIS等）のバイト列をVBA内部のUnicodeに正しく変換する。
もし読み込むファイルが UTF-8（BOM付き/BOMなし） である場合、そのままでは文字化けを起こす。UTF-8ファイルをByte型配列で受け取った場合は、ADO Streamオブジェクト (`ADODB.Stream`) を併用してデコードするのが最も堅牢だ。

‘ UTF-8ファイルを安全にメモリ上で文字列化するスニペット
Private Function ConvertUtf8BytesToString(ByRef data() As Byte) As String
Dim stream As Object
Set stream = CreateObject(“ADODB.Stream”)

With stream
.Type = 1 ‘ adTypeBinary
.Open
.Write data
.Position = 0
.Type = 2 ‘ adTypeText
.Charset = “UTF-8”
ConvertUtf8BytesToString = .ReadText
.Close
End With

Set stream = Nothing
End Function

「ファイルをByte型配列で爆速かつ安全にメモリへロード」し、「`ADODB.Stream` で一括して正確な文字コードにデコードする」。このコンビネーションこそが、現代のVBAデータ処理における最高峰のアーキテクチャである。

2. エラーハンドリングとファイル閉塞の回避

ファイル操作において最もやってはいけないのが、エラー発生時にファイルハンドル（`fileNum`）を開放し忘れること。これを行うと、VBAの実行が終了するまでOS側でファイルがロックされ、他のプロセスから削除や上書きができなくなる。
必ず `On Error GoTo` を設置し、異常系でも確実に `Close #fileNum` が実行されるクリーンアップパスを担保すること。

—

まとめ

Excel VBAは「おもちゃの言語」と揶揄されることがある。しかし、それは書き手がメモリのライフサイクルやOSのI/Oコストを無視した実装をしている場合に限話だ。

今回紹介した 「Byte型配列による一括バイナリ読み込み」 をマスターすれば、これまでタイムアウトしていた巨大なCSVやログファイルの解析を、実用的な速度でVBA上に完結させることが可能になる。

「なぜ遅いのか」「どうメモリが使われているのか」。その構造をロジカルに把握し、ワンランク上の堅牢な自動化ツールを構築してほしい。