VB.NET極限最適化：文字コード自動判定と`TextFieldParser`による大容量CSV/TSV超高速インポートの全技術
レガシーシステムの呪縛、そして日々の業務で押し寄せる「Shift_JISとUTF-8がカオスに混ざった数百万行のCSVファイル」。
これを文字化けさせず、かつメモリを枯渇させずに秒速でデータベースへ叩き込む――。この泥臭くも高度な要求に対し、プロのアーキテクトが持ち出すべき唯一解が、`.NET Framework`に標準で隠された秘宝、`Microsoft.VisualBasic.FileIO.TextFieldParser` である。
本稿では、レガシーとモダンが混交する現場を生き抜くシニアエンジニア向けに、文字コードの自動判定ロジックと、ガベージコレクション（GC）の波状攻撃をいなすメモリ管理の極意を、一切の妥協なくコード化して提示する。
—
1. なぜ標準の`StreamReader`やサードパーティ製ライブラリでは不十分なのか
古き良きVBA、そして初期のVB.NETから連綿と受け継がれてきたファイル入出力。大容量データを扱う際、以下の罠に直面した者は多いはずだ。
- 文字コードの壁: 取引先ごとにShift_JIS、BOM付き/無しUTF-8、さらにはEUC-JPが混在し、`StreamReader(path, Encoding.UTF8)` 固定では確実に例外（DecoderFallbackException）か文字化けが発生する。
- CSVの構文規則（RFC 4180）の悪夢: 単なる `String.Split(“,” )` では、フィールド内に含まれるカンマやダブルクォーテーション（例: `”東京都千代田区,1-1″`）のパースで必ず破綻する。
- メモリ肥大化の呪い: 数GBのファイルを `File.ReadAllLines()` で一気にメモリへロードすれば、LOH（Large Object Heap）の断片化を引き起こし、`OutOfMemoryException` でプロセスは即死する。
これらを一撃で解決するのが、`TextFieldParser` を用いたストリーミング処理と、BOM/マルチバイト文字を正確に看破するエンコーディング自動判定の融合である。
—
2. 文字コード自動判定のアルゴリズム
世の中には重厚長大検出ライブラリもあるが、業務システムにおいて必要なのは「Shift_JIS」と「UTF-8（BOM有無）」の確実な判定だ。
以下の実装では、ファイルの先頭数バイトを覗き見（Peek）し、BOMの有無をチェックした上で、UTF-8としての妥当性（不正なバイトシーケンスが含まれていないか）を検証する。判定できない場合は安全側に倒してShift_JIS（またはCP932）を採用する。
Imports System.IO
Imports System.Text
Imports Microsoft.VisualBasic.FileIO
Namespace Enterprise.DataImport
Public NotInheritable Class CsvImporter
‘ シングルトンまたは静的メソッド群としての設計
Private Sub New()
End Sub
”’
”’
Public Shared Function CreateAutoDetectReader(filePath As String) As StreamReader
‘ 既定のエンコーディングをShift_JIS (CP932: Windows環境の標準) に設定
Dim enc As Encoding = Encoding.GetEncoding(932)
‘ ファイルストリームを開く（共有読み取りモードでロック競合を防ぐ）
Dim fs As New FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.ReadWrite)
‘ 先頭バイトを解析するため、一時的なBinaryReaderを使用
Using br As New BinaryReader(fs, Encoding.Default, leaveOpen:=True)
Dim bomBytes = br.ReadBytes(4)
‘ BOMの判定
If bomBytes.Length >= 3 AndAlso bomBytes(0) = &HEF AndAlso bomBytes(1) = &HBB AndAlso bomBytes(2) = &HBF Then
enc = New UTF8EncoderWithBom(True) ‘ BOM付きUTF-8
ElseIf bomBytes.Length >= 2 AndAlso bomBytes(0) = &HFE AndAlso bomBytes(1) = &HFF Then
enc = Encoding.BigEndianUnicode
ElseIf bomBytes.Length >= 2 AndAlso bomBytes(0) = &HFF AndAlso bomBytes(1) = &HFE Then
enc = Encoding.Unicode
Else
‘ BOMがない場合、UTF-8の正当性を検証
fs.Position = 0
If IsValidUtf8(fs) Then
enc = New UTF8Encoding(False, True) ‘ BOMなしUTF-8 (厳密なフォールバック付き)
End If
End If
End Using
‘ ストリームの位置を先頭に戻してStreamReaderを構築
fs.Position = 0
Return New StreamReader(fs, enc, detectEncodingFromByteOrderMarks:=False, bufferSize:=65536)
End Function
”’
”’
Private Shared Function IsValidUtf8(stream As Stream) As Boolean
Using br As New BinaryReader(stream, Encoding.ASCII, leaveOpen:=True)
Dim buffer(4096) As Byte
Dim readLen As Integer
While True
readLen = br.Read(buffer, 0, buffer.Length)
If readLen = 0 Then Exit While
Dim i As Integer = 0
While i < readLen
Dim b = buffer(i)
Dim trailingBytes As Integer = 0
If (b And &H80) = &H0 Then
' 1バイト文字 (0xxxxxxx)
i += 1
Continue While
ElseIf (b And &HE0) = &HC0 Then
' 2バイト文字 (110xxxxx)
trailingBytes = 1
ElseIf (b And &HF0) = &HE0 Then
' 3バイト文字 (1110xxxx)
trailingBytes = 2
ElseIf (b And &HF8) = &HF0 Then
' 4バイト文字 (11110xxx)
trailingBytes = 3
Else
' 不正なヘッダバイト
Return False
End If
If i + trailingBytes >= readLen Then
‘ チャンクの境界をまたぐ場合は簡易的にOKとする（厳密な検証が必要ならバッファリングを拡張）
Exit While
End If
For j As Integer = 1 To trailingBytes
If (buffer(i + j) And &HC0) <> &H80 Then
Return False
End If
Next
i += (trailingBytes + 1)
End While
End While
End Using
Return True
End Function
—
3. `TextFieldParser` による大容量ストリーミングとメモリ管理の極意
文字コードの壁を突破したら、次は `TextFieldParser` を用いたパース処理だ。
ここで最も重要なのは、「巨大なリストに全行を溜め込まず、一定件数ごとにバルクインサート（一括登録）し、ガベージコレクタを味方につける」というメモリ戦略である。
以下のコードは、数百万行のCSVをメモリフットプリント数MB以下で安定稼働させるための実戦投入可能なデザインパターンである。
”’
”’
Public Shared Sub ProcessLargeCsv(filePath As String, batchSize As Integer, rowProcessor As Action(Of List(Of String())))
‘ 自動判定されたリーダーを取得
Using reader As StreamReader = CreateAutoDetectReader(filePath)
Using parser As New TextFieldParser(reader)
‘ CSVフォーマットの設定
parser.TextFieldType = FieldType.Delimited
parser.SetDelimiters(“,”) ‘ TSVの場合はvbTabを指定
parser.HasFieldsEnclosedInQuotes = True
parser.TrimWhiteSpace = False ‘ パフォーマンス維持のため無駄なトリムは避ける
Dim batchList As New List(Of String())(batchSize)
Dim lineCount As Long = 0
While Not parser.EndOfData
Try
Dim fields As String() = parser.ReadFields()
If fields IsNot Nothing Then
batchList.Add(fields)
lineCount += 1
‘ バッチサイズに達したら処理を委譲し、リストをクリア
If batchList.Count >= batchSize Then
rowProcessor(batchList)
batchList.Clear()
End If
End If
Catch ex As MalformedLineException
‘ 不正なフォーマットの行をスキップし、ログに記録して処理継続
System.Diagnostics.Trace.WriteLine($”[WARN] 不正な形式の行を検出 (Line {parser.LineNumber}): {ex.Message}”)
End Try
End While
‘ 剰余分の処理
If batchList.Count > 0 Then
rowProcessor(batchList)
batchList.Clear()
End If
End Using
End Using
End Sub
End Class
End Namespace
—
4. チーフアーキテクトからの実践的アドバイス：極限のチューニング
現場でこのアーキテクチャをデプロイする際、以下のポイントを押さえておくことで、パフォーマンスがさらに数倍跳ね上がる。
1. GC.Collectの誘惑に負けるな:
「メモリを解放したいから」とループ内で `GC.Collect()` を明示的に呼ぶ開発者がいるが、これは`.NET`のジェネレーションヒープのアルゴリズムを破壊し、最悪のパフォーマンスト低下（STW: Stop-the-Worldの頻発）を招く。`batchList.Clear()` や参照のスコープアウトによって、世代別GCに自然に回収させるのが定石である。
2. データベース連携時のバルクインサート:
`rowProcessor` の内部で1行ずつ `INSERT` 文を発行してはならない。必ず `SqlBulkCopy`（SQL Serverの場合）や、ADO.NETのトランザクションを用いたプレースホルダー一括実行を組み合わせること。I/Oのボトルネックを完全に排除できる。
3. 例外処理の粒度:
`MalformedLineException` をキャッチした際に処理を中断させるか継続させるかは業務要件次第だが、ミッションクリティカルなシステムでは「エラー行を別ファイルに退避させ、正常行だけはインポートを完遂する」ロジックを組み込むのが、真に強靭なシステムアーキテクチャというものである。
結び
古い技術と侮られがちなVB.NET、そして標準ライブラリ群であっても、そのライフサイクルと内部挙動を完全に掌握していれば、最新の言語や複雑な外部ライブラリに依存せずとも、エンタープライズ領域の過酷な要求に余裕で応えることができる。
道具のせいにするな。すべてはアーキテクトの腕次第だ。
