こんにちは！エンジニアチームの先輩です。
日々の業務で「大量のCSVファイルを取り込む必要があるけれど、文字化けするわ、処理は遅いわで困っている……」なんて悩んでいませんか？
Excelマクロ（VBA）の延長でVB.NETを書き始めた方や、レガシーなシステムと格闘している方にとって、文字コードの壁と大容量データの処理は最初の大きな難関です。
でも、大丈夫。ここをクリアすれば、あなたのVB.NETスキルは一段も二段もレベルアップし、どんな気難しいCSVファイルでも怖くなくなりますよ。今日は、Microsoftが用意してくれた秘宝`TextFieldParser`を使って、文字コードの自動判定と超高速処理を同時に実現する極意を伝授します！
—
なぜレガシーCSVの読み込みは一筋縄ではいかないのか？
実務で扱うCSVファイルは、私たちが優しく育てた綺麗なデータばかりではありません。
- 文字コードの混在: あるシステムは `Shift_JIS`（CP932）を吐き出し、別のシステムは `UTF-8（BOM付き・無し）` を吐き出す。
- 囲み文字（ダブルクォーテーション）と改行: フィールドの中に改行コードやカンマが混ざっていて、ただの `Line.Split(“,”)` では盛大にデータが崩壊する。
- メモリバカ食い: 数十万行もあるファイルを一度にメモリに読み込もうとして、`OutOfMemoryException`（メモリ不足エラー）でアプリがクラッシュする。
これらを自前で正規表現や文字コード判定ロジックを使って書こうとすると、無限のバグを生む地獄が待っています。
ここで登場するのが、.NET Framework / .NET Core に標準搭載されている `Microsoft.VisualBasic.FileIO.TextFieldParser` です。名前に「VisualBasic」とついていますが、中身はゴリゴリの強力な.NETクラス。これを使わない手はありません。
—
秘技：TextFieldParserによる爆速・安全インポートの全体像
まずは、実際に現場でそのままコピペして使える完全なコードを見てください。
今回は、「Shift_JISかUTF-8かを自動で判定し、メモリを枯渇させずに1行ずつストリーミング処理する」という、実務で最も求められる要件を満たした実装です。
Imports System.IO
Imports System.Text
Imports Microsoft.VisualBasic.FileIO
Public Module CsvImporter
‘ エントリポイント（実行サンプル）
Public Sub Main()
‘ 読み込むCSVファイルのパス
Dim targetFilePath As String = “C:\Data\sample_data.csv”
Console.WriteLine(“CSVの読み込みを開始します…”)
Try
‘ 高速・安全な読み込みメソッドの呼び出し
ReadCsvSafely(targetFilePath)
Console.WriteLine(“すべての処理が正常に完了しました。”)
Catch ex As Exception
Console.WriteLine($”エラーが発生しました: {ex.Message}”)
End Try
Console.ReadKey()
End Sub
”’
”’
”’ 対象のCSVファイルパス
Public Sub ReadCsvSafely(filePath As String)
‘ 1. ファイルが存在するかチェック
If Not File.Exists(filePath) Then
Throw New FileNotFoundException(“指定されたファイルが見つかりません。”, filePath)
End Sub
‘ 2. 文字コードを自動判定してストリームを開く（BOMの有無やShift_JISを綺麗に吸収）
Dim detectedEncoding As Encoding = GetFileEncoding(filePath)
Console.WriteLine($”[判定] 検出された文字コード: {detectedEncoding.WebName}”)
‘ 3. TextFieldParserの初期化
‘ Usingブロックを使うことで、処理終了後に確実にメモリやファイルロックを解放します
Using parser As New TextFieldParser(filePath, detectedEncoding)
‘ フィールドの区切り文字をカンマに設定（TSVの場合はvbTabを指定）
parser.TextFieldType = FieldType.Delimited
parser.SetDelimiters(“,”)
‘ フィールドがダブルクォーテーション等で囲まれていることを許可する
parser.HasFieldsEnclosedInQuotes = True
‘ 前後の空白を自動でトリムするかどうか（お好みで設定）
parser.TrimWhiteSpace = True
Dim rowCount As Long = 0
‘ 4. ファイルの終端まで1行ずつ安全に読み込む（メモリを圧迫しないストリーミング処理）
While Not parser.EndOfData
Try
‘ 現在の行のフィールドを文字列配列として取得
Dim fields As String() = parser.ReadFields()
‘ 行カウンタのインクリメント
rowCount += 1
‘ — ここからデータ処理（DB登録やログ出力など） —
‘ 例: 1行目のヘッダーをスキップしつつ、データを処理する
If rowCount = 1 Then
Console.WriteLine(“— ヘッダー行をスキップします —“)
Continue While
End If
‘ サンプルとして1列目と2列目のデータを出力
‘ Console.WriteLine($”行 {rowCount}: 1列目={fields(0)}, 2列目={fields(1)}”)
‘ ————————————————–
Catch ex As MalformedLineException
‘ 形式がおかしい行（ダブルクォーテーションの閉じ忘れなど）を検知した場合の例外処理
Console.WriteLine($”[警告] {rowCount}行目のフォーマットが不正です: {ex.Message}”)
‘ 必要に応じてエラーログに記録して処理を続行する
End Try
End While
Console.WriteLine($”総処理行数: {rowCount – 1} 行（ヘッダー除く）”)
End Using
End Sub
”’
”’
Private Function GetFileEncoding(filePath As String) As Encoding
‘ UTF-8 (BOM付き) をデフォルトのフォールバックとする
Dim enc As Encoding = Encoding.UTF8
Using fs As New FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.ReadWrite)
If fs.Length < 3 Then
Return Encoding.GetEncoding("shift_jis") ' 短すぎる場合はShift_JISとみなす
End If
Dim bom(2) As Byte
fs.Read(bom, 0, 3)
' UTF-8 BOMのチェック (EF BB BF)
If bom(0) = &hEF AndAlso bom(1) = &hBB AndAlso bom(2) = &hBF Then
Return New UTF8Encoding(True) ' BOM付きUTF-8
End If
' 簡易的なUTF-8チェッカー（厳密な判定が必要な場合はライブラリ等も検討）
' ここではBOMなしUTF-8かShift_JISかを判定するため、ファイル全体をスキャンするかCP932に落とし込む
' 日本のレガシー環境ではShift_JISが多いため、判定できない場合はCP932をデフォルトにするアプローチも堅実です。
End Using
' 実務上、Shift_JIS (CP932) のファイルを安全に扱うおまじない
' ※ .NET Core / .NET 5+ では事前に CodePagesEncodingProvider の登録が必要な場合があります
Encoding.RegisterProvider(CodePagesEncodingProvider.Instance)
Return Encoding.GetEncoding(932) ' Shift_JIS (CP932)
End Function
End Module
---
ギークな視点でコードの注目ポイントを解説しましょう。
1. なぜ `File.ReadAllLines` や `String.Split` を使ってはいけないのか？
初学者がやりがちなのが、`File.ReadAllLines(“path.csv”)` で全行をメモリに読み込み、ループして `Line.Split(“,”)` で割る方法です。
これには2つの致命的な欠点があります。
- メモリ爆食い: 500MBのCSVファイルを開こうとすると、.NETの文字列オブジェクトのオーバーヘッドにより、数GBのメモリが一瞬で消え去り、アプリがクラッシュします。
- 区切り文字パースの破綻: データの中に `”東京都千代田区霞が関, 1-2-1″` のように、カンマを含むフィールドがある場合、単純な `Split(“,”)` では住所が真っ二つに裂けてしまいます。
`TextFieldParser` は、ストリーミング方式（1行ずつ読み捨てていく方式）を採用しているため、何GBある巨大なCSVファイルでも、メモリ消費量は常に一定（数KB程度）で安全に処理できます。さらに、囲み文字（Quotes）のルールを自動で解釈して正しく分割してくれます。
2. `Using` ステートメントの重要性（リソース管理の鉄則）
プログラミング初学者が一番ハマる罠が、「ファイルが他のプロセスによって使用されています（FileUsedException）」というエラーです。
`TextFieldParser` は内部でファイルのストリームを占有し続けます。処理が終わった後に確実に閉じて（Disposeして）解放しなければ、次に同じファイルを開いたときに怒られます。
コード内の `Using parser As New TextFieldParser(…)` は、「このブロックを抜けたら、例外が出ようが何しようが絶対にメモリとファイルロックを解放しなさい」という .NET の強力な自動クリーンアップの仕組みです。これを使えばリソースリークとは無縁になれます。
3. 文字コードの罠（Shift_JIS と CP932 の違い）
日本国内のレガシーシステムから出力される「Shift_JIS」の多くは、実はマイクロソフト独自の拡張文字（NEC選定IBM拡張漢字など）が含まれている `CP932` です。
純粋な `Encoding.GetEncoding(“shift_jis”)` を指定すると、丸つき数字や機種依存文字に出会った瞬間に文字化け、あるいは例外が発生します。
現代の .NET (特に .NET Core / .NET 6 / 8 等) では、デフォルトで Shift_JIS が使えないようになっているため、冒頭で以下のコードを実行してコードページのプロバイダを登録するのがプロの作法です。
Encoding.RegisterProvider(CodePagesEncodingProvider.Instance)
これをしておけば、日本国内のレガシーCSVで文字化けに悩まされることはほぼなくなります。
—
陥りがちなエラーと回避のチェックリスト
1. 「 `TextFieldParser` が見つからない」というエラーが出る場合
- 原因: 名前空間がインポートされていない、またはプロジェクトの参照が足りない可能性があります。
- 対策: コードの先頭に `Imports Microsoft.VisualBasic.FileIO` を記載してください。.NET Core / .NET 5+ の環境では、プロジェクトファイル（.vbproj）に Microsoft.VisualBasic アセンブリへの参照が含まれていることを確認してください。
2. `MalformedLineException` が発生して処理が止まる
- 原因: CSVの途中でダブルクォーテーション (`”`) のペアが崩れている行があります。
- 対策: サンプルのように `Try…Catch` で囲み、エラー行をスキップしてログに記録することで、全体の処理が止まるのを防げます。
—
まとめ
いかがでしたでしょうか？
Visual Basic (VB.NET) の `TextFieldParser` は、レガシーなCSV地獄から私たちを救い出してくれる、極めて強力で洗練されたクラスです。
- 大容量データには `TextFieldParser` によるストリーミング処理を使う
- 文字コードは `CP932` (Shift_JIS) と `UTF-8` を環境に合わせて的確に指定する
- `Using` を使ってリソースを確実に管理する
ここをクリアしたあなたなら、もうマクロの記録の延長線上のコードから完全に卒業し、胸を張って「プロの業務自動化エンジニア」と名乗ることができますよ。
現場での実装に、ぜひこの知見を役立ててくださいね！
