【VB.NET極意】巨大データも怖くない！`Iterator`と`Yield`で実現する「メモリを食い潰さない」プログラミングの魔法
こんにちは。現場の設計から自動化の仕組みづくりまで、日々コードと向き合っているエンジニアです。
皆さんは、プログラミングをしていてこんな経験はありませんか？
「数万行あるCSVファイルを読み込もうとしたら、アプリが突然『応答なし』になった」
「大量のデータを処理しようとしたら、`OutOfMemoryException`（メモリ不足エラー）が出て止まってしまった」
もし、あなたがマクロの記録や、単純な`For`ループから一歩踏み出そうとしているなら、それはあなたが「データの扱い方」という大きな壁に直面している証拠です。でも、安心してください。その壁を軽々と飛び越える、魔法のようなキーワードがVB.NETには用意されています。
今日は、プロの現場で必須となる`Iterator`と`Yield`という技術について、その仕組みと極意を伝授します。ここをマスターすれば、あなたの作るアプリケーションの安定性は劇的に向上しますよ。
1. なぜ「メモリ不足」は起きるのか？
まず、問題の正体を知ることから始めましょう。
初心者の多くが陥りがちなのが、「データを一度に全部、メモリ（RAM）に載せようとする」というパターンです。
❌ 失敗する設計：一括読み込み方式
例えば、100万行あるCSVファイルを読み込むとき、以下のようなコードを書いてしまいがちです。
“`vb.net
‘ ⚠️ 注意：これは巨大なデータに対しては危険な書き方です
Public Function LoadAllData(filePath As String) As List(Of String)
Dim allLines As New List(Of String)()
Dim lines = File.ReadAllLines(filePath) ‘ ここで全行をメモリに展開！
For Each line In lines
allLines.Add(line)
Next
Return allLines ‘ 巨大なリストを丸ごと返す
End Function
何が起きているのか？
`File.ReadAllLines`を実行した瞬間、コンピュータはCSVの全データをメモリ上に確保しようとします。1GBのファイルがあれば、それだけでメモリを圧迫します。さらに、それを`List`に詰め込んで返すと、メモリ消費はさらに膨れ上がります。
これが、`OutOfMemoryException`の正体です。
✅ 理想の設計：逐次処理（遅延評価）方式
プロの設計は違います。
「全部まとめて持ってくる」のではなく、「必要なときに、必要な分だけ、1行ずつ持ってくる」。
これを専門用語で「遅延評価（Lazy Evaluation）」と呼びます。
2. 救世主 `Iterator` と `Yield` の正体
この「1行ずつ持ってくる」仕組みを実現するのが、`Iterator`キーワードと`Yield`ステートメントです。
図解：イメージで理解する
- 一括読み込み（List）: 巨大な倉庫にある商品を、一度に全部トラックに積み込んで運ぼうとする。トラック（メモリ）が足りなくなって事故が起きる。
- Iterator + Yield: ベルトコンベアを作る。注文（ループの要求）があるたびに、商品を1個ずつコンベアに乗せて流す。トラックは1個分あれば十分。
コードで見る「魔法の書き方」
`Iterator`を使うには、戻り値の型を `IEnumerable(Of T)` にするのがルールです。vb.net
”’
”’
”’ 対象のファイルパス
”’
Public Iterator Function ReadLinesLazy(filePath As String) As IEnumerable(Of String)
‘ ファイルをストリームとして開く（メモリに一気に載せないための鉄則）
Using reader As New StreamReader(filePath)
Dim line As String
‘ ファイルの終端に達するまでループ
While Not reader.EndOfStream
line = reader.ReadLine()
‘ 【ここが魔法！】
‘ 現在の行を「呼び出し元」に渡して、一旦ここで処理を「一時停止」する
Yield line
‘ 呼び出し元が「次のデータが欲しい」と言ったら、
‘ この停止していた場所から処理を再開する
End While
End Using
End Function
### ここがポイント！ `Yield` の動き
普通の`Return`は、値を返すと同時にメソッドを「終了」させます。
しかし、`Yield`は「値を渡して、一旦その場でお休みする」という動きをします。
1. `For Each`が「次をちょうだい」と言う。
2. `Yield`が値を渡す。
3. メソッドはその行の状態を保持したまま停止する。
4. 次のループが来たら、停止した場所から再開する。
これこそが、メモリを節約しながら巨大データを扱うための極意です。
3. 実践！巨大CSVをスマートに処理する完全なコード例
それでは、実際にWindows Formsなどで使える、実戦的なコードを書いてみましょう。
「巨大なCSVを読み込み、特定の条件に合う行だけをカウントする」というシナリオです。vb.net
Imports System.IO
Public Class DataProcessor
”’
”’
Public Iterator Function StreamCsvRows(filePath As String) As IEnumerable(Of String)
‘ Usingを使うことで、エラーが起きても確実にファイルを閉じることができます
Using reader As New StreamReader(filePath)
While Not reader.EndOfStream
Dim line = reader.ReadLine()
If Not String.IsNullOrWhiteSpace(line) Then
Yield line
End If
End While
End Using
End Function
”’
”’
Public Sub ProcessLargeFile(filePath As String)
Dim targetCount As Integer = 0
Dim keyword As String = “ERROR” ‘ 例えば”ERROR”という文字が含まれる行を探したい
Console.WriteLine(“処理を開始します…”)
‘ Iteratorから返されるのは IEnumerable なので、
‘ ここでループが回るたびに、1行ずつファイルから読み込まれます。
‘ メモリには常に「現在の1行」しか存在しません。
For Each row In StreamCsvRows(filePath)
‘ 条件判定
If row.Contains(keyword) Then
targetCount += 1
‘ ここで重い処理（DB登録など）を行っても、
‘ 全データをメモリに持っていないので、メモリ不足にはなりません。
Console.WriteLine($”発見: {row}”)
End If
Next
Console.WriteLine($”——————————“)
Console.WriteLine($”処理完了。キーワード ‘{keyword}’ は {targetCount} 件見つかりました。”)
End Sub
End Class
### このコードの素晴らしい点
1. メモリ効率: `StreamReader` と `Yield` を組み合わせることで、ファイルが10GBあっても、メモリ消費量は数KB〜数MB程度で一定です。
2. 安全性: `Using` ステートメントを使っているので、ファイルを開きっぱなしにするリスクを防いでいます。
3. 拡張性: `StreamCsvRows` は単なる「行の列」を返すだけなので、後から「特定の列だけ抽出する」といった加工（LINQとの組み合わせ）も容易です。
4. 陥りやすい落とし穴：エンジニアの心得
最後に、この強力な武器を扱う上での注意点を伝えておきます。ここをクリアすれば、あなたはもう初級者ではありません。
① 戻り値を `List` に変換してはいけない
せっかく `Iterator` を使っても、呼び出し側で `.ToList()` を実行してしまうと、その瞬間に全データがメモリに展開されてしまいます。vb.net
‘ ❌ これをやったら Iterator の意味がなくなる！
Dim allData = StreamCsvRows(“huge.csv”).ToList()
“`
「一括でリスト化したい」という誘惑に負けてはいけません。処理が必要なときは `For Each` で回しましょう。
② 状態の管理に注意
`Yield` はメソッドの途中で停止します。もしメソッド内で、クラスの変数（フィールド）を書き換えるような複雑な処理をしている場合、何度も呼び出されることを前提とした設計にする必要があります。基本的には、`Iterator` メソッドは「データの供給」に専念させ、状態を持たせないのが美しい設計です。
まとめ：一歩先のエンジニアへ
`Iterator` と `Yield` を使いこなせるようになると、プログラムの視界がガラッと変わります。
「データがどれだけ大きくても、一歩ずつ、着実に処理を進めていく」
この「遅延評価」の考え方は、大量データを扱う業務システム開発において、最強の武器になります。
最初は難しく感じるかもしれませんが、まずは「1行ずつ読み込む」という小さな成功体験から始めてみてください。大丈夫、一歩ずつ進んでいけば、必ずマスターできますよ。
応援しています。さあ、素晴らしいコードを書きに行きましょう！
