直接 open().read() 或 readlines() 会将整个大文件一次性加载进内存，导致 MemoryError；应使用 with open() as f: for line in f 逐行迭代，内存占用恒定。
为什么直接 open() 读大文件会爆内存
因为 open().read() 或 open().readlines() 会把整个文件一次性加载进内存。一个 10GB 的日志文件，可能直接吃光几 GB 可用内存，触发 MemoryError，甚至让系统开始疯狂 swap。
根本问题不是“Python 慢”，而是你让 Python 把整本书塞进一个口袋里——口袋装不下，自然崩了。
with + for line in file 是最稳的逐行方案
with 确保文件句柄自动关闭，for line in file 底层调用的是迭代器协议，每次只从磁盘读取一行（实际是缓冲区大小的块，但逻辑上是一行），内存占用基本恒定，和文件总大小无关。
- ✅ 正确写法：
with open('huge.log', 'r', encoding='utf-8') as f: for line in f: process(line.strip()) - ❌ 错误写法：
f.readlines()、f.read().split('\n')、list(f)—— 全部会累积所有行到内存 - ⚠️ 注意编码：超大文件常含 BOM 或混合编码，建议显式指定
encoding，否则可能在某一行卡住并抛UnicodeDecodeError
需要跳过空行或按条件过滤时别用 readlines()
有人想“先读完再 filter”，这是典型误区。哪怕只是 [line for line in f if line.strip()]，生成列表本身就会把所有匹配行暂存内存。
Python 3.14.3
微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
- ✅ 流式过滤（内存恒定）：
with open('data.txt') as f: for line in f: if not line.strip(): continue if 'ERROR' in line: log_error(line) - ✅ 用生成器封装更清晰：
def valid_lines(f): for line in f: stripped = line.strip() if stripped and not stripped.startswith('#'): yield strippedwith open('config.txt') as f: for line in valid_lines(f): parse_config(line)
真要随机访问某一行？别硬扛，换思路
逐行读取没法 f.seek() 到第 100 万行——因为每行长度不固定。强行用 enumerate 计数遍历到那一行，时间成本高，但内存仍安全；若频繁随机查，说明文件格式或使用方式有问题。
- ? 更合理做法：预处理生成行偏移索引（一次耗时，多次受益）
offsets = [] with open('log.txt', 'rb') as f: # 二进制模式避免解码开销 offsets.append(0) while f.readline(): offsets.append(f.tell()) # 后续用 offsets[n] + seek() 快速定位第 n 行 - ⚠️ 避免陷阱：不要在循环里反复
f.seek(0)再for line in f——这等于重读整个文件 N 次
逐行读取本身很简单，难的是意识到“我到底需不需要整份数据”。很多所谓“性能优化”，本质是拒绝把不该进内存的东西塞进去。