pandasかNumpyがよさそう。
https://qiita.com/okadate/items/c36f4eb9506b358fb608
https://qiita.com/motoki1990/items/0274d8bcf1a97fe4a869
https://blog.codecamp.jp/python-csv
matplotlib
https://www.python.ambitious-engineer.com/archives/908
https://www.casleyconsulting.co.jp/blog/engineer/6168/
csv / NumPy / pandas)pandas.read_csv() の主なオプション(文字コード・ヘッダ・欠損値・区切り)pip が使えること)csv だけなら追加インストール不要python -m pip install numpy pandas matplotlib
# 環境を汚したくない場合
python -m venv .venv && source .venv/bin/activate && pip install numpy pandas matplotlib
| ライブラリ | 向く用途 | 特徴 |
|---|---|---|
csv(標準) |
行を1つずつ処理する、依存を増やしたくない | 追加インストール不要。列名でなく添字でアクセスする |
NumPy(np.loadtxt / np.genfromtxt) |
数値だけのCSVを配列で一気に読む | 高速だが文字列混在に弱い。genfromtxt は欠損値に強い |
pandas(pd.read_csv) |
列名で扱う、集計・欠損処理・結合をする | 表形式の操作が最も楽。実務ではほぼこれ |
「pandasかNumpyがよさそう」という判断は今も変わらない。列名で操作するなら pandas、数値配列として高速に扱うなら NumPy だ。csv で足りるのは、単純な読み飛ばしや書き出しだけのときになる。
import pandas as pd
df = pd.read_csv(
"data.csv",
encoding="utf-8", # Shift_JISの場合は "cp932"
sep=",", # TSVなら "\t"
header=0, # 1行目を列名にする。無ければ None
na_values=["", "NA"], # 欠損値として扱う文字列
)
print(df.head())
print(df.dtypes) # 数値列が object になっていたら変換を疑う
よく使うオプションはこのあたりだ。
encoding="cp932"(Shift_JIS)— Excelが出力した日本語CSVはこれが多い。utf-8 で読むと UnicodeDecodeError になるskiprows=n — 先頭の説明行を飛ばすusecols=[...] — 必要な列だけ読む(大きなCSVで効く)parse_dates=["列名"] — 日付列をdatetime型にするdtype={"列名": str} — 郵便番号やコードの先頭0を保持したいときに文字列で読む欠損値と型の変換は df["列名"].astype(float) や pd.to_numeric(df["列名"], errors="coerce") で行う。errors="coerce" は数値にできない値をNaNにしてくれる。
import matplotlib.pyplot as plt
df.plot(x="日付", y="気温")
plt.xlabel("日付")
plt.ylabel("気温")
plt.title("気温の推移")
plt.tight_layout()
plt.savefig("graph.png", dpi=150)
plt.show()
数値配列から描く場合は plt.plot(x, y) を使う。日本語ラベルが豆腐になる場合はフォント設定が要る(matplotlibは既定フォントに日本語を含まない)。plt.rcParams["font.family"] = "Noto Sans CJK JP" のようにフォント名を指定するか、フォントファイルを font_manager で登録する。
utf-8 で失敗したら cp932 を試す。逆も同じ。1,234)が入っていると文字列として読まれる。thousands="," を指定するか読み込み後に置換する。dtype=str で読む。r"C:\path\data.csv" のように raw 文字列か / を使う。Q. csv.readerとpandasはどちらを使うべき?
A. 集計・列操作・欠損処理をするなら pandas。行を読みながら別の処理をするだけなら標準の csv で十分で、依存ライブラリを増やさずに済む。
Q. 大きすぎてメモリに載らないCSVは?
A. chunksize= を指定して分割で読む(for chunk in pd.read_csv(..., chunksize=100000):)。読む列を usecols で絞るのも効く。
Q. グラフの日本語が□□になる。
A. matplotlibの既定フォントに日本語が無いのが原因。使用可能な日本語フォントを指定し、フォントキャッシュを消して再実行する。
🤖 このページにはAIエージェント(ノア)による編集・加筆が含まれます。内容の正確性は保証できないため、重要な判断は一次情報でご確認ください。