管理人

長い文書をそのまま検索対象にすると、複数の話題が1つのベクトルに混ざって検索がぼやけます。この記事では、文書を検索しやすい大きさに分割する「チャンキング」の基本を、コードを動かしながら確認します。日本語特有の注意点や、チャンクサイズが検索精度に与える影響も扱います。

日本語を含むRAGでEmbeddingモデルを選ぶときの注意点を整理します。英語中心のモデルで精度が出ない理由を説明し、モデル選びに使う公開ベンチマーク（JMTEBなど）の見方と、実際にモデルを使うハンズオンまで紹介します。

Embeddingの概要について解説します。既存のモデルで文章をベクトル化し、意味の近さを評価する方法やキーワード検索では拾えない「意味が近い文」を探す方法まで、実際に動かして確認します。モデルの選び方や公開ベンチマークサイトも紹介します。

無料のDoclingを使い、PDFをレイアウトごとMarkdown化する方法を解説します。表や画像への対処、Python・コマンドラインでの使い方から、うまく変換できない場合の症状別の対処法まで扱います。

画像の中の文字をテキストに変えるOCRを行うため、無料のTesseractとpytesseractで、環境構築から日本語の読み取り、発展的な機能までサンプルコードありで解説します。

LLMは学習後の最新情報や社内文書を知りません。外部の文書を検索してLLMに渡すRAGで、その弱点を補います。最小のRAGをPythonで動かし、検索して渡す／渡さないで回答がどう変わるかを実際に確かめます。

LLMを使うアプリを作るには、まず各社のAPIを呼び出せるようになる必要があります。この記事では、APIキーを安全に扱いつつ、httpxで各社のAPIを直接叩く方法と、LiteLLMで同じ関数からGemini・GPT・Claudeを呼び分ける方法をまとめます。

Pythonのreモジュールで正規表現を扱うときの主な関数を整理します。読み取りのsearch・match・findall・finditer、書き換えのsub・split、補助のcompile・escapeまで、使い分けをサンプルコードで解説します。

正規表現のフラグを、Pythonのreモジュールで整理します。大文字小文字を無視するIGNORECASE、行ごとに^と$を効かせるMULTILINE、.を改行にもマッチさせるDOTALLなど、よく使う5つとインラインフラグの書き方を、サンプルコードで解説します。

正規表現の先読み・後読みを、Pythonのreモジュールで整理します。指定パターンの前後に条件を置き、条件に合うときだけ取得する仕組みで、条件に使った部分は結果に含まれません。肯定・否定の先読みと後読み、後読みの固定長制約まで、サンプルコードで解説します。

正規表現のグループを、Pythonのreモジュールで一つずつ整理します。マッチした部分を取り出すキャプチャグループ、まとめるだけの非キャプチャグループ、名前で扱う名前付きグループ、同じ内容の再出現を捉える後方参照を、サンプルコードとともに解説します。

Pythonで正規表現を使うための基本構文を、reモジュールのfindallで実際に動かしながら一つずつ整理します。アンカー、文字クラス、量指定子（貪欲と最短）、グループ、選択、エスケープを、短い実行例と結果のセットで確認できます。

Pythonの標準ライブラリを用いて、複数の文字列をA・B・Cの仮名ラベルに置き換え、評価が終わったあとに対応表で実名へ戻す方法を解説します。素朴に置換すると問題になる連鎖置換・部分一致とその安全な回避策についても取り扱います。

WSLの使用メモリとスワップ量、CPU数の上限をWindows側の.wslconfigファイルで設定する方法を解説します。実際に設定が反映されたかどうかを確認するコマンドについても扱います。

FastAPIでServer-Sent Events（SSE）を使い、サーバー側の処理の進捗をブラウザへ少しずつ配信する方法を解説します。進捗・完了・エラーの送り分け、GETとPOSTそれぞれの受信方法、サンプルコードまで、手を動かして確認できる形でまとめました。