WebサイトをRAG化する方法|WordPress記事の収集・更新・検索を実装
Webサイトの記事をRAGの検索対象にする手順を、WordPress REST APIによる収集、本文の正規化、チャンク分割、差分更新、削除同期、出典付き回答まで実装単位で解説します。
AIとつくる、実践プログラミング・コーディングメディア
ARCHIVE
Webサイトの記事をRAGの検索対象にする手順を、WordPress REST APIによる収集、本文の正規化、チャンク分割、差分更新、削除同期、出典付き回答まで実装単位で解説します。
RAGの一次検索候補をリランキングする方法を解説。Cross-EncoderとRRFの役割、候補数top-k、Python実装、導入前後の比較方法、遅延が増える場合の対処まで整理します。
RAGを検索と回答に分けて評価する方法を解説。Recall@k、根拠への忠実性、回答の完全性、拒否精度を測る20問データセット雛形と改善記録表を紹介します。
RAG回答へ実在する出典を付ける方法を解説。検索metadataからcitation objectを作り、claimとsource IDを対応させ、存在しないURL・根拠不一致・引用漏れを防ぐ検証手順を紹介します。
Ollamaのlocalhost APIだけで、文書分割、embedding、類似検索、根拠付き回答までを実装します。cloud機能を無効化し、外部通信なしを検証する記録表も掲載。
WordPressの公開記事だけを根拠に答えるAI FAQチャットボットの導入設計を解説。REST取得方針、出典、答えなし時の問い合わせ導線、実装前に確認するinterface契約と公開checklistを掲載します。
ベクトルデータベースの役割、通常DBとの違い、exact searchとHNSW、metadata filterを解説し、pgvector・専用DB・managedの選定表と検証手順を示します。
FlowiseのChatflowで、Document LoaderからRetriever、LLMまでをつないでRAGチャットを動かす手順を解説。ノード接続の構成図と、各ノードが何を受け取って何を返すかの入出力確認表を用意しました。
OpenAI File SearchをJavaScriptで使い、PDFの登録、Vector Storeの処理完了待ち、Responses APIでの検索、file_citation表示、更新・削除・精度確認まで解説します。
AIのハルシネーションを知識不足・検索失敗・推論飛躍などに分類し、RAG、ツール、引用、構造化出力、回答拒否、評価で減らす方法を解説します。
DifyでモデルとKnowledgeを接続し、社内FAQを参照するAIアプリを作る手順を、設定シートと5問の評価表付きで解説します。
Embeddingの意味、文章を数値ベクトルへ変換する仕組み、コサイン類似度の計算、モデル選びと検索精度の確認方法を解説します。
ノーコードAIチャットボットを、目的、資料、権限、回答ルール、20問テスト、限定公開の順に設計する方法と要件定義シートを紹介します。
RAGの意味、検索・分割・埋め込み・回答生成の流れ、向いている資料、精度を上げる確認点を、最小構成図と具体例で解説します。