日本人工知能学会(JSAI)のオーガナイズドセッション「非構造データからの情報抽出」
オーガナイザ:中田 百科(株式会社リクルート)、山内 敏嗣(Sansan株式会社)
大規模視覚言語モデルチューニングを用いた非構造ドキュメント画像向け情報抽出(JSAI2025)¶
OCRの結果をLLMに入れるのではなく Large Vision-Language Model (LVLM) で統合的に扱おうという提案
飲食店のメニュー画像の構造化タスクにて、OCR→LLM(Gemini)よりLVLM(GPT-4o fine-tuning)が効果的だった
https://
www .anlp .jp /proceedings /annual _meeting /2025 /pdf _dir /C3 -3 .pdf
マルチモーダル生成AIモデルを用いた金融非構造化データからの情報抽出(JSAI2026)¶
視覚言語モデル(VLM)を用いた表構造化において,テキスト処理と画像処理の二軸から体系的に最適化する手法を提案
方法:
テキスト処理の工夫:ドメイン知識のガイダンス注入,文書コンテキストの自動付与
画像処理の工夫:フォントサイズ・罫線・DPI等のレンダリングパラメータを体系的に評価 → 視覚的明瞭性の最適化が精度に支配的な影響を持つことが明らかに
結果:UFO-2024データセットにおいて,提案手法はセル特定精度88.2%,値抽出精度86.5%を達成