Jevの日本語精度を実測｜LINEの問い合わせ40件でキーワード判定25件→38件、1件0.25秒

第1回で、Jev の仕組みと、私の店の開発で置ける場所を6つ挙げました。 今回は一番効きそうな「公式LINEに届く文面の仕分け」を、実際に比べます。 公式は、主言語は英語で日本語は「扱えるが同等ではない」と書いているので、日本語でどこまで使えるのかがこの回のいちばんの問いです。

用意したのは、公式LINEに届く想定の文面40件です。実際の会話のログではなく、 届く文面の型（鍵が開かない、予約を変えたい、写真が来ない、駐車場はあるか、取材の相談、お礼だけ……）を、 個人情報が入らない形で書き起こしました。正解は私が付け、「領収書は発行できますか」のように 料金の質問とも予約の質問とも取れるものは、両方を正解にしています。

それぞれの文面に、3つの質問を1回のリクエストで聞きました。実際に渡した質問はこれです。

"topic": Choice(
  instructions="このメッセージの主な用件はどれか。無人のセルフ写真館の公式LINEに届いた文面。",
  criteria={
    "trouble":  "今その場で困っている。鍵・入店・機器・撮影・画面が動かない・エラー",
    "photos":   "撮影した写真データの受け取り・ダウンロード・保存期間",
    "reserve":  "予約の確認・変更・キャンセル・空き状況・支払い・延長・クーポン",
    "access":   "店の場所・行き方・駐車場・住所",
    "faq":      "料金・プラン・持ち物・服装・ペット・人数など一般的な質問",
    "business": "取材・掲載・営業・法人からの提案など、お客様ではない相手",
    "general":  "お礼・相槌・感想・上のどれにも当てはまらない",
  },
),
"onsite": Noul(instructions="送り主は今、店内または店の前にいて、その場で詰まっているか。"),
"human":  Noul(instructions="自動案内では終わらず、人による対応（返金・電話・手続きの失敗の解決）が必要か。"),

比べる相手は、いま私の店の仕組みで使っている「言葉のリスト」です。文面に「鍵」「開かない」があれば困りごと、 「予約」「キャンセル」があれば予約、というふうに決めるもので、本番と同じ関数に40件を通しました。 Jev には、上の質問をそのまま使った日本語の指示と、同じ中身を英語に書き直した英語の指示の2通りを走らせています。 文面（state）はどちらも日本語のままです。

2026年9月22日・私の店の実測。「その場で詰まっているか」「人が要るか」は、正解がはっきりしている文面だけを数えている（37件）。 言葉のリストの2つは、今の仕組みの緊急度の判定を当てはめたもの

用件は、言葉のリストの25件に対して Jev は38件・39件でした。 言葉のリストが外した15件のほとんどは、当たる言葉が入っていなくて「その他」に落ちたものです。 「福島駅からどうやって行けばいいですか」には「行き方」も「場所」も入っていない。 「雨の日でも営業していますか」には「料金」も「持ち物」も入っていない。意味では明らかなのに、文字では拾えない文面です。

言葉のリストの名誉のために書いておくと、あれは「外れても害が無い」ように作ってあります。 当たらなければ一般の案内に落ちるだけで、どの案内にも「このままメッセージを送れば順に確認します」が付く。 ただ、「その場で詰まっている」文面8件のうち、言葉のリストが拾えたのは4件でした。 そしてここは、Jev も同じ4件でした。これは後の「はい／いいえ」の節で詳しく書きます。

先に Jev を試した方の解説記事には、「指示は英語、データは日本語にすることも検討を」という提案がありました。 公式が英語を主言語としている以上、自然な発想です。私の40件ではこうなりました。

差は1件だけで、その1件（後で書く「さっき撮った写真が一枚も表示されないです」）は人が読んでも迷う文面でした。 違いが出たのはトークン数で、日本語の指示は英語より約2割多い。ただ、1件0.004円前後の世界なので、費用の差は気にするほどではありません。

Jev（日本語で指示）が外した2件は、どちらも人が読んでも迷う文面でした。

1件目は「モニター割」という私の店だけの言葉を Jev が知らないので、「インスタ投稿」から SNS の営業と読んだのだと思います。 選択肢の説明に「モニター割・SNS割の投稿の仕方」と書き足せば直る種類の外れです。 2件目は、私自身「困りごと」でもいいと思っています。英語で指示した版は「写真の受け取り」0.68 と逆に割れました。

どちらも確率が2つに割れていて、confidence が下がっています。外れるときは、外れそうな顔をして外れる。言葉のリストは当たりか外れかの2つしかないので、 外れたことに気づけません。ここが一番の違いでした。

言葉のリストが外した15件（抜粋）

• —「福島駅からどうやって行けばいいですか」→ その他（正解：場所）
• —「雨の日でも営業していますか」→ その他（正解：一般的な質問）
• —「急いでいます、入店できません」→ その他（正解：困りごと）
• —「ドアが開いたけど中が真っ暗です」→ その他（正解：困りごと）
• —「エアコンが効いていなくて暑いです、今使っています」→ その他（正解：困りごと）
• —「取材のご相談で連絡しました」→ その他（正解：取材。リストにこの区分が無い）
• —「リモコンってどうやって使うんですか？来週行く予定です」→ その他（正解：一般的な質問）

言葉のリストを育てれば拾えるものもあります。ただ、活用形（できない／できません）や言い換え（行き方／どうやって行けば）を 1つずつ足していく作業は終わりがなく、足すほど関係ない文面にも当たるようになります。意味で読むほうが、この作業そのものをなくせます。

「その場で詰まっているか」は、どちらも半分しか拾えなかった

正解数だけ見ると、言葉のリストも Jev も33件で同じです。ただ中身を分けると、「その場で詰まっている」文面8件のうち拾えたのは、 どちらも4件でした。落としたものは、たとえばこうです。

「今撮影中です」「今使っています」と書いてあっても、0.5に届いていません。 質問を「店内または店の前にいて、その場で詰まっているか」としたので、「詰まっている」の度合いまで一緒に測られているのだと思います。 しきい値を下げると拾える数は増えますが、関係ない文面も上がってきます。

ここで効いたのが、言葉のリストと Jev を並べて、どちらかが上げたら上げる形です。 2つが拾った4件ずつは、重なっているのが2件だけで、残りはそれぞれ別の文面でした。合わせると8件中6件、関係ない文面を上げたのは0件です。 見落としたくない通知は、どちらか片方に任せるより、並べたほうが強い。私の店で入れるならこの形です。

「人が要るか」は、0.5では拾いすぎた

もう1つの「人が要るか」は逆でした。0.5を境に「はい」とすると Jev は30件で、言葉のリストの35件より悪い。

中身を見ると、「鍵が開きません。店の前にいます」（0.70）、「店に着いたのですが、解錠ボタンを押しても開きません」（0.73）のような、その場で詰まっている文面に「人が要る」も0.5〜0.7で付いていました。 質問には「返金・電話・手続きの失敗」と例を書いたのですが、「困っている人には人が要る」と読まれた形です。間違いとも言い切れません。

しきい値を0.75に上げると36件になり、言葉のリストを超えます。 返金の相談は0.89、電話の依頼は0.79、「予約したのにマイページに出てきません」は0.61。 この用途では0.75が境として合っていました。

3つの質問を1回に載せて0.25秒。日本からでも、公式の「70〜500ミリ秒」の範囲にほぼ収まりました。 LINEの返信の中で使っても、お客様が待つ長さにはなりません。 費用で使うかどうかを決める場面は、私の店の規模では来ません。

撮影後アンケートの自由記述（10件）

「満足度は4段階のどこか（Score）」「主に触れているのは何か（Choice）」「店側が直せる改善点が入っているか（Noul）」を聞きました。

「ただ50分はあっという間」を1.68（どちらとも言えない寄り）、「少し残念」を0.67と、 褒めながら不満を混ぜた文面の温度が数字に出ています。溜まるだけだった自由記述が、集計できる列になります。 迷ったのは「スタッフがいないので〜」で、触れているものの confidence が0.48。 「案内」と「スタッフがいないこと自体」の2択に割れました。これは選択肢の切り方の問題で、私の側で直すところです。

サポートAIの回答の検証（8件）

店の方針（完全無人・その場で返事はできない・電話番号は公開していない）を state に入れ、 AIチャットが返しそうな回答8件に、「担当者がすぐ対応すると約束しているか」 「方針に書かれていない、または矛盾する事実を述べているか」「そのまま送ってよいか（送る／人が確認／止める）」を聞きました。

無人店で一番まずい「すぐ向かいます」「5分以内に折り返します」は、はっきり止まりました。 一方で、「当日でも空きがあれば変更できます」のように正しいけれど方針の文面に載っていないだけの回答にも、 「矛盾」が0.82と高く付きました。質問を「書かれていない、または矛盾する」としたので、「書かれていない」を字義どおり拾ったのです。 公式が弱点の1番目に挙げている「書かれた文字どおりに読む」が、そのまま出ました。 直すなら「矛盾する」だけに絞るか、方針の state にもっと事実を載せるか。質問文の一語で結果が変わります。

第3回は、使ってみた感想です。向く仕事と向かない仕事、私の店で使う場所と使わない場所を書きます。

この記事の調べ方

文面40件・アンケート10件・回答8件は、すべて私が用意したもので、実際のお客様の文面ではありません。 Jev は jev-latest（jev-1.13.0）、Python SDK 0.7.1 を使い、2026年9月22日に福島の自宅回線から実行しました。 言葉のリストによる判定は、私の店の仕組みで実際に動いている関数に同じ文面を通したものです。 検証のコードは AI のコーディング支援に書いてもらい、質問の設計、正解づけ、結果の読み取りは私がやりました。 TypeSafe 社とは関係がなく、紹介料も受け取っていません。

自分の店の文面で同じ比較をしてみたい方は、LINEでのご相談も受け付けています。