Jevを使ってみた感想｜向く仕事・向かない仕事と、無人店舗で使う場所・使わない場所

ウェイトリストが承認されて、TypeSafe の Jev をようやく使えるようになりました。第1回で仕組みと使いどころを整理し、第2回で私の店の文面を使って実際に比べました。その上での感想です。

作文しないので、事故の形が限られる

無人店で一番怖いのは、機械がそれらしい文章を返して、お客様が「伝わった」と思って待ってしまうことです。 Jev は文章を作れません。返るのは、こちらが決めた選択肢の確率だけ。 存在しない案内を作る、方針に無い約束をする、という事故が仕組み上起きない。 「気をつける」で防ぐのと、「できない」で防ぐのとでは、無人店ではかなり大きい差があります。

確率で返るので、迷った件だけ人に回せる

言葉のリストは、当たったか外れたかの2つしかありません。Jev は「困りごと0.70、写真0.30」のように、割れ方が見えます。 割れていれば confidence が下がるので、「0.9以上は自動、それ未満は人が見る」という線をコードで書けます。 40件のうち confidence が0.5を切ったのは1件だけで、外した2件はどちらも確率が2つに割れていました。外れるときは、外れそうな顔をして外れる。実務ではこれが一番ありがたい性質でした。

速くて安い

1件に質問3つで往復0.25秒、101件で約0.4円。LINEの返信の中で呼んでも、お客様が待つ長さにはなりません。 費用で使うかどうかを考える場面が来ないので、「とりあえず全部通してみる」ができます。

日本語は「扱えるが同等ではない」

公式ドキュメントに、主言語は英語で、CJK を含む他の言語は「扱えるが同等ではない」と書かれています。 私の40件では、日本語で指示しても英語で指示しても、答えは38件が同じで、正解の数もほぼ同じでした。 ただそれは7択の仕分けという易しい問題での話で、細かいニュアンスの採点や長い文面では差が出るかもしれません。自分のデータで確かめてから使う、が前提になります。

書かれた文字どおりに読む

AIの回答の検証で、「方針に書かれていない、または矛盾する事実を述べているか」と聞いたら、 正しいけれど方針の文面に載っていないだけの回答にも「はい」が0.82で付きました。 「書かれていない」を、字義どおり拾ったのです。公式が弱点の1番目に挙げている癖が、そのまま出ました。 LLM なら汲んでくれる曖昧さを、Jev は汲みません。質問は、契約書を書くつもりで書く必要があります。

「今その場で困っているか」を読み取りにくい

一番意外だったのがここです。「送り主は今、店内または店の前にいて、その場で詰まっているか」と聞くと、 「カメラのシャッターが押しても反応しないです。今撮影中です」が0.38、「エアコンが効いていなくて暑いです、今使っています」が0.26。 「今」と書いてあるのに、0.5に届きませんでした。その場の文面8件のうち、0.5で拾えたのは4件。 私が作った言葉のリストも4件で、ここは互角です。両方を並べて、どちらかが上げたら通知する形にすると6件になりました。

まだ新しいサービス

ウェイトリスト制で、モデルは1.13、レート制限は「混雑で変わる」と書かれています。 店の仕組みの中心に置くには、まだ様子を見たい段階です。 救いは、Jev に渡すものが「文面と、質問と選択肢」だけなこと。別の仕組みに乗り換えるときも、質問の設計はそのまま持っていけます。 囲い込まれる要素が少ない。

理由は返らない

「なぜ困りごとと判断したか」は分かりません。確率の割れ方から推し量るだけです。 お客様に理由を見せる必要がある場面や、あとで判断を説明する必要がある場面には向きません。

公式の数字は、TypeSafe 自身が作った評価で測ったものです。私の店の条件で測った数字と並べておきます。

最後の「校正」は、Jev の一番大事な売りですが、私の40件では確かめようがありません。 本当に0.8の答えの8割が正しいかは、数百件を正解つきで集めて初めて見えます。 仕組みに入れたあと、実際の文面で答え合わせを続けていくことになります。

公式の説明は TypeSafe 公式ブログ（2026年9月15日）と公式ドキュメント（2026年9月22日取得）。実測は第2回

左の列に共通するのは、答えの選択肢を自分で書き出せることです。 「この文面は5つのどれか」「この感想は4段階のどこか」。選択肢を書き出せない判断は、Jev の型に入りません。 逆に、書き出せた瞬間に、その判断はコードで扱えるものになります。 今回いちばん頭を使ったのは、コードではなく「自分の店の判断を、選択肢に言い直す」作業でした。

同じことは LLM でもできます。「この文面を5つに分類して、JSONで返して」と頼めばいい。違いは、失敗の形です。

• —LLM：返事の形が崩れることがある（JSONが壊れる、6つ目の分類を作る、説明を付け足す）。 確率は頼まないと返らず、頼んでも作文された数字になる。1件に数秒かかることもある。
• —Jev：形は崩れない。確率は選択肢ごとの分布として返る。私の実測で0.25秒。 代わりに、理由は返らず、文脈の曖昧さを汲まない。

どちらが上という話ではなく、置く場所が違います。私の店では、お客様に見せる文章は人が用意したものだけを出す方針なので、 「どの文章を出すか」を決めるのは Jev の型で足り、文章そのものを LLM に作らせる必要がありません。 LLM は、HP の FAQ チャットのように「店の事実の範囲で答える」場所に残し、その回答を Jev で検証する。 2つを並べると、それぞれの弱いところを相手が押さえる形になります。

入れる順番を1から始めるのは、外れても害が無いからです。用件を外しても一般の案内に落ちるだけで、 「困っている人が誰にも届かない」方向には倒れません。 仕組みに新しいものを足すときは、外れたときに何が起きるかで順番を決めています。

• —店や小さな事業の中に「人が目で見て仕分けている」作業があって、選択肢を書き出せる人
• —AI に文章を作らせるのが怖い、でも判断の材料は欲しい人
• —LLM の分類で返事の形が崩れるのに疲れた人
• —コードは AI のコーディング支援に書いてもらっていて、自分は「何を聞くか」を決める側にいる人（私がそうです）

逆に、文章を書かせたい人、理由を説明させたい人、英語以外の言語で精度の保証がほしい人には向きません。 ウェイトリスト制なので、申し込んでから使えるまでに時間がかかることも含めて。

この記事の調べ方

2026年9月22日に、私の店の文面40件・アンケート10件・回答8件で Jev（jev-1.13.0）を実際に叩いた結果と、 公式ブログ・公式ドキュメントの記載にもとづいています。検証のコードは AI のコーディング支援に書いてもらい、 質問の設計、正解づけ、結果の読み取り、この感想は私のものです。 TypeSafe 社とは関係がなく、紹介料も受け取っていません。

自分の業務の判断を「選択肢」に言い直すところから一緒に考えたい方は、LINEでのご相談も受け付けています。