中小企業診断士2次｜AI4者が一致する設問、しない設問

4者に同じ材料で解かせ、要素ごとに開示得点の上位25%と下位25%で「書いた人の割合」を比べました。答案の本文はAIに見せていません。

渡したのは与件文と設問文だけです。4者は互いの答案を知らないまま解いています。予備校の答案例も、当サイトの解説も渡していません。そのうえで、答案の要素ごとに、根拠となる与件文の一節を添えるよう指示しました。4者が添えた根拠は、いずれも与件文にある内容でした。

4者が出した要素は言い回しが違うので、同じものを人の手でまとめました。次に再現答案を開示得点の順に並べ、上位四分位と下位四分位（上位25%と下位25%）で「その要素を書いた人の割合」を比べます。この差が、記事で「上位−下位」と呼ぶ数字です。

書いたかどうかの判定は、要素ごとに用意した同義語の部分一致です。以下の表に出す割合は、すべてこの判定によるものです。

答案の本文はAIに見せていません。突き合わせは集計スクリプトだけが行いました。またここで出す数字は相関であって因果ではなく、その要素を書けば点が上がることの証明にはなりません。

4者は同じ条件で解いていますが、80分の時間制限は課していません。本番の時間圧の下でも同じ結果になるかは、この実験では分かりません。

事例Ⅲは2年度とも点に写り、事例Ⅰは2年度とも写りませんでした。事例Ⅱは年度で分かれています。

事例Ⅲは2年度とも差が大きく、事例Ⅰは2年度とも小さいままでした。事例Ⅱは令和6年度で点に写り、令和7年度は第4問が逆を向いています。事例の種類で決まるのではありません。

当サイトの見立てでは、分かれ目は設問の型です。与件文の課題に対する打ち手が一つに定まる設問では、AIも上位者も同じところに着きます。狙いを読み替える必要がある設問では、AIは与件文の字面に近いほうを選びます。

設問文の制約に対する打ち手が与件文から一意に決まる設問では、その要素を書いた上位者が8〜9割に達しました。

上の4行に共通するのは、設問文が制約を書いていることです。収納する場所がない、厳密な品質基準がある、受注増に対応する、納期を短くする。この制約に対して、与件文が示す打ち手は一つに定まると見立てました。

そのためAIは4者ともそこへ着いたと考えられます。上位者も実際にそこを書いていました。令和6年度 事例Ⅱ第3問の定額レンタルは、6事例24設問のなかで最も差が大きく、上位者の9割が書いています。

当サイトの見立てでは、この型の設問でAIに解かせる価値は高いと考えます。今回の6事例では、自分が思いつかなかったような打ち手を、上位者も書いていました。

4者がそろって挙げた要素ほど点が低く、1者しか挙げなかった要素のほうが点に写った設問があります。

令和7年度 事例Ⅱ第4問は、動画に何を載せるかを問う設問でした。4者は「役に立つ動画」を選び、セルフケアの実演を核にしています。上位者が書いていたのは「信頼させる動画」で、専属トレーナーの実績や評価を示すほうでした。

令和6年度 事例Ⅰ第1問は30字の設問です。4者のうち3者は協力会を「字数に入らない」として落としました。上位者はその協力会を書いています。字数の取捨選択で、AIと人間が逆を向いた例です。

令和6年度 事例Ⅰ第2問の「後継者として経験を積ませる」は、与件文に明示がありません。3者が入れ、うち1者は推測と注記しました。1者は入れていません。与件文に明示のない要素のほうが点に写った設問です。

当サイトの見立てでは、これらに共通するのは設問の狙いを読み替える手順です。呼び込む、なぜその配置なのか、理念をどう広げるか。答えるには、与件文の事実を一段まとめた語が要ります。AIは字面に近い要素を選びがちです。

読む順を変えると拾う要素は3分の1ほど入れ替わりますが、どちらが良いかは決まりませんでした。

令和6年度 事例Ⅰで、同じAIに2通りの順で解かせました。設問を全部読んでから与件文へ進む条件と、与件文から読む条件です。3者で試しています。

拾った要素の重なりを0から1の値で測りました。1なら両方の条件で同じ要素、0なら重なりなしです。中央値は0.67で、同じAIでも3分の1ほどが入れ替わる計算です。ただし入れ替わりの向きは一定ではありません。ある者は設問先読みで協力会を拾い、別の者は同じ条件で落としました。

点につながった5つの要素は、どちらの条件でも誰かが拾っていました。読む順を変えたせいで取りこぼす要素は、今回は見つかりませんでした。

共通して変わったのは手順の言葉です。3者とも、設問ごとに探す語と時点を先に決めてから与件文へ入る、と書くようになりました。当サイトの見立てでは、勧められるのは順番そのものではなくこの決め方です。設問ごとに探す語と時点を紙に書き出してから、与件文を読み始めてください。

根拠が与件文にある要素だけを残し、設問の型で信じるか疑うかを分けてください。

1. 1与件文と設問文だけを渡して解かせる。答案例や解説を一緒に渡すと、AIはそれをなぞるだけになります。
2. 2要素ごとに、根拠となる与件文の一節をそのまま引かせる。中略や言い換えを許すと、検査の役に立ちません。
3. 3引いた根拠が与件文に見当たらない要素は捨てる。逐語の規律を守らない引用が混じることがあります。
4. 4自分の答案と、残った要素を突き合わせる。足りない要素を足すより先に、設問の要求から外れた要素を削ります。
5. 5打ち手が一つに定まる設問では、4者が一致した要素を有力な候補として扱う。自分の答案と設問の要求に照らして、採るかどうかを決めてください。事例Ⅲの施策や、制約がはっきりした助言の設問がこれにあたります。
6. 6狙いを読み替える設問では、AIの一致を疑う。事例Ⅰの組織・人事や、呼び込むと問う助言の設問です。設問文の制約から考え直してください。

この順で使うと、AIは答えを出す道具ではなく、候補を並べる道具になります。どれを残すかは、まず設問文の制約に照らして選びます。そのうえで字数に収まらない分は、制約から遠い要素から削ってください。

• AIの答案は正解ではありません。2次試験に公式の解答は公表されず、この6事例の答案も採点されていません。
• ここで出したのは割合の差と関係の強さです。その要素を書けば点が上がることの証明ではありません。
• ここで出した差は、その要素を書いた人と書かなかった人の割合の差です。要素に何点入るかは分かりません。開示得点は事例の合計点だけです。
• 要素を書いたかどうかは同義語の部分一致で判定しています。辞書から漏れた言い換えは「書いていない」と数えるので、割合は下限です。実際にはこれより多くの人が書いています。
• 4者が添えた根拠のうち、1者には中略した引用がありました。逐語では与件文と一致しません。引用を逐語で検査する仕組みは、そのまま残しています。
• 4者に80分の時間制限は課していません。本番の時間圧の下でも同じ結果になるかは、この実験では分かりません。
• 対象は令和6年度と令和7年度の事例Ⅰ・Ⅱ・Ⅲの6事例です。他の年度は再現答案が30〜93セットで、同じ精度では測れません。
• 再現答案は本人の書き起こしで、開示得点も本人の申告です。標本は答案を公開した人に偏っています。
• 読む順の実験は3者・1事例で、各条件1回ずつです。同じ条件で解き直したときの揺れは測っていません。