「何回測れば足りるんですか」という問いに、一般的な答えはありません。 測るものによって、必要な回数が桁で変わるからです。
この記事では、私が同じ月に測った2つの実例を並べます。 片方は18回では足りず、500回で結論がひっくり返りました。 もう片方は3,000回で十分で、10万回に増やしてもほとんど動きませんでした。
違いはどこにあったのか。測る前に見分ける方法まで書きます。
🧭 この記事で使う診断を試す（登録不要・ブラウザで完結）ペンギンを積むゲームを作っていて、いちばん易しいAIの強さを調整していました。 「人間にも勝ち目がある」状態にしたい。18回対戦させて、勝率を測りました。
手を入れる前と後で、12% → 28%。倍以上になっています。 「土台を広げたから勝てるようになった」と結論しました。
気になって、500回で測り直しました。
| 測った回数 | 手を入れる前 | 手を入れた後 |
|---|---|---|
| 18回 | 12% | 28% |
| 500回 | 19% | 19% |
差はゼロでした。18回で見えた「倍以上」は、たまたまです。 しかもこの状態だと、コードを1行も変えていないのにテストが赤くなったり緑になったりします。
もうひとつは診断です。勉強のつまずき方を8つの型に分けて、 15問こたえると自分がどれに近いかが出るものを作りました。
作るときに確かめたかったのは、「8つ全部に到達するか」と 「1つが半分を超えていないか」の2つです。 ランダムに答えるプログラムで 3,000回まわして、出方を数えました。
そのあと、10万回で測り直しました。
| 型 | 3,000回 | 10万回 | 差 |
|---|---|---|---|
| 何から手をつけるか決まらない型 | 26.7% | 26.4% | 0.3pt |
| 質問できない型 | 15.7% | 15.1% | 0.6pt |
| 前日にまとめてやる型 | 14.5% | 14.5% | 0.0pt |
| わかった気になる型 | 12.0% | 11.7% | 0.3pt |
| 完璧主義で止まる型 | 10.5% | 10.7% | 0.2pt |
| 人と比べて凹む型 | 7.6% | 7.8% | 0.2pt |
| 量はやるが伸びない型 | 6.5% | 7.4% | 0.9pt |
| 集中が続かない型 | 6.5% | 6.3% | 0.2pt |
いちばん動いたもので0.9ポイント。順位も変わっていません。 33倍に増やして、結論は1つも変わりませんでした。
同じ人が同じ月に測って、片方は足りず、片方は足りた。違いは3つあります。
例1で知りたかったのは「2つの数字に差があるか」でした。 これはいちばん回数が要る問いです。12%と28%のような 「ありそうな差」を確かめるには、数百回では足りないことがあります。
例2で知りたかったのは「0のものがあるか」「半分を超えるものがあるか」でした。 これは粗い問いです。26%と6%くらい離れていれば、数千回で十分に見分けがつきます。
例1のゲームは、1回の対戦で積み木が崩れるかどうかが物理演算で決まります。 ちょっとした初期値で結果が変わるので、1回1回のブレが大きい。
例2の診断は、15問それぞれで点が入るだけです。 1回の中で15回ぶんの平均が取られているので、そもそもブレが小さい。
これがいちばん効きます。見たい差が小さいほど、必要な回数は跳ね上がります。
目安として、差が半分になると、必要な回数は4倍になります。 10ポイントの差を見るのに100回で足りるなら、 5ポイントの差には400回、2.5ポイントには1,600回要る、という増え方です。
3つを組み合わせると、測る前にだいたい判断できます。
| こういうときは | 回数 |
|---|---|
| 「0か、0でないか」を見たい | 少なくてよい |
| 「大きく違うか」を見たい（3倍以上など） | 数百回 |
| 「わずかに違うか」を見たい | 桁が変わる。数千〜数万回 |
| 1回ごとのブレが大きい（物理・運の要素が強い） | さらに増やす |
そして、いちばん大事なことがあります。
例1のとき、私は数字を見て納得しました。12%が28%になっている。 グラフにすれば、きれいに伸びて見えます。
それでも「なんか怪しいな」と思ったので測り直しました。 その違和感は正しかった。
なぜ怪しいと思えたのか。あとから考えると、 18という数字が小さすぎることを、感覚が知っていたからです。 18回のうち2〜3回結果が変われば、勝率は10ポイント以上動きます。 人は「サイコロを18回振っただけで偏りは分からない」ことを、 説明できなくても知っています。
だから、覚えることは1つだけで足ります。
数字を見たら、母数を聞く。 「何回測ったんですか」。それだけです。 答えが返ってこない数字、あるいは2桁の数字だったら、 いったん結論を保留して、桁を1つ増やして測り直す。
正しさを判定する必要はありません。根拠が書いてあるかを見るだけです。
※ 例2の数字は、公開している診断と同じコードに対して、 各設問をランダムに選ぶプログラムを走らせた実測値です （3,000回と100,000回。2026年8月に測定）。 「ランダムに答えた場合の出方」であって、世の中の人の割合ではありません。