これも数字を見誤るパターンの事例です。
第一種過誤(だいいっしゅかご、英: Type I error)または偽陽性(ぎようせい、英: False positive)と第二種過誤(だいにしゅかご、英: Type II error)または偽陰性(ぎいんせい、英: False negative)は、仮説検定において過誤を表す用語である。第一種過誤をα過誤(α error)、第二種過誤をβ過誤(β error)とも呼ぶ。なお「過誤」とは、誤差によって二項分類などの分類を間違うことを意味する。 |
Wikipediaに詳しく書かれておりますが、やはりサンプルをある程度取らないと統計的に仮説検定で厳密に判断する・・・というやり方が正しいのでしょうけど、ビジネス現場ではそうもいかないんですよね。
難しい話です。