Download - 統計学超入門アップロード用

イントロダクション

2015/01/24

● 各章のタイトルがここに入りますその章の中のどのあたりにいるかがここに入ります

西航

統計学超入門

● 西　航　（にし　わたる）

● 興味：

　　数学（ふつうの人よりは慣れてる）

　　プログラミング（最近勉強をサボり気味）

　　ジョジョ（そんなにディープではない）

　　ドラクエ（最近は触れていませんでしたが、年末年　　　　　　　始に４を遊んで、クリアできました）

　　ビール（お金が飛んでいきます）

各章のタイトルがここに入りますその章の中のどのあたりにいるかがここに入ります

自己紹介

● 最近統計学を勉強し始めて、これは人類の常識になるべき知識だと思いました。

● とりあえず、職場で勉強会をやることにしました。● 思いのほかちゃんと準備しないといけない雰囲気

になったので、スライドを作ることにしました。

イントロダクション● 1次元のデータ● 2次元のデータ

パン屋さんのおはなし統計学って何？

このスライドの目的

● イントロダクション

- パン屋さんのおはなし

- 統計学って何？

● 1次元のデータ

- グラフ

- 平均

- 分散

● 2次元のデータ（時間がなくて諦めました）



本日の予定

● まくら代わりのお話● 統計学者がパン屋さんの不正を暴く話● たぶん有名な話ですが、たぶん実話ではないです

本題の前に



● むかしむかし、あるところに、食料が大変貴重で、配給制になっている国がありました。

● ある町のパン屋では、国から小麦をもらい、パンを焼き、町中の人に毎日ちょうど100gのパンを宅配することになっていました。

第1話　悪いパン屋



● ところが最近、実際に配給されるパンは100gよりも軽いようだという噂が町に流れていました。

● ある日、ある住民がパンの重さをはかると、98gしかありませんでした。

● たった2gの差ですが、もし町中のパンが規定より2g軽いとすれば、パン屋が国からもらった小麦のうち、そう少なくない量がどこかへ消えていることになります。

疑惑のパン屋



● 住民は、パン屋が不当に私腹を肥やしていると思い、抗議をしました。

老獪なパン屋



● パン屋はクレームに対して、「それはばらつきによるもので、当然100gより軽くなってしまうこともあれば、それよりも重くなることもある。100gぴったりにパンを焼くことは不可能だ」と言いました。

● 確かに、毎回100gぴったりにパンを焼くことは不可能に思えます。住民はまだ内心では納得できませんでしたが、意見を取り下げざるを得ませんでした。

老獪なパン屋



● その日住民は眠れず、朝になるまで考えました。● パン屋の言うことは正しいように思えますが、何か

が納得できません。● 翌日になって、住民はたまたま町に住んでいた統

計学者に相談することにしました。

第2話　確率論

Karl Pearson(1857 - 1936)



● 統計学者は話を聞いて、この件について住民に代わって調査することにしました。

● 統計学者は、その日から100日間のパンの重さを記録し、パンが100gより重い日と軽い日がそれぞれ何回あったかを数えました。

● パンの重さが100gを超えたのは30回、超えなかったのは70回でした。

データを集める



● 100gより重いパン、軽いパンがそれぞれ同じ数だけあると仮定する。すると、（今は分からなくても良いですが）中心極限定理より、100gより重いパンの個数をSとすると、S 30≦ である確率は、標準正規分布に従う確率変数が3以上の値をとる確率で近似できる。このことから、

届けられる100個のパンのうち、100gより重いパンが30個以下である確率は、0.2%以下である。

● これは、偶然とは考えづらい低い確率である。

(いわゆる「3シグマ範囲」の境界)

確率を計算する



● 統計学者がこのことをパン屋に指摘すると、パン屋は不正を認め、パンの重さを適正なものにすることを約束しました。

● その日以降も統計学者はパンの重さを記録し、100gを超える回数と超えない回数がおおむね等しくなることを確認しました。

罪を認めたパン屋

第1話　悪いパン屋第2話　確率論第3話　統計学



● ところがまたある日、統計学者は同様のクレームを耳にするようになりました。

● パンの重さをチェックし続けていた統計学者は不思議に思いましたが、町の噂で次のようなことを聞きました。

● それは、パン屋の焼くパンは今までと全く変わらない品質のもので、統計学者の家にだけ、一定の重さを超えたパンを届けている、というものでした。

● 統計学者は、この説を検証することにしました。

第3話　統計学



● パン屋に不正の指摘をする前に統計学者の家に届けられていたパンの重さの分布

● 最初の100日間



● パン屋に不正の指摘をした後に統計学者の家に届けられたパンの重さの分布

次の100日間



● まさに噂に聞いた通り、「ある一定の重さに満たないパンを切り捨てている」（一定以上のものを意図的に選んでいる）ような形の分布になっている。

● 依然として98gがピークになっており、100gのパンを焼こうとしているとはとても思えない。

● パン屋は不正を改めていない。

分析



● 統計学者は、これらのデータを証拠として国に提出しました。

● パン屋は逮捕され、その町では別のパン屋が営業を始めることになりました。

● その後の警察の調べで、パン屋は小麦粉を闇市に流していたことが判明しました。

● めでたしめでたし

パン屋の最期



● パン屋がもう少し賢ければ、統計学者の家には100gを中心とした分布になるようにパンを届けていたかもしれない。

● というかそもそも、指摘されただけで済んだ時点で不正をやめたかもしれない。

● 紹介した分布のグラフは、描き方がまずい。今回は連続的な曲線としてグラフを描けるほどのサンプルを集めていない。

補足



● 辞書的な意味● 統計データの分析プロセス● 統計のウソ● この勉強会でやること

統計学って何？



● "statistics"の意味はだんだん変化してきた。

● 最初は”state” つまり国に関するデータのことを指していた。

● のちに、あらゆる種類の情報を集めたものを指すようになった。

● さらに後には、そのようなデータに対する説明や解析のことを指すようにもなった。

統計学(statistics)とは



● 今日では、「情報を集めたもの」、「集められた情報に対する解釈、解析などの活動」の両方を指すようになっている。

● 日本語では、「統計」と言えば前者に、「統計学」と言えば後者に近いものを指す。

今日での使われ方



● 統計学の理論には、記述統計学と呼ばれるものと、推測統計学と呼ばれるものがある。

● 記述統計学は、得られたデータの統計量（要約統計量）を計算したり、グラフを書いたりして、規則性や法則を見出す。

● 推測統計学は、確率論という数学の理論を使って、得られた一部のデータから全体の特徴や性質を推測する。

● それぞれ独立しているわけではない。推測統計学は記述統計学を土台としている。

二つの統計学



● 何をするのか考える● データを集める● 解析する● 表現する

統計データの分析プロセス



● 「むやみにデータを集めて、とりあえず統計学の公式に当てはめる」では、あまり意味がない。（教科書には「何の意味もない」って書いてありました）

● 何を確かめるために、何を調査するために、どんなデータをどんな手法で解析する必要があるのか？

● 仮説を構築することで、分析の対象を明らかにしてから初めて、データが必要となる。

何をするのか考える



● 行政機関や研究機関等の第三者が行った調査結果をデータとして利用する場合には、多くの場合原データは手に入らず、何らかの統計処理を施した結果が分析対象となる。

● 必要なデータがもともと存在しない場合には、自然科学の分野では「実験」、人文・社会科学の分野では「調査」と呼ばれる作業が必要となる。

データを集める



● 現代では、具体的な計算・解析を人間が直接行うことは少ない。

● 統計計算用ソフトウェアが数多く存在し、ほとんど人の手を使わずに統計計算が実行できる。

● R言語、 GNU Octave など。

● ただし、コンピュータにできるのはあくまで計算であって、どのような計算をするか選んだり、計算の結果を分析することはできない。

解析する



● 計算された結果を解釈し、それを適切に表現する方法を考える。

● グラフの書き方で、見る者に全く逆の印象を与えることもできる。

● 表現方法は慎重に選ばれる必要がある。

表現する



統計のウソ



● 統計学を使うと、ウソをつきやすい？● 「統計学に基づく」と言えば信憑性がある？● 統計がウソつきであるという場合、統計手法、デー

タの集め方、結果の表現のどれかが適切でないことが多い。

● 統計データを分析するときは、正しいデータを、正しい手法で解析して、正しく表現しましょう。

● 逆に、分析された統計データを見るときは、どんなデータを、どんな手法で解析した結果が、どう表現されているのか気にするようにしましょう。

● 統計的に分析された結果を正しく理解することは、現代社会で生活するうえで必須。

● 結果を理解するには、結果が出るに至った方法についての知識が必要。

● 知識をつける第1ステップとして、単語を紹介するくらいのことができればいいな。

● 結果を理解するだけでなく、分析できるようになれば仕事にも使えるかも？

● 学校の授業のような一般的なクラスでは、推定と仮説検定の理解がゴール？

この勉強会でやること



● データの次元● グラフ（ヒストグラム）● 平均（代表値）● 分散（一次変換、偏差値）

1次元のデータ


データの次元グラフ平均分散

● 次元って何？

● 1次元は線、2次元は面、3次元では縦と横と高さがあって、4次元は3次元＋時間？

● そういう話ではない。● たぶん言葉で抽象的に説明するよりは、例を挙げ

たほうがわかりやすい。

データの次元



● 15人の学生の身長

1次元のデータの例



学生 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

身長(cm) 178 165 168 152 175 175 165 162 164 170 169 155 153 162 168

● それぞれの人から1種類のデータ（身長）を得ているので、このデータは1次元。

● 15人の学生の身長と体重




学生 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

身長(cm) 178 165 168 152 175 175 165 162 164 170 169 155 153 162 168

体重(kg) 63 62 69 41 71 61 62 48 52 55 69 48 44 49 69

● それぞれの人から2種類のデータ（身長と体重）を得ているので、このデータは2次元。

● 15人の学生の身長と体重と性別




学生 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

身長(cm) 178 165 168 152 175 175 165 162 164 170 169 155 153 162 168

体重(kg) 63 62 69 41 71 61 62 48 52 55 69 48 44 49 69

性別男男男女男男男女女男男女女女男

● それぞれの人から3種類のデータ（身長と体重と性別）を得ているので、このデータは3次元。

● 次元というのは、ただこれだけ。● もう少し抽象的に言えば、「各個体から得られるパ

ラメータの数」が次元。

● 100個の項目のアンケートによる調査があったら、得られるのは100次元のデータ。

次元なんて怖くない



● 1次元のデータに対して、2次元以上のデータのことを多次元のデータと呼ぶ。

● 多次元の場合では、個々のパラメータの解析だけでなく、パラメータ間の相互関係の分析も重要になる。

● たとえば、身長の分布と体重の分布を別々に考えるよりも、身長と体重の関係を考えるほうが、より意味のある結論が得られると思われる。

多次元とは



● 調査や実験によって観測値が得られたとき、分析の第一歩として、表や図にすることから始める場合が多い。

● いきなり計算を始めるよりも、全体の分布の状況が明らかになりやすいため。

● なかでも、1次元のデータでは、ヒストグラム (histogram) または柱状グラフと呼ばれるグラフを描くことが多い。

グラフの書き方



● 横軸には観測値の取りうる値をとる。● 横軸を分割したそれぞれのエリアで、長方形の面積と度数（そのエリアに入る個体の数）が一致するように高さを決める。

例：試験得点



● このように各エリアで幅が著しく異なる場合、幅を一定にして、柱同士を離して描くほうが見やすい。

例：従業員規模別事業所数



出典：平成18年事業所・企業統計調査（総務省統計局）

● データには連続型のものと離散型のものがある。

● 血液型や性別、1世帯の人数のような離散型のデータの場合、ヒストグラムでは柱を離して描く。

● 身長や体重のような連続型のデータの場合、ヒストグラムでは柱を分離せずに描く。

● ただし、離散型のデータでも所得や試験の得点のように、取りうる値が十分多く、近似的に連続型とみなせる場合もある。

● 逆に、連続型のデータでも、それぞれの柱で幅が著しく異なる場合、離散型とみなすことが多い。

柱を離す場合と離さない場合



● 統計量とは、一連のデータに何らかの処理（統計学的なアルゴリズム）を施して得られる数値のことである。

● たとえば、平均、中央値、分散、標準偏差といったものが統計量である。

● 順に説明していく。

統計量


データの次元グラフ代表値分散

代表値

● 代表値 (averages)とは、統計量の中でも分布を代表する値のことである。

● 代表的な代表値には、平均、中央値、最頻値などがある。



● 5科目の試験の得点がそれぞれ100点満点中50点、60点、70点、80点、90点でした。平均得点は何点でしょう？

● 5年間の経済成長率が、年間でそれぞれ0%, 10%, 20%, 30%, 40%でした。平均成長率は何%でしょう？

● 500メートル走を実施して、各100メートル間でのスピードはそれぞれ5m/s, 6m/s, 7m/s, 8m/s, 9m/sでした。平均速度は何m/sでしょう？

「平均」計算できますか？



● 5科目の試験の得点がそれぞれ100点満点中50点、60点、70点、80点、90点でした。平均得点は何点でしょう？

● 答え：70点

得点の平均



● 5年間の経済成長率が、年間でそれぞれ0%, 10%, 20%, 30%, 40%でした。平均成長率は何%でしょう？

● 答え：約19%

● 5年間で(1*1.1*1.2*1.3*1.4)倍になるので、1年間あたりの成長率はその5乗根。

● （ここに図を入れたい（1.2倍ずつに増えるとこうなっちゃうよ的な））

成長率の平均



● 500メートル走を実施して、各100メートル間でのスピードはそれぞれ5m/s, 6m/s, 7m/s, 8m/s, 9m/sでした。平均速度は何m/sでしょう？

● 答え：約6.7m/s

速度の平均



速度の平均は、逆数の平均の逆数。

● 平均と一口に言っても、いろんな平均がある。● 相加平均（算術平均）

- 全部足して個数で割る

● 相乗平均（幾何平均）

- 全部かけてn乗根をとる

● 調和平均

- 逆数の相加平均の逆数

● 状況に応じて、適切な平均をとりましょう。● 単に「平均」と言ったら、ふつうは相加平均。

平均といえばふつうは相加平均ですが



● もちろん、平均以外にも代表値は存在する。● 中央値は、データを小さいほうから順に並べたとき

に中央にくる値のことである。

データ[1, 1, 1, 1, 2, 3, 4, 4, 100]のように、一部の個体が他と比べて著しく大きい、または小さい場合に、代表値として平均よりは優れていると思われる。

● 人口1万人の町にビルゲイツが引っ越してきたとして、町民の収入の代表値に「平均」が使えるか？

● 使えない。

中央値（メディアン）



● データの中でもっとも多い値のことを、最頻値（モード）と呼ぶ。

● データの取りうる値をいくつかのエリアに分けたときは、そのエリアを代表する値（階級値）を使う。

最頻値（モード）



この場合は55がモード

● 平均(mean)● 中央値（median）

● 最頻値(mode)● それぞれに特性があって、それぞれに使いどころ

がある。

代表的な代表値



http://www.digitaltonto.com/2012/its-the-math-stupid/

より引用（ググったら見つけた）



● 以下の3つのデータでは、平均、中央値、最頻値がすべて等しい。（どれも5）

● A: [0,3,3,5,5,5,5,7,7,10]● B: [0,1,2,3,5,5,7,8,9,10]● C: [3,4,4,5,5,5,5,6,6,7]● では、これらのデータの違いは何か？

散らばり具合の尺度



● 分布の「ちらばり具合」が違う。

● CはA,Bに比べて、中央に固まって分布している。

● AとBも、比べるとAのほうがとがって分布している。

散らばり具合の尺度



A: [0,3,3,5,5,5,5,7,7,10]B: [0,1,2,3,5,5,7,8,9,10]C: [3,4,4,5,5,5,5,6,6,7]

● 分布の最大値と最小値の差をレンジという。

● 分布を4等分して得られる3つの分位のうち、1つめの値と3つめの値の差の半分を四分位偏差という。

● レンジ：10 - 0 = 10● 四分位偏差：(7 – 3)/2 = 2

レンジ、四分位偏差



A: [0,3,3,5,5,5,5,7,7,10]

● 平均偏差(mean deviation)とは、各観測値が平均からどれだけ離れているかの平均のこと。

● データ　　　　　　　　　　　の平均を　　　とすると、

平均偏差は

となる。● 分子では、単純に差　　　　を足し合わせると符号

が打ち消しあって0になってしまうので、絶対値をとることで正数にしてから足している。

平均偏差



● 平均偏差では、絶対値をとることで符号を消していた。

● 分散は、2乗をとることで符号を消す。つまり、

を分散と呼ぶ。● 絶対値が使われる平均偏差に比べて、数学的に圧倒的に扱いやすい。

分散



● （わからない場合は混乱のもとになるので気にしなくて良いですが）分散S^2の単位の次元は元の観測値と一致しないので、次元をそろえたい状況ではその平方根を使う。

を標準偏差と呼ぶ。

標準偏差



● 相加平均、平均偏差、分散をそれぞれ計算してみましょう。

練習問題



A: [0,3,3,5,5,5,5,7,7,10]B: [0,1,2,3,5,5,7,8,9,10]C: [3,4,4,5,5,5,5,6,6,7]D: [5,5,5,5,5,5,5,5,5,5]E: [0,0,0,0,0,10,10,10,10,10]

● 点数が-100点から100点の試験Aと、0点から100点の試験Bで、平均点とか点数の分散を単純に比較することに意味はあるか？

● 試験Aでの0点は、試験Bでの0点と同じ価値？

● おそらく全然違う。

● -100点と0点が、0点と50点が、100点と100点が対応すると思われる。

● 試験Aの得点xは試験Bでは(1/2)x +50？

データの一次変換



● 適当な数a, bを使って、データ　　　　　　　　　　のそれぞれの値に対して

と一次変換を施すと、平均、分散、標準偏差はそれぞれ以下のように変換される。（証明してみましょう）

データの一次変換



● 与えられたデータに対して、適当な一次変換を施すことで、平均を0に、標準偏差を1にすることができる。

● 具体的には、データの平均を　 , 標準偏差を　　とすると、

と変換すればよい。● この変換を標準化と呼ぶ。

標準化



● 標準化されたデータに対して、さらに一次変換

● を施したものが偏差値得点である。

● つまり、試験の得点を、平均が50点、標準偏差が10点となるように変換したものである。

● z_i, T_iはそれぞれZ得点、T得点と呼ばれることもある。（この記述は教科書にありましたが、ほかの本で違う記述も見ました。どっちが正しいのか判断できてません。注意）

偏差値



● 10人の学生がいる統計学のクラスで、試験の得点が次のようだった場合、得点が最小の学生と最大の学生の偏差値得点をそれぞれ計算してみましょう。（きれいな数字にはなりません）

A: [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]

B: [0, 0, 10, 20, 50, 50, 80, 90, 100, 100]

C: [0, 0, 0, 0, 0, 0, 0, 0, 0, 100]

練習問題



● 今日話したことは、たぶん50年後には常識になっています。

● この機会に、統計学に興味を持っていただければ幸いです。

おわり



Download - 統計学超入門 アップロード用

Top Related

Download - 統計学超入門アップロード用