2019-01-05

アーカイ部

メモ

リンク

自問自答

なぜwiki ?
- 更新しやすそう
wikiに何載せるの？
- テキストベースで、コンサート毎のこれまでの演奏曲一覧
- お知らせとか
- 連絡先とか
- リンク先とか
なぜdokuwiki ?
- 誰でも更新できる ( 誰が更新するのかと言う問題。更新されない情報サイト )
- 構文が簡単そう
- アクセス制御ができる
- データベースを使用しない(テキストファイル)
なぜsakura のレンタルサーバーの liteプラン?
- 安い
- dokuwikiがインストールできそう
S3は何に使うの？
- プログラムや音源を保管する
S3はwebサーバーじゃないけどアクセス制御どうするの？
- 第一段階として、さくらのレンタルサーバーでhtaccess(BASIC認証)
- 第二段階として、dokuwiki搭載サーバーを踏み台(語弊)にし、リファラでS3へのアクセス制御
音源ファイルはでかい。ダウンロードされまくると料金がやばいのでは？
- そこが一番の悩みどころ。
- ダウンロードされまくった月のクレジット引き落としが怖いね
レン鯖の容量でかいプランにするのは？
- そうすると年額がコンスタントに高い。
全部AWSとか全部Azureで良いのでは？
- アクセス制御のやり方がよくわからん。
  - cloudfrontやらaws lambdaやら Azure Active Directoryやらあるのは知っているが、ググってサクッと作るほど簡単ではなさそう＆従量課金
Google Driveは?
- Googleアカウントでアクセス制御ってのは、ちょいと面倒。全員Googleアカウント取得しないといけない。

計算

プログラム:: 11MB／1コンサート
　→　22MB／1年
　→　50年分だと　→　1100MB　→　1.1GB
　→　100年分だと　→　2.2GB

音源:: 1.5GB／1コンサート(3時間)
　→　3GB／1年
　→　50年分だと　→　150GB
　→　100年分だと　→　300GB

2018-12-24

統計学入門 p.65 問3.4 ブートストラップ(途中)

勉強統計

データ

data.x <- c(71,68,66,67,70,71,70,73,72,65,66)
data.y <- c(69,64,65,63,65,62,65,64,66,59,62)

相関係数は

> cor(data.x, data.y)
[1] 0.5580547

ブートストラップ

11組のデータからランダムに11個復元抽出し相関係数を計算する、ような関数を作る。

bs <- function(x){
  bx <- sample(data.x,size = 11,replace = T)
  by <- sample(data.y,size = 11,replace = T)
  return( cor(bx,by) )
}

上の関数を10,000回繰り返す。

data.r <- sapply(1:10000,bs)

結果

par(mfrow=c(2,1))
hist(data.r,breaks = seq(-1,1,0.05), main="Histogram of correlation",freq = F,xlab="range of r")
lines(density(data.r), col = "orange", lwd = 2)
boxplot(data.r,horizontal = T)

f:id:axjack:20181224110122p:plain

考察

母相関係数が０になることもあるよってことなのだろうか？ブートストラップ法について調べる必要がある。

2018-12-20

期待値の基本からモーメント母関数まで

統計

基本

確率分布の総和は1

$\sum f(x) = 1\\$

期待値と原点周りのモーメント

以下は記法として覚えてしまうのが得策です。

$E\bigl[ X \bigr] = \sum x f(x) = \mu \\ E\bigl[ X^1 \bigr] = \sum x^1 f(x) = \sum x f(x) = \mu_1 = \mu \\ E\bigl[ X^2 \bigr] = \sum x^2 f(x) = \mu_2 \\ \hspace{10pt} \vdots \\ E\bigl[ X^k \bigr] = \sum x^k f(x) = \mu_k \\$

指数関数

マクローリン展開です。
$\displaystyle exp(\theta) = e^{\theta} = \sum_{\theta=0}^{k} \frac {\theta^k} {k!} = 1 + \theta + \frac {\theta^2} {2!} + \dots + \frac {\theta^k} {k!} \\ \displaystyle exp(tx) = e^{tx} = \sum_{tx=0}^{k} \frac {(tx)^k} {k!} = 1 + tx + \frac {(tx)^2} {2!} + \dots + \frac {(tx)^k} {k!} \\ \displaystyle = 1 + tx + \bigl( \frac {t^2} {2!} \bigr) x^2 + \dots + \bigl( \frac {t^k} {k!} \bigr) x^k \\$

期待値の性質

$E\bigl[ \ 1 \ \bigr] = \sum 1 \times f(x) = 1 \times \sum f(x) = 1 \times 1 = 1 \\ E\bigl[ \ 0 \ \bigr] = \sum 0 \times f(x) = 0 \times \sum f(x) = 0 \times 1 = 0 \\ E\bigl[ \ c \ \bigr] = \sum cf(x) = c\sum f(x) = c \times 1 = c \\ E\bigl[ tX \bigr] = \sum (tx) \times f(x) = t \sum x f(x) = t E\bigl[X\bigr] = t \mu \\ E\bigl[ g(X) \bigr] = \sum g(x) f(x) \\$

モーメント母関数

上記の式を結集すると、モーメント母関数が理解できてく。はず。。

$M_X\bigl[ \ t \ \bigr] \equiv E\bigl[ e^{tX} \bigr] = \sum e^{tx} f(x) = \sum \Bigl( 1 +tx + \frac{ (tx)^2 } {2!} + \cdots + \frac{(tx)^k}{k!} \Bigr) f(x) \\ = \sum \Bigl( f(x) +txf(x) + \frac{ (tx)^2 } {2!}f(x) + \cdots + \frac{(tx)^k}{k!}f(x) \Bigr) \\ = \sum \Bigl( f(x) +t\bigl( xf(x) \bigr) + \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \bigl( x^k f(x) \bigl) \Bigr) \\ = \sum f(x) + \sum t\bigl( xf(x) \bigr) + \sum \frac{t^2} {2!} \bigl( x^2 f(x) \bigr) + \cdots + \sum \frac{t^k }{k!} \bigl( x^k f(x) \bigl) \\ = \sum f(x) + t \sum \bigl( xf(x) \bigr) + \frac{t^2} {2!} \sum \bigl( x^2 f(x) \bigr) + \cdots + \frac{t^k }{k!} \sum \bigl( x^k f(x) \bigl) \\ \displaystyle= 1 + t E\bigl[ X \bigr] + \frac{t^2} {2!} E\bigl[ X^2 \bigr] + \dots + \frac{t^k }{k!} E\bigl[ X^k \bigr] \\ \displaystyle= 1 + t\mu_1 + \frac{t^2} {2!} \mu_2 + \dots + \frac{t^k} {k!} \mu_k$

となるので、

$\displaystyle \left.M_X\bigl[ \ t \ \bigr]' \right |_{t=0} = \mu_1 \\ \displaystyle \left.M_X\bigl[ \ t \ \bigr]'' \right |_{t=0} = \mu_2 \\ \hspace{10pt} \vdots \\ \displaystyle \left.M_X\bigl[ \ t \ \bigr]^{(k)} \right |_{t=0} = \mu_k \$

を得る。

2018-12-17

統計検定2級 2018年6月問4の2

2010年の輸出物価指数を $p_0$ とすると、2011年の輸出物価指数 $p_1$ は変化率 $r_0$ を用いて

$p_1 = p_0 (1+r_0)$

と書ける。

以下同様に書き出すと、
$p_2 = p_1(1+r_1)\\ p_3 = p_2(1+r_2)\\ p_4 = p_3(1+r_3)\\ p_5 = p_4(1+r_4)\\$

の式が得られる。さて、前年からの変化率が常にrであるならば

$p_5 = 100$

となるので、得られた式を下から上に掛けて代入していくと、

$100 = p_5 = p_0\times\prod_{i=0}^{4}(1 + r_i )$

となる。ところで、「変化率が常にrである」とは $1 + r_i$ を $1+r$ と置き換えるに等しい。
したがって、

$100 = p_5 = p_0\times\prod_{i=0}^{4} (1+r)$

を得る。よって、 $p_0 = 89.5$ を代入し、

$100 = p_5 = 89.5\times\prod_{i=0}^{4} (1+r) \\ = 89.5\times(1+r)^5\\ \Leftrightarrow \frac{ 100 } {89.5} = ( 1 + r )^5\\ \Leftrightarrow ( \frac{ 100 } {89.5} )^{\frac{1}{5}} = 1 + r \\ \Leftrightarrow ( \frac{ 100 } {89.5} )^{\frac{1}{5}} - 1 = r \\$

となる。答えは②である。

2018-12-17

平方和分解の途中式を淡々と書く。

勉強統計

$\sum_{}(y_i-\bar{y})^2 = \sum_{}( (y_i - \hat{y_i} ) + ( \hat{y_i} - \bar{y}) )^2\\ = \sum_{}(y_i-\hat{y_i})^2 + 2\sum_{}(y_i-\hat{y_i})(\hat{y_i}-\bar{y}) + \sum_{}(\hat{y_i}-\bar{y})^2 \\$

となるが、ここで上式の第二項を取り出すと

$\sum_{}(y_i-\hat{y_i})(\hat{y_i}-\bar{y})\\ = \sum_{}(y_i - \hat{y_i} )(\hat{\beta}(x_i - \bar{x} ))\\ = \sum_{}(y_i - ( \bar{y} + \hat{\beta}(x_i - \bar{x} ) )) (\hat{\beta}(x_i - \bar{x} ))\\ = \sum_{}( ( y_i - \bar{y} ) - \hat{\beta}(x_i - \bar{x} ) ) (\hat{\beta}(x_i - \bar{x} ))\\ = \sum_{}\hat{\beta}(y_i - \bar{y} )(x_i - \bar{x} ) - \hat{\beta}^2 \sum_{}(x_i - \bar{x} )^2\\ = \hat{\beta}S_{xy} - \hat{\beta}^2S_{xx} = \hat{\beta}(S_{xy} - \hat{\beta}S_{xx} )\\ = \hat{\beta}(S_{xy} - \frac{S_{xy}}{S_{xx}}S_{xx} )\\ = \hat{\beta}(S_{xy} - S_{xy} )\\ = 0\\$

となるので、結局

$\sum_{}(y_i-\bar{y})^2 = \sum_{}(y_i-\hat{y_i})^2 + \sum_{}(\hat{y_i}-\bar{y})^2 \\$

と得る。

なお、
$\hat{y_i} = \hat{\alpha} + \hat{\beta} x_i , \hat{y_i} - \bar{y} = \hat{\beta}(\hat{x_i} - \bar{x})\\ \Leftrightarrow \hat{y_i} = (\bar{y} - \hat{\beta}\bar{x} ) + \hat{\beta} x_i \\ \Leftrightarrow \hat{y_i} - \bar{y} = \hat{\beta}( x_i - \bar{x} )$

および、
$T_{xy} = \sum_{}(x_i - \bar{x} )(y_i -\bar{y}), \\ T_{xx} = \sum_{} (x_i - \bar{x} )^2 , \\ S_{xy} = \frac{1}{n}T_{xy}, \\ S_{xx} = \frac{1}{n}T_{xx}, \\ \hat{\beta} = \frac{ T_{xy} }{ T_{xx} } = \frac{ S_{xy} }{ S_{xx} }$
を用いた。

2018-11-17

統計検定2級 2018年6月問8の2

勉強

問題

ある世帯の毎年６月に於ける電気料金は、平均4000円、標準偏差500円の独立同一正規分布で近似される。ある年に於いて、6月の電気料金がその前年の6月の電気料金より800円以上高くなる確率は？

考え方

情報整理

μ = 4000
σ = 500
Xi = 任意の年の6月の電気料金を表す確率変数
E[Xi] = μ
V[Xi] = σ²
今年6月の電気料金：X1
前年6月の電気料金：X2

求めるもの

題意を式で書くとP(X1-X2 ≧ 800)である。

そこで、まずP(X1-X2 ≧ 800) を計算するために必要な、X1-X2が従う分布のパラメータ(期待値・分散)を求め、最終的に確率を計算する。

計算

X1-X2の期待値・分散を求めると、

E[X1-X2] = E[X1] - E[X2] = μ - μ = 0

V[X1-X2] = V[X1] + V[X2] - 2Cov[X1,X2]

ここで、

Cov[X1,X2] = E[X1X2] - E[X1]E[X2]

であるが、X1とX2は独立なのでE[X1X2]=E[X1]E[X2]である。ゆえに、Cov[X1,X2] = 0

よって、

V[X1-X2] 
= V[X1] + V[X2] - 2Cov[X1,X2]
= V[X1] + V[X2] - 2×0
= V[X1] + V[X2] - 0
= V[X1] + V[X2] 
= σ^2+ σ^2 
= 2σ^2

結論

計算結果より、X1-X2が従う分布のパラメータ(期待値・分散)は、

期待値：0
分散：2σ²

となるので、X1-X2はN(0,2σ²)に従うと書ける。

以上を用いて P( X1-X2 ≧ 800 )を計算すると、

P( X1-X2 ≧ 800 )
　　ここで、
　　Z = ( (X1-X2)-0 ) / √(2σ^2)
　　と標準化すると
= P( Z ≧ ( 800-0 ) / √(2σ^2) )
= P( Z ≧ 800 / (σ√2) )
= P( Z ≧ 800 / (500√2) )
= P( Z ≧ 1.131...)
　　標準正規分布の上側確率表より
= 0.129

よって、ある年に於いて、6月の電気料金がその前年の6月の電気料金より800円以上高くなる確率は0.129である。

参照

2018年6月統計検定2級の問題の解説（その2） | ブログ | 統計WEB

2018-10-30

統計学基礎 p95 練習問題問2.2 の解き方を記録しておく

勉強

「統計学基礎」とはいわゆる統計検定２級の教科書である。その中に掲載されている、「航空機の運行中止の例(例3)を用いて次の確率を求めよ。以下略」を、ベイズの定理を使って解いた。

教科書の問題は何度も解いているものの、ベイズの定理の問題だけは頭に入ってこないので、何となくブログにでも書いて解法を定着させようという考えのもと、以下を記す。

結論としては、以下のように図を書いて仕舞えば解けることが分かった。要するに樹形図である。

1 ← 全ての事象が起きる確率
┣故障発生→0.01
┃┣運行継続→1-P(A)
┃┗運行中止→P(A)
┃　┣原因1→P(A∩H1)
┃　┣原因2→P(A∩H2)
┃　┣原因3→P(A∩H3)
┃　┣原因4→P(A∩H4)
┃　┣原因5→P(A∩H5)
┃　┣原因6→P(A∩H6)
┃　┗原因7→P(A∩H7)
┗故障未発生→運行継続→0.99

以下、問題の解き方を記録しておく。

(1)「故障発生」かつ「A∩H5」となる確率を計算する。従って0.01×P(A∩H5)をベイズの定理を使って解く。
(2)P(H5|A)をベイズの定理に基づいて計算する。運行中止の中での話なので故障発生は気にしなくて良い。
(3)故障発生が発生した時は、運行中止と運行継続との2状態どちらか一方となる。問われているのは運行継続の方。従って1-P(A)を計算する。
(4)運行中止にならないのは、「故障未発生の時」または「故障発生かつ運行継続の時」である。従って、0.99 + 0.01 × (1 - P(A) )を計算する。

2018-10-01

確率・統計・R言語の勉強資料

勉強

※随時追加

http://aoki2.si.gunma-u.ac.jp

http://www3.u-toyama.ac.jp/kkarato/

http://lang.sist.chukyo-u.ac.jp/classes/R/

axjack's blog

### axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz ###