axjack's blog

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.

統計

二変量正規分布の条件付き期待値・条件付き分散

以下のような二変量正規分布を考える。 ここで、 というZについて、 を計算すると、 となる。 ゆえにX,Y,Zは正規分布に従う確率変数であることから、ZとYは共分散が0⇔ZとYは独立となる。 次に、 ] を計算する。ここで を用いると、 となる。*1 最後に、 ] を…

正規分布と適合度検定

適合度検定 :: 株式会社アイスタット|統計分析研究所より「適合度の検定(正規性)の結果」をRにて計算してみる。 # パラメータ#### # 平均 m1 <- 64.5 # 標準偏差 sd1 <- 13.41 # 度数の総和 n <- 40 # 関数 #### # 区間a<x<bにおける標準正規分布に従うXの確率、を返す関数 f <- function(l,h){ pnorm(h,m1,sd1) - pnorm(l,m1,sd1) } # データ # 観測値:observed #### c(2,4,7,13,10,3,1) -> obs # 期待度数expected #### n *</x<bにおける標準正規分布に従うxの確率、を返す関数>…

ポアソン分布と適合度検定

準1級 例題/解説 の問2より。 ある地域における1日の死亡者数の集計結果表 1日の死亡者数Xがパラメータλのポアソン分布に従うと仮定する。ある日の死亡者数が3人である確率は? に於いて、λ=3を代入すればよい。 同分布を仮定した時、E[X2] とλの関係は?…

標本平均からの偏差二乗和をσ²で割ったものが自由度n-1のカイ二乗分布に従う例のアレの導出

厳密ではないが、カイ二乗分布の再生性やコクランの定理から言えるのではないでしょうかね(無責任)。 導出 Xᵢ ~ N(μ,σ²)に従うiid確率変数とする。 このとき、Zᵢ = (Xᵢ-μ)/σと変換すると、 Z²=ΣZᵢ² over 1 to nはχ²(n) に従う。 ここで、 Σ(Xᵢ-μ)² = Σ{(Xᵢ-X…

忘れては思い出したいポアソン分布

スマホで文字打ち込んでいるのでLaTeXに出来ませんがまぁご愛嬌。 ポアソン分布の確率関数 Pr(X=k) = exp(-θ)θ^k/k! ただしk は0以上の整数 ポアソン分布の期待値 E[X] = θ ポアソン分布の期待値の導出 overはΣの添字が走る範囲です。またexp(θ)=Σθ^h/h! ove…

Rで階層的クラスタリング

あけましておめでとうございます今年も統計学とRの勉強を継続します。 ということで、いつもの通り(?)Yuyaさんの動画にて階層的クラスタリングを見たので、Rを使ってクラスタリングしてみます。 www.youtube.com コード # データの準備 dd <- data.frame( ht…

多変量正規分布の条件付き期待値・条件付き分散

やること 『統計学』東京図書 p.147 練習問題 問5.1の[2]、多変量正規分布の条件付き期待値・条件付き分散を解きます。 問題 が平均ベクトル、分散共分散行列が正値対称行列 の時、X = xおよびZ = zを与えた下でのYの 条件付き期待値 条件付き分散 を求めよ…

2次元正規分布のデータから2通りの方法で回帰直線を引く

タイトルの通りです。 lmで単回帰直線 平均と分散共分散からE[Y|X=x] *1を計算 の2通りで回帰直線を引きます。 コード library(MASS) library(scales) options(digits = 3) # 平均 mx <- 10 my <- 22 # 分散 Sx <- sqrt(9) Sy <- sqrt(16) Sxy <- sqrt(9.6)…

標準誤差は統計量の標準偏差であることを確かめる

やること 離散型確率分布 X p 17 0.3 -1 0.7 に於いて、大きさn=100の標本を抽出する時、 和S の標本分布について、Sの平均、標準誤差 平均M の標本分布について、Mの平均、標準誤差 をそれぞれ 計算 モンテカルロ シミュレーション によりそれぞれ求める。 …

確率変数の取りうる値が2つの時の離散型確率分布の標準偏差を求める公式

結論 確率変数においてそれぞれ確率をとる時、標準偏差SD(X)は となる。ここで||は絶対値の記号である。 どこで見つけたか edXのprobabilityの教科書?であるChapter 14 Random variables | Introduction to Data Science や ここである。 *1 *2 計算例 離散…

一元配置分散分析をRで実装する

手計算でもaovでも一元配置分散分析は出来るので、Rで実装してみようと思った次第です。F分布の累積分布を除いてほぼほぼベクトル演算?を使っています。データは水準の繰り返し数のトータルから適当に生成しています。統計学的観点はほぼ0です。 実装 # デ…

母比率の信頼区間に含まれる2次不等式を解く

母比率の信頼区間 2次不等式を解く 式変形 具体例で検証 公式を用いる 2次不等式を解いた結果を用いる 参考 母比率の信頼区間 母比率 の母集団からサイズの標本を抽出する。このとき標本割合 について、 は近似的に平均、分散 の正規分布 に従う。ただし、…

2次元正規分布の確率密度関数

東京大学出版会『統計学入門』 の p.145 図7.5 2次元正規分布 について、与えられたパラメータから楕円群(等高線の式)を導出する。 パラメータ , 二次元正規分布の確率密度関数 代入 を計算すると、となるので、確率密度関数に代入するとexpの中身は として…

『確率4万分の1、県の入札くじに6回連続当選「奇跡的」』なのかどうかを調べよう

www.asahi.com 動機 面白いニュースを見かけたので計算してみましたなポストです。記事のこの部分に注目しました。 6回のくじにはそれぞれ制限価格で入札した3~8の鑑定業者が参加した。6回連続で当たる確率を計算すると約4万分の1となる。 奇跡ってど…

超幾何分布

何度やっても忘れるのでブログに書いて覚えよう。 超幾何分布の確率質量関数 計算例 その1 男50人女50人から10人を選ぶ。10人のうち男3人女7人となる確率pは、超幾何分布を用いて その2 統計検定準一級2017年問10より引用。表の80人から30人を無作為抽出する…

連の検定(Runs Test for Detecting Non-randomness)

はじめに 連の検定についてよく分からなかったのでRで実装して確かめてみました。 連とは? 2値{A,B}を取る系列ABAABBAAABBBABがあった時、これをA | B | AA | BB | AAA | BBB | A | Bと連続する同じ値ごとに分割できるように見える。この時同じ文字または…

自由度調整済み決定係数を決定係数で表す

やること タイトルの通り式変形をするだけです。 式変形

久保川『現代数理統計学の基礎』p.25 命題2.21 (平方変換)

やること 確率変数の確率密度関数をとする。 Xの平方変換に対して、Yの密度関数は? という命題について、式変形の行間を埋めます。 以下途中式 に対してであるからと無事式変形できる。

多変量解析法入門pp.52-53のテコ比の式変形

やること 多変量解析法入門p.52の式(4.35)あたりの式変形の行間を埋めてみる。 式変形 式(4.35)にて ここで、上式の第一項は 第二項は より、バラバラにした項を足して元に戻せば、 となる。ということで、の係数をテコ比と呼ぶ。式(4.36)

とりあえずアソシエーション分析する〜その3〜

手を動かして形は理解したっぽいので、今度こそ(?)仕組みを理解する編です。いきなり読むと分からなくなるので、何となくアソシエーション分析のパッケージ{arules}は動かせたけどイマイチ意味がわからないんだよなーという状態になった時に読むのをお勧め…

とりあえずアソシエーション分析する

タイトル通りです。とりあえず動かしてみたい!という願望でやってみました。理解は後からついてくると信じて、まずは手を動かしたいという人向け?の記事です。 読み込むデータの準備 データの読み込み 生成したtranデータの確認 いよいよアソシエーション…

2019年6月 統計検定準一級 問3の[1]の(1)(2)

問3の[1]の(1)(2) 問3の[1]の(1) 母比率をとする。また、は近似的に正規分布に従う。 、帰無仮説、対立仮説の片側検定。帰無仮説のもとでが0.0733以上となる確率は? 解答 帰無仮説のもと、 を計算すれば良い。数字を代入すると、 問3の[1]の(2) 母比率をと…

重回帰分析をRで

やること ソースコード 結果の確認 (1)回帰式 (2)自由度調整済み寄与率 (3)同じ地区で広さ=70平米, 築年数=10年, 価格=5.8千万円の提示は妥当か やること 永田『多変量解析法入門』(以下参考書)よりp.2のデータをもとに重回帰分析を行う。 ソースコード # デ…

不偏分散が不偏であることを確認する

元ネタ 統計の基礎 の 母集団からランダムに取り出した標本でなくても,例えば10個の固定した値を4個と6個に分ける場合,両者を比較するには何で割った分散を使うかという問題についても,一貫して n − 1で割るほうが比較としては正しくなります: を別デー…

センター試験2019 数学I・数学Aの統計の問題だけを解く。数学Ⅱ・数学Bの統計もちょっとだけ解く。

www.toshin.com 統計のみ解いて、確率は手を出さないことにします・・・。問題文はリンク先または適当にググってください。 数学I・数学A〔2〕 (1) 2013年のヒストグラム 図1によると、2013年のboxplot(箱ひげ図)は、 最小値:72 1Q:76 中央値:81 3Q:8…

統計学入門 p.65 問3.4 ブートストラップ(途中)

データ data.x <- c(71,68,66,67,70,71,70,73,72,65,66) data.y <- c(69,64,65,63,65,62,65,64,66,59,62) 相関係数は > cor(data.x, data.y) [1] 0.5580547 ブートストラップ 11組のデータからランダムに11個復元抽出し相関係数を計算する、ような関数を作る…

カイ二乗分布をRで図示する

ソース # df個のN(0,1)な確率変数の二乗和 f <- function(df) sum( rnorm(n=df,m=0,sd =1)^2 ) # 繰り返し回数 N <- 10000; # カイ二乗分布をN回計算してヒストグラムを書く showHistOfChiSqrd <- function (df){ cs <- sapply(rep(df,N),f) hist(cs, freq =…

期待値の基本からモーメント母関数まで

基本 確率分布の総和は1 期待値と原点周りのモーメント 以下は記法として覚えてしまうのが得策です。 指数関数 マクローリン展開です。 期待値の性質 モーメント母関数 上記の式を結集すると、モーメント母関数が理解できてく。はず。。となるので、を得る。

平方和分解の途中式を淡々と書く。

となるが、ここで上式の第二項を取り出すととなるので、結局と得る。なお、 および、 を用いた。

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.