axjack's blog

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.

二項分布の正規近似

X~Bin(n, p)↓↓正規近似 as n→∞↓X~N(np, np(1-p))↓↓標準化↓(X-np)/√(np(1-p)) ~ N(0, 1)↓↓分母分子をnで割る↓(X̅-p)/√( (p(1-p) )/n ) ~ N(0,1)

切断正規分布

統計学実践ワークブックの問6.1〔4〕は、いわゆる切断正規分布の問題である。このキーワードでググると良い。 なお、期待値を求めるために確率変数 のモーメント母関数を計算しようとすると怪我をする?ので、素直に から定義通り期待値を求めましょう。

中心極限定理をラフに証明する

厳密さを捨てて大略理解できれば良いぐらいの証明です。 準備 正規分布のモーメント母関数 確率変数 が に従う時、モーメント母関数 は、 とくに、のとき、 指数関数の底eの極限 テイラー展開 とくに、 逆数 中心極限定理 示したいこと 確率変数 が平均、分…

クーポンコレクターまたはコンプリートガチャ問題

統計学実践ワークブック問5.5より。 問題の概要 4種類のカードを等確率無作為復元抽出で引く。 [1] 4種類のカードを全て揃えるまでの、回数の期待値 [2] あらたに5種類目のカードが追加されたとする。 x: はじめの4種類を集めてから、追加の5種類目を揃える…

指数分布の和の分布

統計学実践ワークブック問4.2より。指数分布の和の分布を求めた時の教訓・感想です。 オチ・教訓・流れ 指数分布は再生性を持っていない 指数分布のモーメント母関数を求めて掛け算しても、元の分布がよく分からない形に。。 なので畳み込み積分で和の分布を…

2019年6月 統計検定準一級 問8

問題文 リンクが切れていないなら問題文を参照。 解く時の気持ち Lassoのことをチョット知っているぐらいのお気持ちで、 機械学習ガチ勢ではなく「統計検定準1級目指してるけど機械学習よくわからん」なスタンスです。 問題の大雑把な概要 中性子の月次カウ…

二変量正規分布の条件付き期待値・条件付き分散

以下のような二変量正規分布を考える。 ここで、 というZについて、 を計算すると、 となる。 ゆえにX,Y,Zは正規分布に従う確率変数であることから、ZとYは共分散が0⇔ZとYは独立となる。 次に、 ] を計算する。ここで を用いると、 となる。*1 最後に、 ] を…

正規分布と適合度検定

適合度検定 :: 株式会社アイスタット|統計分析研究所より「適合度の検定(正規性)の結果」をRにて計算してみる。 # パラメータ#### # 平均 m1 <- 64.5 # 標準偏差 sd1 <- 13.41 # 度数の総和 n <- 40 # 関数 #### # 区間a<x<bにおける標準正規分布に従うXの確率、を返す関数 f <- function(l,h){ pnorm(h,m1,sd1) - pnorm(l,m1,sd1) } # データ # 観測値:observed #### c(2,4,7,13,10,3,1) -> obs # 期待度数expected #### n *</x<bにおける標準正規分布に従うxの確率、を返す関数>…

ポアソン分布と適合度検定

準1級 例題/解説 の問2より。 ある地域における1日の死亡者数の集計結果表 1日の死亡者数Xがパラメータλのポアソン分布に従うと仮定する。ある日の死亡者数が3人である確率は? に於いて、λ=3を代入すればよい。 同分布を仮定した時、E[X2] とλの関係は?…

メモ:Anacondaを使わずにJuliaとJupyterとJupyterLabをインストールする

Anacondaが重かったりアンインストールが面倒くさかったりなんだりで宗教的にAnacondaは受け付けない・・・という人向けのメモです。 環境 mac python /usr/local/bin/python3.8 Juliaのインストール 公式サイトからダウンロードしてインストール https://ju…

標本平均からの偏差二乗和をσ²で割ったものが自由度n-1のカイ二乗分布に従う例のアレの導出

厳密ではないが、カイ二乗分布の再生性やコクランの定理から言えるのではないでしょうかね(無責任)。 導出 Xᵢ ~ N(μ,σ²)に従うiid確率変数とする。 このとき、Zᵢ = (Xᵢ-μ)/σと変換すると、 Z²=ΣZᵢ² over 1 to nはχ²(n) に従う。 ここで、 Σ(Xᵢ-μ)² = Σ{(Xᵢ-X…

忘れては思い出したいポアソン分布

スマホで文字打ち込んでいるのでLaTeXに出来ませんがまぁご愛嬌。 ポアソン分布の確率関数 Pr(X=k) = exp(-θ)θ^k/k! ただしk は0以上の整数 ポアソン分布の期待値 E[X] = θ ポアソン分布の期待値の導出 overはΣの添字が走る範囲です。またexp(θ)=Σθ^h/h! ove…

Rで階層的クラスタリング

あけましておめでとうございます今年も統計学とRの勉強を継続します。 ということで、いつもの通り(?)Yuyaさんの動画にて階層的クラスタリングを見たので、Rを使ってクラスタリングしてみます。 www.youtube.com コード # データの準備 dd <- data.frame( ht…

データサイエンス100本ノックをRでやってみた

github.com 1日1~2時間×1週間ぐらいで終えました。 感想 tidyverseに感謝 日付の計算はstrptimeよりlubridate使った方が簡単 inner_joinはbyを指定しないときnatural joinになって便利 正規表現を使う問題はstr_subやstr_detectを用いても代替可能(問題の趣…

「 平均点以上の人の平均点」を求めるための条件付き確率密度関数が確率密度関数であることを確認する

問題の引用元 問題の要約 解(の途中まで) Q1 Q2 条件付き確率密度関数が確率密度関数であることの確認 参考 問題の引用元 www.youtube.com www.youtube.com 問題の要約 Q1: の第1四分位・第3四分位を求めよ Q2: を求めよ 解(の途中まで) Q1 Xは正規分布に…

多変量正規分布の条件付き期待値・条件付き分散

やること 『統計学』東京図書 p.147 練習問題 問5.1の[2]、多変量正規分布の条件付き期待値・条件付き分散を解きます。 問題 が平均ベクトル、分散共分散行列が正値対称行列 の時、X = xおよびZ = zを与えた下でのYの 条件付き期待値 条件付き分散 を求めよ…

sweep関数の使い方を忘れがちなので自分へのメモ

まとめ sweep関数の MARGIN = 1の時は i 行目のそれぞれの値に対してSTATSの i番目の値をFUNと二項演算する MARGIN = 2の時は j 列目のそれぞれの値に対してSTATSの j番目の値をFUNと二項演算する お気持ち 行平均の引き算のお気持ち sweepで1行目の行平均を…

雑だけどirisを機械学習する

まえがき Data Science: Machine Learningを受講しています。今までのR BasicsやVisualizationに比べて課題が多くてなかなか進まないです。8月中には完了させたいですね。 本題ですが、今回は「雑だけどirisを機械学習する」ということで、とりあえずcaret使…

2次元正規分布のデータから2通りの方法で回帰直線を引く

タイトルの通りです。 lmで単回帰直線 平均と分散共分散からE[Y|X=x] *1を計算 の2通りで回帰直線を引きます。 コード library(MASS) library(scales) options(digits = 3) # 平均 mx <- 10 my <- 22 # 分散 Sx <- sqrt(9) Sy <- sqrt(16) Sxy <- sqrt(9.6)…

標準誤差は統計量の標準偏差であることを確かめる

やること 離散型確率分布 X p 17 0.3 -1 0.7 に於いて、大きさn=100の標本を抽出する時、 和S の標本分布について、Sの平均、標準誤差 平均M の標本分布について、Mの平均、標準誤差 をそれぞれ 計算 モンテカルロ シミュレーション によりそれぞれ求める。 …

確率変数の取りうる値が2つの時の離散型確率分布の標準偏差を求める公式

結論 確率変数においてそれぞれ確率をとる時、標準偏差SD(X)は となる。ここで||は絶対値の記号である。 どこで見つけたか edXのprobabilityの教科書?であるChapter 14 Random variables | Introduction to Data Science や ここである。 *1 *2 計算例 離散…

Rで文字列→数値に変換する際、NAs introduced by coercionが出て困った時のtips

次のような変換を考えます。 "1名" → 1 "2名" → 2 "なし" → 0 "調査中" → NA これをdplyrのパイプの中でmutate( case_when(...) )を駆使して実行していたのですが、エラーとなってしまいました。 データフレーム(見栄えのためtibble) mydf <- tibble( 同居…

edXのHarvardX's Data Scienceを受講しています。

R

edXのHarvardX's Data Scieceとは? → HarvardX Data Science Professional Certificate | edX とりあえずR Basicsが終わってVisualizationのIntroの途中まで来ました。2年前も同じコースを受講したのですが、その時は途中でドロップアウトしてました・・・…

座標軸の回転

これなら分かる最適化数学のp.48にある座標軸の回転について、回転の式を導出してみます。 x成分の計算 と、 よりとなります。 y成分の計算 とよりとなります。 まとめると 以上より、、を行列形式にまとめて、 となります。

一元配置分散分析をRで実装する

手計算でもaovでも一元配置分散分析は出来るので、Rで実装してみようと思った次第です。F分布の累積分布を除いてほぼほぼベクトル演算?を使っています。データは水準の繰り返し数のトータルから適当に生成しています。統計学的観点はほぼ0です。 実装 # デ…

Rで線形計画法

R

lpSolve*1を使って線形計画法を解いてみた。理論は難しいから敬遠していたがソルバー使うと一瞬で解けて気持ち良い。 関数lpに渡すパラメータは以下の通り。第一パラメータは"max"か"min"。詳しいことはrdocumentationなどを参照。 f_obj : ベクトル。目的関…

母比率の信頼区間に含まれる2次不等式を解く

母比率の信頼区間 2次不等式を解く 式変形 具体例で検証 公式を用いる 2次不等式を解いた結果を用いる 参考 母比率の信頼区間 母比率 の母集団からサイズの標本を抽出する。このとき標本割合 について、 は近似的に平均、分散 の正規分布 に従う。ただし、…

2次元正規分布の確率密度関数

東京大学出版会『統計学入門』 の p.145 図7.5 2次元正規分布 について、与えられたパラメータから楕円群(等高線の式)を導出する。 パラメータ , 二次元正規分布の確率密度関数 代入 を計算すると、となるので、確率密度関数に代入するとexpの中身は として…

AB = E ならば BA = Eをランクを用いて示す

チャート式シリーズ 大学教養 線形代数を買ってから、行列の構造、特に「ランク」の理解が深まりました。ということでタイトルの命題の証明です。 AB = E ならば BA = E AもBもn次正方行列、Eはn次単位行列とします。 ここで、rankA = r ≦ n , rankB = s ≦ n…

行簡約行列をRで

pracmaのrrefを使って行簡約行列を出してみます。これで適当な行列を手計算で簡約化して答え合わせができますね。 ソース # install.packages('pracma') # library('pracma') ## 行ベクトルを4本 a1 <- c(1,2,0) a2 <- c(2,4,0) a3 <- c(0,1,3) a4 <- c(1,3,…

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.