一日一膳(当社比)

RとJavaと時々数学

Rで始める傾向スコア分析による効果検証

最近因果推論の勉強を始めた管理人です. 因果効果の推定の基礎となるポテンシャルアウトカムフレームワーク, 選択バイアス, 傾向スコア(特に逆確率重み付き推定)についてRでの実装つきでまとめたので記事にしました. 大まかな内容については、以下の本を参考…

【R】Search Consoleレポートからクリック率を高めるキーワードを推定する

1. 検索キーワードとクリック率 Search Consoleで取得できる検索パフォーマンスレポートでは, Search Consoleを導入済みウェブサイトがどのような検索キーワードからアクセスされているかを確認できます. このデータを元に「どんなキーワードで自分のウェブ…

Power Queryの操作をpowershellで自動化する

Power Queryはデータの取得・加工を行うことができるExcelアドインツールで、 Excel2016以降のExcelであれば標準搭載されています. 普段から利用している人も多いのではないでしょうか. さてPower QueryはGUIベースでも十分使いやすい代物ですが, 自動化を行…

【R】エーレンフェストモデル

1.エーレンフェストモデル エーレンフェストモデル(Ehrenfest model)は, 外界から閉ざされた容器内での気体の拡散を説明する場面に使われる確率モデルの一つで、 マルコフ連鎖の例としてしばしば取り上げられます. 以下、Rでのシミュレーションと合わせてこ…

【R】StanでMAKE AMERICA GREAT AGAINの変化点検知

2020年はアメリカで大統領選挙が行われる年ですが, 前回の選挙戦でのトランプ氏は「MAKE AMERICA GREAT AGAIN」というスローガンで注目を集めていましたね。 今回の記事では、トランプ氏の「MAKE AMERICA GREAT AGAIN」ツイート投稿数の推移を調べてみました…

【Node.js】 Googleスプレッドシートを簡易データベースとして使う

目標 Googleスプレッドシートをデータベースと見立て操作を行うプログラムを作成します. ソースコードは一応gitに上げているので参考までに. 【Node.js】 Googleスプレッドシートを簡易データベースとして使うGitレポジトリ Google Sheets APIクライアントア…

インタラクティブな表をネイティブjavascriptで実装

javascriptの練習をしようと思い, ブラウザで検索・ソートが行える表を実装しました. サンプルはこちらのURLで確認できます. またソースコードはgitにおいてます. 準備 まず今回用にjsプロジェクトを作成します. mkdir interactive-table cd interactive-tab…

【R】listにlistを要素として追加しようとして1時間溶かした

Rでlistにlistを追加しようとしただけなのに1時間溶かしてしまったので、始末書がてら記事化します。 1. 行いたかったこと つぎのようなlist l1, l2があるとします。 l1 <- list( list(x=1, y=2), list(x=3, y=4) ) l2 <- list(x=5, y=6) これらを結合してつ…

なんか自分のブログのアクセス数が木曜日に増えるっぽい

自分のブログのアクセス数を見ていて、木曜日に若干アクセスが伸びている気がした。 そのことについての雑感を書きます。 目次 木曜日にアクセス数が増えてるっぽい 状態空間モデルで曜日別アクセス数を推定 結局木曜日にアクセス数が多い理由は? 木曜日に…

【R】WAICを用いた予測モデル評価を混合Poisson分布で試す

こちらの本の6, 7章の汎化損失・WAICの内容をまとめてみました。 社会科学のための ベイズ統計モデリング (統計ライブラリー ) 作者:浜田 宏,石田 淳,清水 裕士 出版社/メーカー: 朝倉書店 発売日: 2019/12/01 メディア: 単行本(ソフトカバー) 理論と数値…

Macでrstanの実行環境を用意する

パソコン買い換えた時にrstanの実行環境を用意した時のメモです。 想定するOS/Rのバージョン OS Catalina 10.15.1 R 3.6.1 手順1.C++コンパイラの導入 Stanの実行に必要なのでc++のコンパイラをPCにいれてない人はこの手順1を行ってください。(他にXcodeとい…

「蜜蜂と遠雷」というキーワードと一緒にツイートされる作曲家をRで集計

「蜜蜂と遠雷」に関するネタ分析を行ってみた。 「蜜蜂と遠雷」について 「蜜蜂と遠雷」は恩田陸による長編小説です. ピアノコンクールの出場者を題材とした作品で、 10/4から映画が公開されています. 大まかな内容はというと、ピアノコンクールの出場者を題…

隠れマルコフ連鎖モデルの変分推論(Rで実装)

今読んでいるベイズ推論のテキストベイズ推論による機械学習入門 の内容より、 隠れマルコフモデルの変分推論についてRで実装したので記事化してみます。 1.隠れマルコフモデルにおける変分推論 モデルの確認 個の状態の間を移りあうマルコフ連鎖を考えます…

Rで複数のcsvファイルからデータをまとめて読み込む

このところ暑い日が続いてますが,本気で20度くらい気温下がってほしいですよね. 普段の業務で表形式のデータの集計なんかしている方でしたら, csvを複数一気に読み込まないといけないなんていう状況があると思います. 今日はそんな場面で使えるRコードを…

Node.jsでexcelからデータ抽出してjsonにするプログラムかいてみた

どうもこんにちは. 最近冷やし中華ばかりたべている管理人です. 今日は,Node.jsでexcel操作するライブラリxlsx - npm でexcelから抽出したデータをjson形式に書くプログラムをかいてみたのでメモとして残しておきます. 1.目的 次のような,excelシートsa…

Poisson過程とGamma分布

Poisson過程 をパラメータとし,が次の条件で与えられるPoisoon過程であるとします. i. ii.独立増分性( independent increment) 任意のに対して は独立である. iii. 任意のに対して が次の事前分布に従うとします, ただしここではガンマ分布でその確率密度…

tr(AB) = tr(BA)を世界一回りくどく証明する方法

どうもこんにちは.今回の記事の内容は線形代数についての記事です. 線形代数で,次の公式は大体の教科書に載っていると思います. を次正方行列とするとき 今回の記事では,この公式の可換図式を使った回りくどい証明を紹介します(笑) トレースを思い出…

VSCodeで始めるSpringBoot(2) ~ 簡単なREST apiつくってみた

SpringBoot + SQLServer2017で簡単なREST apiを作ってみました. GitHub - gradus-AP/springboot-simple-REST-api SpringBootってなんやねんって方は,前回記事もご参考までに... sonnamonyaro.hatenablog.com 環境 api概要 DB apiの仕様 動作確認script(…

VSCodeで始めるSpringBoot(1)

案件の関係で勉強しはじめたSpring Bootのめも. 目次 Spring Boot 環境 とりあえずHello World!まで Spting Boot Spring Bootは,Webフレームワークのひとつ.Javaで書ける. 環境 環境 OS:Windows 10 JDK: 1.8.0_211 Apache Maven 3.6.1 あとVSCodeの拡張…

基本情報技術者試験まであと一週間を切りました

(この行を消して、ここに「迷い」と「決断」について書いてください) #「迷い」と「決断」 Sponsored by イーアイデム 基本情報技術者試験とは 基本情報技術者試験とは,情報処理に関する知識を有することを示す国家資格です.毎年2回(4月と10月)開催され…

もうggらない{dplyr}

R

目次 {dplyr}パッケージ 使用例(データフレーム) 行抽出はfilter() 集計関数はsummarise() グループ化はgroup_by() ソートはarrange() {dplyr}パッケージ Rパッケージ{dplyr}でデータ整形に使えるパッケージです.毎回ggるのが面倒なのでまとめてみます.git…

幾何ブラウン運動が対数正規分布に従うことの導出

目次 幾何ブラウン運動 導出 幾何ブラウン運動 幾何ブラウン運動は,確率過程の一つで株価の予測などに応用があります.幾何ブラウン運動は,各時刻において対数正規分布(対数とったら正規分布)に従いますが,今回はその導出を行いたいと思います. 幾何ブラ…

変分近似アルゴリズム

// 変分近似アルゴリズムは,ベイズモデルの事後分布を近似的に求める手段の一つです.今回の記事では,変分近似アルゴリズムの導出についてまとめ,また実際に線形回帰モデルに適用してみたいと思います. 目次 1.変分近似アルゴリズム 2.線型回帰モデルの…

生存時間分析のメモ(~Python ライブラリ lifelines~)

$$\newcommand{\Expo}[1]{ \mathrm{exp}\Bigl(#1 \Bigr)}$$ $$\newcommand{\Prob}[1]{\mathbb{P} \lbrack #1 \rbrack}$$ 生存時間分析の基礎事項についてまとめてみた。pythonの生存時間分析ライブラリであるLifelinesを使った分析例も載せています. 目次 1.…

Dyson's Integralの特殊値を計算する

$$\newcommand{\Expo}[1]{ \mathrm{exp}\Bigl(#1 \Bigr)}$$ $$\newcommand{\optim}[1]{ \underset{#1}{\mathrm{arg \ min}} }$$ $$\newcommand{\torusInt}[1]{ \int_{\lbrack 0, 2 \pi \rbrack ^N} \frac{d {}^N #1}{(2 \pi)^N} }$$ 目次 1.Dyson's integral…

Windows PowerShell(とExcel操作)のテンプレ

目次 1.本記事の概要 実行環境 2.PowerShellを動かす 標準入出力 データ型 3.PowerShellの基本文法 条件分岐 繰り返し 関数 Excelワークブックを編集する 本記事の概要 PowerShellのコードのテンプレをまとめました.ExcelのマクロをPowerShellで作りたい人…

python+seleniumで自動でブラウザ操作をする.

目次 1.Seleniumの概要 2.pythonでSeleniumを動かす 準備 Amaozonで商品を検索するデモ 参考文献 1.Seleniumの概要 Selenium(公式サイト)とは,Webアプリケーションのテスト自動化に用いられるツールの一つです.このツールはブラウザ操作を自動で行えるため…

Flaskで,Webサイトを構築するtutorial

// (この行を消して、ここに「迷い」と「決断」について書いてください) #「迷い」と「決断」 Sponsored by イーアイデム 目次 1.flaskアプリケーション Hello worldをブラウザ出力 jinja2テンプレート css装飾 まとめ 参考URL flaskアプリケーション fla…

1次元Ising模型をシミュレーションする.

$$\newcommand{\Expo}[1]{ \mathrm{exp}\Bigl(#1 \Bigr)}$$ $$\newcommand{\optim}[1]{ \underset{#1}{\mathrm{arg \ min}} }$$ 目次 1.1次元Ising模型を解析的に求める 1次元Ising模型 分配関数を求める R, rstanによるシミュレーション stanコード Rコード…

Hirzebruch's Riemann-Roch theorem とBorisov's formula(2)

<script type="text/javascript" src="https://c328740.ssl.cf1.rackcdn.com/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML"></script>$$\newcommand{\expo}[1]{ \mathrm{exp}(#1)}$$$$ \newcommand{\coup}[1]{\langle \[ X \] ,#1\rangle} $$$$\newcommand{\diff}[1]{\frac{d}{dy}#1} $$$$\newcommand{\pdiff}[…