機械の中の学習日誌

社畜によるIT技術メモです。今日も元気です。

Plotlyによるデータ可視化1 (インストール方法)

Plotlyとは オープンソースのデータ可視化ライブラリ Python, R, Julia, JS, ggplot2などで利用できる ここでは、Pythonを用いたPlotlyの使い方をメモする。 plotly.com インストールとインポート pipコマンドによるインストール pip install plotly ライブ…

[CodeCommit][Windows] Gitのアカウント切り替え

CodeCommitで複数のアカウントを使う場合に、Windows上で切り替えて使用する方法。 新しいアカウントでのcloneエラー CodeCommitを使っていて、CodeCommitの別のアカウントのリポジトリをcloneしようとしたら、以下のようなエラーがでた。 fatal: repository…

WSL2でPython開発環境構築

WSL2 + VSCode + Docker 開発環境 以下を参照して、WSL2、VSCodeの環境を構築する qiita.com ※インストールメモ ■ WSL2インストール コントロールパネルの「Windows の機能を有効化または無効化」を開く 「Linux 用 Windows サブシステム」と「仮想マシンプ…

ExcelのデータをDataFrame経由でMySQLに登録する

複数個あるエクセルのデータをMySQLに登録した時のメモ エクセルをDataFrameに読み込み、DataFrameからMySQLのテーブルにデータを登録する。 ライブラリインストール python用のORM、sqlalchemcyをインストール。Jupyter Notebookから以下のコマンドを実行 !…

matplotlibの基礎知識を再学習するために参考にしたサイト

可視化作業を捗らせるためにmatplotlibを基礎から再学習。 figやsubplotやaxesなど、イマイチわかっていなかった部分を以下の記事で勉強しなおした。非常に分かりやすかったのでオススメ。 bicycle1885.hatenablog.com qiita.com qiita.com ちなみに、本家の…

DataFrameをエクセル形式でダウンロード

やりたいこと DataFrameを使って前処理をした後のデータをエクセルとして出力したい 環境 Python: 3.8.2 Django: 3.0.4 エクセル関係のライブラリ エクセル出力に必要なライブラリをインストール pip install xlrd pip install xlsxwriter コード バイナリI/…

model参照時のobjects参照エラー抑止

目的 qiita.com この記事を参考に、Djangoを勉強していたところ、modelのobjects参照時にVSCodeで以下のようなエラーが発生。このエラーをどげんかしたかった。 pylintがだすメッセージのようです。 環境 VSCode: 1.14.1 Python: 3.8.2 Django: 3.0.4 pylint…

How to Win a Data Science Competition - Week1 - メモ

昨年末くらいから、Courseraの「How to Win a Data Science Competition」をやってます。 Kaggleでどうやって入賞するかがコースの目的ですが、前処理をどうするか、特徴量をどう作るかなど、様々な方法が説明されていて勉強になります。 とはいえ、なかなか…

Seleniumとpywinautoでファイルの自動アップロード

ファイルアップロード処理の自動化 Webアプリケーションへのファイルのアップロード処理をSeleniumを使って自動化した。 環境 :WIndows10、Python3.7、Chrome アップロード処理の場合、「ファイル選択ボタンを押す⇒ファイル選択⇒アップロード」の流れになる…

日付範囲で持っているデータに対して日付ごとに値を集計する

やりたいこと 以下のサンプルデータのように、1行に数字データと適用範囲(開始日/終了日)があるデータに対し、日付ごとに集計をかけたい。 sampleデータ id start_date end_date count 1 2020-01-01 2020-01-15 20 2 2020-01-01' 2020-01-15 2 3 2020-01-0…

心理統計まとめ - 7-

前回のつづき syunkan81.hatenablog.com 7章 「3つ以上の平均を比べよう(分散分析)」 3つ以上の平均値を比べる 3つ以上のグループの平均値を比べたい時は、分散分析を利用する。 群の平均値の平均値の比較を、全体のばらつき(分散)を2つのばらつき(分…

心理統計まとめ - 6-

前回のつづき syunkan81.hatenablog.com 6章「2つの平均を比べよう(t検定) t検定による平均値の比較 2つの平均値の比較のためのt検定の例 「男女で恋愛感情得点に差があるのか」というリサーチ・クエスチョン 「新しい指導方法の効果を確かめるために、実…

心理統計 まとめ -5-

前回の続き syunkan81.hatenablog.com 5章「統計的仮設検定ってなんだろう」 統計的仮設検定の考え方 ある仮設の成否(正しいか間違っているか)について統計的に検討する方法 実際の手順 仮説を設定する 統計的仮設検定に用いられる標本統計量を選択する …

心理統計 まとめ -4-

前回からの続き syunkan81.hatenablog.com 4章「標本から母集団を推測しよう」 母集団と標本 推測統計:手元にあるデータ(標本)の背後にあるさらに大きな対象(母集団)について推測することを試みる。 母集団:関心のある対象全体 標本(サンプル):実際…

「データ分析の力 因果関係に迫る思考法」メモ

データ分析の力 因果関係に迫る思考法 (光文社新書)作者:伊藤 公一朗出版社/メーカー: 光文社発売日: 2017/04/18メディア: 新書 数式はほとんど出てこないので、データ分析の初学者が読むには最適な本でした。 読んだのでメモっておく。 データから因果関係…

心理統計 まとめ -3-

前回からの続き syunkan81.hatenablog.com 3章まとめ 散布図 2つの変数の関係を見る。 右肩上がりの図:正の相関関係がある 右下下がりの図:負の相関関係がある U字型曲線相関:xが大きくなると、前半はyは小さくなり、後半はyが大きくなる 逆U字型曲線相…

心理統計 まとめ -2-

前回 syunkan81.hatenablog.com 2章まとめ 尺度水準 尺度:何かを測定するときに必要な「ものさし」 尺度水準:尺度の性能のランク。 尺度水準 可能な計算 必要な条件 扱える変数 例 補足 比率尺度 ×, ÷, +, - 絶対的原点 量的変数 身長・体重 *1 間隔尺度 +…

心理統計 まとめ -1-

統計って苦手だなって思ってて、どうしたもんかなーと思ってたわけです。 で、どういった経緯で購入したのか忘れたのですが、多分、この本は分かりやすいってどっかで聞いたので購入したんだと思います。 よくわかる心理統計 (やわらかアカデミズム・わかる…

PowerBIでcorrelation plotパッケージをインポートした時のエラー

以下の記事のように、PowerBIでcorrelation plotを使い、多変量相関散布図を作成しようとしたときにエラーが出たので解消方法をメモしておく。 blogs.yahoo.co.jp 「Correlation Plot」インポート時のエラー 前出の記事に従い、「カスタムビジュアルのインポ…

機械学習用のUbuntu環境構築メモ - 1 - Dockerインストール編

Azureで立てたUbuntuで、機械学習用の環境を構築したのでメモを残しておく。 Docker CEに、jupyter notebookを入れて使えるようにした。 今回はDockerインストール編 1. 環境の確認 2. プロキシ設定 2.1 環境変数 2.2 apt-get 2.3 curl 3. Docker CEのインス…

【メモ】scpのファイル転送結果をログにはく方法

前回の続き scpコマンドをうまく実行できた俺は、喜び勇んでシェルの中に実装したのだが・・・ syunkan81.hatenablog.comシェルの中でログをはいていたが、scpコマンドからのログがどうにも出ない・・・ 少し格闘したのち、素直にググると同じように悩んでい…

SSHで鍵認証設定時の注意点メモ

ある日のこと、scpコマンドでサーバA(Unix)からサーバB(Linux)にファイルを送ろうと思った。 認証は公開鍵認証。鍵の設定は以下を参照しつつながなく終了。qiita.com しかし、いざ、scpコマンドを実行してみても、パスワードを求められてしまう。。 とりあえ…

ニューラルネットワークをかじってきた。

昨日は、仕事帰りに、「第3回 Tokyo Jazug Night」に参加した。仕事が遅くなったので、セッション2の「ニューラルネットワーク入門講座」から参加となった。 時間内容 18:20~ 受付開始 18:55~19:00 会場インフラ説明、今日のアジェンダ紹介 19:00~19:50 …

ブログをはじめてみた

タイトルはまだ決めてません。 IT技術的なことを不定期に書いていく所存です。 不束者ですが、よろしくお願いいたします。