buq’s blog

覚えておきたいけど覚えておけなさそうなことを書きます?

macOS のシェルで並列処理

気持ち macOS のシェルで並列処理をしたい. CPUの同時利用数は制限したい コマンドの使い方をなるべく覚えたくない(忘れるので) やったこと GNU parallel を使う. これはいろんなことができるらしいが,細かいことは絶対に覚えられないので面倒でもユニ…

GCE上でWordPressを立ててhttps接続できるようにする

前提 ドメインはもっていて,DNSレコードを好きにさわれる GCE上でWordPress Marketplace にあるので,作る 固定IP化しておく(IP を エフェメラルから静的に変える) https接続 ドメインのAレコードを固定IPに向ける letsencrypt.jp の手順に従ってインスト…

MacBook (Retina, 12-inch, 2017) で 4K@60Hz の外部ディスプレイを使う

MacBook (Retina, 12-inch, 2017) で 4K@60Hz の外部ディスプレイを使いたい.使えた. 課題整理 Mac で 4K ディスプレイ、5K ディスプレイ、Ultra HD TV を使う - Apple サポート 4K@60Hz は DisplayPort でしか出力できない macOS Sierra を搭載した MacBo…

重なりが激しく点数がおおい複数色 scatter はあとでプロットされたほうが優勢に見えちゃう問題

重なりが激しく点数がおおい複数色 scatter はあとでプロットされたほうが優勢に見えちゃう問題というのがあるが,kdeplot で線を細めにするとなんとかなるかもしれない. python - Seaborn pairplot off-diagonal KDE with two classes - Stack Overflow im…

parquet-cpp

macOS High Sierra で parquet-cpp のコンパイルでつまったのでメモ やったこと: xcode をアップデート. xcode を起動して,もろもろがアップデート&インストールされる. brew で bison と flex をアップデート 新しい bison と flex が使われるように e…

pandas の df (というか series) でカラムをフィルターするには isin

stackoverflow.com isin というのが強いっぽい value_list = ['a', 'abc', 'panda'] df[df['col_name'].isin(value_list)] rpt[rpt['STK_ID'].str.contains(r'^600[0-9]{3}$')] # ^ means start of string これは意味分かるけど syntax どうなってるんだろう…

メモ:Bosch Production Line Performance Competition で使われたアルゴリズム

blog.kaggle.com から抜粋してメモ. 1. Ankita Mangal & Nishant Kumar カテゴリカル変数が 2k 個と多く, one-hot representation してそのまま学習は辛い → Follow the Regularized Leader (FTRL) algorithm (何これ) を使って, 2k 個のカテゴリカル変数…

RedShift で実行中クエリの確認&キャンセル

実行中クエリの確認: select pid, user_name, starttime, query from stv_recents where status='Running'; 消したいクエリのpid(XXXXとする)を確認して cancel XXXX; http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/cancel_query.html

Django vs Rails : which is growing more?

ウェブアプリ開発のフレームワークをちょっと勉強したい.私は普段から Python を書いているから Python 上のフレームワークである Django が使いたい(知らない言語で知らない技術を勉強するのは,わからないことの原因究明がストレスフル)が,周りには Ru…

OS X El Capitan で pyenv install ができない(できた)

ERROR: The Python zlib extension was not compiled. Missing the zlib? と文句を言われる. 解決策は開発元が提示してくれている: Common build problems · yyuu/pyenv Wiki · GitHub CFLAGS="-I$(xcrun --show-sdk-path)/usr/include" pyenv install 2.6…

pulp のバグ:目的関数が零のとき valid() の返り値が正しくない

python の LP/MIP ソルバー(のラッパー)である pulp のバグをみつけたのでメモ. GitHub - coin-or/pulp: A python Linear Programming API 具体的には,目的関数がゼロの場合,ダミー変数が現れて solve() 後の valid() (現在の解が実行可能かどうか)の…

カルマンフィルタの導出

カルマンフィルタのベイズじゃない説明の意味がわからなかったので,ベイズっぽく導出した.それのメモ. 状態変数が であり,観測量が がである次の離散時間システムを考える: ここで は系への入力であり, はそれぞれ平均が零,共分散行列が である正規分…

chainer に GPU 計算をさせるときは model を GPU に移してから optimizer と紐付ける

OK なコード model = Regression(Model()) if gpu >= 0: xp = cuda.cupy cupy.cuda.Device(gpu).use() model.to_gpu() else: xp = np opt = optimizers.Adam() # モデルを gpu に移したあとで opt.setup(model) # optimizer と紐付けるとOK NGなコード model…

GPUの利用状態を確認@EC2

nvidia-smi -l でOK. CPU 利用率は top で見られる.

リモート環境の ipython notebook を使う

参考 wisdomthroughknowledge.blogspot.jp サーバで: ipython notebook --no-browser --port=YYYY クライアントで: ssh -L -N -f localhost:XXXX:localhost:YYYY HOSTNAME ※ .ssh/config でHOSTNAMEに対応する key と username は指定済みの場合 ブラウザ…

NULL と陽に書いていない空なカラムを NULL として取り込ませる @ mysql

会社の人に mysql で csvを読み込むとき,NULL と陽に書いていない空なカラムを NULL として取り込ませる方法を教えて貰った.メモ. drop table if exists foo; create table foo ( a INTEGER default null, b INTEGER default null ); LOAD DATA LOCAL INF…

k番目要素

数列が与えられ,k番目の要素を求めるという問題がある. 解き方としてクイックソートに類似したものがあり,計算時間の期待値は O(n) である. 参考:Spaghetti Source - k 番目の要素の選択 この問題をとく乱択でないアルゴリズムをしった(上記サイトにも…

ipython notebook のファイルをダブルクリックで開く:訂正記事

ipython notebook のファイルをダブルクリックで開く方法について以前かいた記事のコードが大幅に間違っていたので訂正します.当該ページは訂正済み. 以前下記の記事を書きました: ipython notebook のファイルをダブルクリックで開く @ OS X - buq’s blo…

整数の除算 @ C++

C++

a/b とか a%b の挙動についてメモ. a, b の一方が負である場合は処理系依存(C/C++のバージョンにもよる?)で, 多くの処理系で「実数の割り算の値a/bを0方向に丸める」ということらしい. ただし (a/b)*b + a%b == a は成り立つようになっている. 先日書…

関数オブジェクト @ C++

C++

C++には関数オブジェクトというものがある. class に operator()を適当に定義してやれば作ることができ, これを用いるとパラメタつき関数みたいなものが実現できる. ここではパラメタつき比較関数(二つの引数をとって,前者が後者より厳密に小さいときtr…

ipython notebook のファイルをダブルクリックで開く @ OS X

ipython notebook の .ipynb ファイルをダブルクリックで開きたい人がいます(私です). 他のひともそういうことを考えているみたいです osx mountain lion - Open an ipython notebook via double-click on osx - Stack Overflow 上記のリンクでは Ubuntu …

有限生成錐 ↔ 多面体的錐の証明

有限生成錐は多面体的錐であり,逆も成り立つ,という定理がある.(p.77, 線形代数II 室田+杉原, 丸善出版) 基礎系 数学 線形代数II (東京大学工学教程)作者: 室田一雄,杉原正顯,東京大学工学教程編纂委員会出版社/メーカー: 丸善出版発売日: 2013/10/09メ…

最小費用ソート(ALDS1_6_D)の解法の正当性(メモ)

Minimum Cost Sort (最小費用ソート)という問題がある. 最小コストソート | アルゴリズムとデータ構造 | Aizu Online Judge この問題を解くことができず,また正解コードをみてもその正当性がよくわからなかった. まじめに考えたら正当性の証明ができつ…

San Francisco 日記

実は現地時間の23日から San Francisco に来ている. 忘備録を兼ねていろいろメモしておく. 23日 到着して宿に行くだけでせいいっぱいだった. 初めて Airbnb を使ったり Über を使ったり,そもそもはじめてのUSだったり,わたわたしていたら宿にいたという…

TOEIC 965

受けるとか受けたとかいっていた TOEIC だが,結果が帰ってきた. 思っていた水準+α の得点で満足しています. TOEIC 本番 3/15 - buq’s blogbuq.hateblo.jp TOEIC模試 - buq’s blogbuq.hateblo.jp ある程度の実力があれば,最後に効いてくるのは語彙だと思…

強相補性→双対定理の証明

手元にある最適化の教科書で線形計画法の再勉強をしているのだが,いまいち 書いてある証明が読めない部分があったので自分で証明しなおした.最適化法 (工系数学講座 17)作者: 田村明久,村松正和出版社/メーカー: 共立出版発売日: 2002/04/01メディア: 単行…

UNIX システムでの git レポジトリの置き場所

ipython notebook が大好きで,それが高じて Jupyter で R を使いたくなってきた. git のレポジトリを手元に引っ張ってきてインストールするのだが,そもそも git のレポジトリってどこにおけばいいんだろうか? こういうのは FHS に従って考えればいいらし…

TOEIC 本番 3/15

TOEIC を受けてきた. 今回が初めての受験だったけれど模試パックを3回分やっていたのでそんなに大きなミスは犯さずに済んだと思う. しかしながらやはり本番は自室や喫茶店で模試をやるのとは違うもので,いろいろな発見があった. また,今回けっこう本気…

TOEIC模試

週末は線形計画法の復習で溶かそうと思っていたが,あんまり頭がまわらない感じなのでZ会のTOEICの模試をやってみた. 弱点がわかるTOEIC TEST模試600問作者: Z会編集部出版社/メーカー: Z会発売日: 2010/03メディア: 単行本この商品を含むブログを見る

計算量理論独習用教材

東大の河村先生が計算量理論の独習用問題集を公開されている. Enshu (Computational Complexity)