「第2回 スタートHaskell2」行ってきた

by @dekokun on 2012/07/22 07:28

Tagged as: Haskell, 勉強会.

初技術ブログ。スタイリングがイケてない部分はおいおい変えていきましょう。あれ、「つっこみいただけたらと」って書いたけどコメント欄ないんじゃね？

イベント概要

• PARTAKE 第2回 スタートHaskell2
• 月に1度くらいのペースですごいHaskell楽しく学ぼうをテキストに、セミナーと演習で進んでいく

内容

• 詳細については以下ブログに詳しいのでそちらにお任せします makopi23のブログ 「第2回 スタートHaskell2」に参加しました
• ちなみに私もSKIコンビネータの話にはついていけませんでした…切ない…

演習問題発表補足

• 演習問題にて、myAndやmyOrなどの実装(論理演算子(&&)や(||)を自分で実装する)について発表しました

私の回答は以下

myNot :: Bool -> Bool
myNot True = False
myNot False = True

myAnd :: Bool -> Bool -> Bool
myAnd True True = True
myAnd _ _ = False

myOr :: Bool -> Bool -> Bool
myOr False False = False
myOr _ _ = True

myXor :: Bool -> Bool -> Bool
myXor True False = True
myXor False True = True
myXor _ _ = False

で、Twitterを見ていたらツッコミをいただいていたのです。

このmyAndは右の引数に対して正格になるから myAnd False _ = False myAnd _ b = b のほうがいい思うのだけど、これはどうなんじゃろ #start_haskell @tanakh

確かに、私のmyAndだと最初に両引数を評価してしまいますので遅延評価を行うHaskellの論理演算子とは挙動が違います(よね…？)

再回答

というわけで、myAndとmyOrについて私が正しいと思うように作りなおしました。

こんな感じでいいのでしょうか。ツッコミいただけたらと。

myAnd :: Bool -> Bool -> Bool
myAnd False _ = False
myAnd _ b = b

myOr :: Bool -> Bool -> Bool
myOr True _ = True
myOr _ b = b

xorはどうあっても両引数を評価しないとダメという認識

以上。

注

この日記は以前書いた別のブログの日記を移設したものです(2012/08/05)

• Send to Kindle
• ツイート
• 

ブログ移設しました！！！

by @dekokun on 2012/07/23

Tagged as: 日記改造.

ブログ移設だ！！ワッショイワッショイ！！

ブログ説明と移設の経緯

• このブログはGitHub PagesとHaskellのHakyllで作られております
• 勉強会などにも参加するようになった私は「よし、技術ブログを作ろう！！！」と思い立ったのでした
• 以前よりTumblrにブログを書いていたこともあり、新しい技術ブログもTumblrに開設したのでした
• 右記がそのブログ 机上日記
• 会社で技術ブログを作ったことを嬉々として報告していると、隣の方から、「技術者ならGitHubか自前サーバでやれ」「Tumblrは印象がよくない」「どうせなら『すげー』とか思われるようなことしようよ」とご指摘が
• ２つ目のご指摘についてはよくわからないですが、3つ目のご指摘については至極最もに思えましたので、では前から気になっていたGitHub Pagesで作りましょうねと相成ったのでした
• さて、GitHub Pages、調べたところ、Ruby製のjekyllなるツールを使えば比較的簡単に使えるそうだ
• 実際ローカルで使ってみて問題なさそうだったため、以下のようなツイートをしたのであった

Github Pagesでブログを書くためjekyllを導入した。 @dekokun

• するとこのような返信が…

@dekokun hakyllもあるよ！ @dekosuke

• なるほどHaskell製のjekyllのようなものらしい
• イバラの道としか思えねど、せっかく最近Haskellを学んでいるということもあり、Hakyllを使ってみることにしたのでした
• めでたしめでたし

今後

• 現在、スタイルシートを全く適用しておらず、また、1枚のHTMLに全てをぶち込むことしかできていないので、今後うまくやっていきたいなと思いました
• と思ったら頑張ったらできた
• HaskellもよくわからんのにHakyllのソースコードとか読む必要が出てくるのだろうな…(遠い目

課題

• h2タグのidが日本語になってるな。。これはいかんでしょ。。Markdownで書いているんだけども、Markdownの変換エンジンによるものだよね。いきなりHaskellコードを読まなくてはならないのかな…
• 現在、引用の部分が非常にわかりづらいのでわかりやすくなるようなスタイルを適用したい
• その他、全面的にスタイルを変更したい
• google code prettyでも使ってコードのシンタックスハイライトを実現しましょう
• シンタックスハイライトはgist貼り付けによって実現したほうがいいかもしれない
• このブログの題名「ブログ移設しました！」だけども、まだ移設出来る段階ではないと思われるので、並行稼動してこっちは「どう変えていったか」を綴っていくとしようと思います
• RSS機能追加(隣の方から「RSSがないブログなんて読んでくれないよ！」とのご指摘！ご最も！！)

• Send to Kindle
• ツイート
• 

シェルスクリプトでクロージャ(的な何か)

by @dekokun on 2012/07/24 10:43

Tagged as: ShellScript, Advent Calender.

まえがき

どうも、社会人生活4年目にしてようやく技術ブログを書き始めました@dekokunです。

変態アドベントカレンダー in Summer(http://atnd.org/events/29918) 11日目となります。

前回は@megascusさんの大人数開発を支える技術でした。

やること

変態ってなんでしょうね。よくわかりませんが、最近やってて「変態的」と言われたシェルスクリプトに関するTipsを今日は書いていきます。

というわけで、シェルスクリプトでクロージャ(的な何か)を実装したいと思います。

クロージャとは何か、ざっくり言えば、関数に環境が紐付いているものですよね多分。

(ちなみに、クロージャの定義を「親関数の外に参照が渡される内部関数をクロージャと呼ぶ」とかにすると今回のものは全く以てクロージャではなくなります。ですので、このタイトルは「クロージャ(的な何か)」なのです)

やろうと思った経緯

最近、シェルスクリプトでちょっとしたプログラムを書くことが増えてきて、グローバル変数が漏洩しまくるシェルスクリプトに嫌気がさしたので内部状態を持つ関数をつくってみたのでした。

実装・動作

早速、シェルスクリプトで作られたクロージャ(的な何か)の実装を見てみましょう

#!/bin/zsh

func(){
  echo 1
  local pre_func_definition
  local pre_count
  local new_func_definition
  pre_func_definition=$(which func)
  pre_count=$(echo $pre_func_definition | awk 'NR==2, NR==2 {print $2}')
  new_count=$(expr $pre_count + 1)
  new_func_definition=$(echo $pre_func_definition | sed -e "s/echo $pre_count/echo $new_count/")
  eval $new_func_definition
}

echo "1回目"
func
echo "2回目"
func
echo "3回目"
func
echo "4回目"
func
echo "5回目"
func

こちらを実行した際、出力が何になるか分かるでしょうか？

正解は以下の通り

$ ./test.sh
1回目
1
2回目
2
3回目
3
4回目
4
5回目
5

関数が呼び出される度に値がインクリメントされているのがお分かりかと思います。

説明

上記関数が呼び出された際に何を行なっているかというと、whichで自分自身の関数定義を文字列として取得し、それをsedで書き換えevalで評価することによって関数定義自体を書き換えて内部状態(?)をもたせています

では、細かく何を行なっているのか。関数定義をコメント付きでどうぞ。

func(){
  # 以下の"1"の部分が関数が呼び出される毎に書き変わっていく
  echo 1

  # 関数内のみで使用する変数宣言
  local pre_func_definition
  local pre_count
  local new_count
  local new_func_definition

  # 自分自身(func関数)の定義取得
  pre_func_definition=$(which func)
  # 上記echo 1の"1"の部分を取得
  pre_count=$(echo $pre_func_definition | awk 'NR==2, NR==2 {print $2}')
  # 上記で得られた値に1を足している
  new_count=$(expr $pre_count + 1)
  # sedによって、関数定義の文字列中のechoで出力する値を上記で得られた数値で置き換える
  new_func_definition=$(echo $pre_func_definition | sed -e "s/echo $pre_count/echo $new_count/")
  # 上記で書き換えられた関数定義の文字列をevalで評価し、新たな関数を定義する
  eval $new_func_definition
}

うん、こんなことができるんです。

問題点

先ほど、「グローバル変数が漏洩しまくるシェルスクリプトに嫌気がさしたので内部状態を持つ関数をつくってみたのでした。」と書きましたが、グローバル変数が漏洩することよりこんなわけのわからないプログラムが記述されているほうが保守コスト圧倒的に上がるよね。

こんなん私が読まされたらキレるわ。

まぁそれはいいとして、上記クロージャ(的な何か)には現在、以下問題点を抱えております。

• bashでは動かない…orz

shebangに“/bin/zsh”とあるところから「何か怪しいぞ」と思った人はご明察、bashで動かないのです。。

致命的です。。。。zshスクリプトなんて使わねぇよ！！！

なぜ動かないかといいますと、bashのwhichが関数の文字列をとってきてくれないからです。(他にも、bashだとevalが改行文字含んだ関数定義を解釈してくれないっぽいという問題もあるが、それはどうにでもなる)

誰か、bashで関数定義の文字列を取得するコマンドを知っていたら教えていただけたらと思います。是非！！！

質問

ちなみに、教えて欲しいのですが、これまで、ずっと「クロージャ(的な何か)」で通してきましたが、実際、こういうのって一般的にクロージャっていうんですか…？？？

新たな関数を関数内で定義しているだけなので、「内部状態を持つ」とすら言えないのかもしれない…

ご意見募集中。

以上、11日目のアドベントカレンダーはこれにて終了。次回はもっと変態的なネタをもってこれたらなと思います。

今後など

現在、HaskellとGitHubPagesを使用したブログへの移行遂行中なので、次回はそっちで書けたらなと (というか、アドベントカレンダーって期間が終わるまで何週もするんですね。やばい！もうネタ切れ！！もっと変態ネタ集めなきゃ！！)

注

この日記は以前書いた別のブログの日記を移設したものです(2012/08/05)

• Send to Kindle
• ツイート
• 

シンタックスハイライト追加

by @dekokun on 2012/07/29

Tagged as: 日記改造.

ブログを改築していく

やりたいこと

• シンタックスハイライトがしたい
• コードを貼り付けるとシンタックスハイライトができるようになりたいですね
• gist貼り付けも行いたい

シンタックスハイライトその1(入力したコードをハイライト)

• 以下ページを参考にしてできました
• tumblr+markdown+google-code-prettyでsyntax highlightingする
• pandocにおいては“```”でコード部分を囲むことでコードと認識される(preタグ、codeタグに囲まれる)

<!-- Code syntax highlight -->
<link href="http://google-code-prettify.googlecode.com/svn/trunk/src/prettify.css" type="text/css" rel="stylesheet" />
<script type="text/javascript" src="https://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js"></script>
<script type="text/javascript " src="http://google-code-prettify.googlecode.com/svn/trunk/src/prettify.js"></script>
<script type="text/javascript">
$(function(){ 
    $('pre').css({
        'overflow-x': 'scroll',
        'background-color': '#f6f6f6',
        'border': '1px dotted #ccc',
        'padding': '0.8em'
    });
    $('pre code').addClass('prettyprint');
    prettyPrint();
});
</script>

シンタックスハイライトその2(gist埋め込み)

• gistの右上の“embed”をクリックして出るスクリプトを埋め込めばOK
• こんな感じ

感想

意外と簡単にできました

• Send to Kindle
• ツイート
• 

Hakyllで作成したブログにRSS機能追加

by @dekokun on 2012/07/29

Tagged as: 日記改造.

ブログをどんどん改築していく

やりたいこと

• RSS機能をつけたい

RSS機能をつけてみよう

• 以下ページを参考にしてできました
• Hakyll.Web.Feed
• 現在、絶賛RSSフィード生成中 http://dekokun.github.com/rss.xml
• RSS生成ができるようになるためのdiffは以下の通り

感想

意外と簡単にできました。あとは、ブログのサイドバーに表示するようにしなくては

• Send to Kindle
• ツイート
• 

GitHub Pagesでのビルド失敗

by @dekokun on 2012/07/29 15:03

Tagged as: 日記改造, GitHub.

現象

• 以下ページを作成したら“[dekokun.github.com] Page build failure”なる通知が…
• Hakyllで作成したブログにRSS機能追加
• 「Jekyllのビルドが失敗している」とかなんとか。詳細は以下。

github said about 3 hours ago: The page build failed with the following error: Unable to run Jekyll. Please see https://help.github.com/articles/pages-don-t-build-unable-to-run-jekyll for help.

• Jekyllを走らせられなかったとのことなのだが、そもそもJekyllをビルドには使っていないのだが…(Markdownで書いたものをローカルでコンパイルし静的ファイルをコミットしてプッシュしている)

調査

• 上記メッセージのリンク先を読んでも、思い当たるフシはない…
• 問題のあるコミットをリバートし、対象ファイルから1つ1つファイルを抜き出しコミットしてはプッシュしてを繰り返し、どの部分が悪いかを特定しました(リモートにプッシュしないとテストできないのが辛いところ…)
• どうも、markdownの中に“+”で始まる行が3連続するとJekyllのビルドが失敗するらしい
• 今回は、diffをmarkdownの中に埋め込んでいたのでそこがひっかかっていた

対処

• コミットとプッシュしまくりにつかれたので、一旦diff部分をgistに記載しそこをブログに埋め込むことで対処した
• もっと検証したいな…

• Send to Kindle
• ツイート
• 

夏サミ感想(グリーを支えるソーシャルコーディングのすべてについて)

by @dekokun on 2012/07/29

Tagged as: 勉強会.

「ブログ環境が構築できてないから旧ブログで書こう」というのを繰り返していると新ブログ環境を構築していく気概が失われるのでこちらで書きましょう

夏サミとは

• 毎年行われているデブサミの夏バージョン。7/27(金)に開催
• メインテーマは「エンタープライズでのソフトウェア開発技術の革新」だそうです
• 参考URL:ソーシャルエンタープライズにフォーカスした「夏サミ2012」、本日開幕！

「グリーを支えるソーシャルコーディングのすべて」のまとめなど

• このセッションだけ参加しました
• togetterまとめはこちら http://togetter.com/li/345680
• 講演してくださったのはグリー株式会社開発本部 CTO室 エンジニアの大場光一郎さん(@koichiroo)
• 大場さんは開発環境全般の改善などを行なっていらっしゃるそう
• グリーがGitHubを導入していたのは一時期話題になっていたので知っており、GitHubを使用してpull requestのワークフローを行なっていることも小耳にはさんでいたため実際にどのようなワークフローを行なっているかを知りたくて参加した

内容まとめ

グリーの課題

• 急激な増員 現在、月に50人ほどずつ増加中

• 業種の増加 1口にエンジニアと言っても、細分化され(Web、ネイティブアプリ、ネットワークなど)業種が増えてきている

• 国際化 日本にも英語ネイティブが増えており、また、グリーは世界各国に計9拠点あり現地のエンジニアも増えてきている

周辺の動向

• SVNからGitへの移行真っ盛り Gitを更に便利にするため、GitHubが出てきている

GitHubの利点(便利な点)

• Forkができる
• pull requestができる(自分でバグを直せば開発元に変更を教えて上げることができる！)
• Githubはソーシャルグラフを持っている(PJ中心ではなく人間が中心になった)
• Git導入により分散repoによって複数人でのシステム開発がやりやすくなったが、GitだけではPJを越えて開発するための機能が足りない

グリーのバージョン管理の歴史

• 2004~ SVN
• 2010~ Git
• 2012~ GitHub導入

GitHub導入の目的

• OSS開発でよいとされている手法を導入
• PJ間のコラボレーション機能
• 埋もれているプログラムの発掘
• 国際化対応(どの国のエンジニアもGitHubは使用しているためアカウント情報だけ教えれば使ってくれる)

実際の効果

• 以前はgitsisを使用していたのだが、gitsis時代はリポジトリメンテナみたいな人がいて、申請が必要だったした。するとソースコード公開が面倒なので行わなくなる
• GitHub導入によって、リポジトリはひとりいくつでも手軽に作成可能に
• ログイン方法さえ教えておけば、外国の人もすぐ使える！！
• 誰が何を開発しているか可視化(あのPJの担当者は誰かとか)
• 手元で書き捨てるようなコードも共有可能に
• 作った人でなくても修正して使い続けられる
• プログラム作成者が退職したりPJに興味がなくなりメンテされなくなっても、別の人によってメンテされる！！(更新されないプログラムは死ぬが、GitHubはソフトウェアの寿命を伸ばしてくれる)

ガイドライン

• Githubを使用したワークフローとガイドラインをしっかり作るのが課題。現在整備中
• GitHubを企画、デザイナーにどう使っていってもらうか(PJ全体に使ってもらう方法)を模索している

GitHubエンタープライズについて

• ソースコードを社外に置くのは難しいという会社のためGitHubエンタープライズがある(社内にGitHubサーバを建てられる)
• グリーでは、GitHubエンタープライズを使用(Social or security)(人数が増えれば、エンタープライズでもソーシャル性がある)
• GitHubエンタープライズを使用する場合、使用ユーザが少ないとせっかくのGitHubのソーシャル性が犠牲になる
• 実感として、使っているユーザが100人くらいだとGitHubのもつソーシャル機能を活かすのは難しい(現在のグリーの人数ならば大丈夫)
• サーバを自分たちで運用をする必要がある(そんなに手はかからないが、何度かダウンはしている)
• 動作が重くなる場合も(リポジトリ数が1000、ユーザ数が500くらいで仮想サーバを増強した)
• GitHubのアップデートに追従するためのアップグレード機能がある
• 管理コンソール(SSHでメンテナンスできるような裏コマンドもある)
• LDAP認証可能

質問など

私の欲していた、GitHubを使用したワークフローに関して質問してみました

• Q. pull requestのワークフローを導入しているという話を聞いたが、実際どうか
• A.チームによる。本流への反映をpull requestのみで行なっているチームもあり、バグ発生が目に見えて下がった
• Q. pull requestのワークフローなど導入する場合、プロジェクトのメンテナがいて、メンテナがpull requestを反映するような形で行なっているのか
• A. メンテナがいるわけではなく、チーム全員でレビューをし、その後pull requestをマージする。ブランチ作成などのワークフローについてはは自社で作成したgit dailyというツールを使って行なっている

その他、他の方の質問など

• Q. デザイナやディレクタにGitを使用してもらうためにどのようなことを行なっているか
• A. デザイナなどでアンテナの高い人を探し新GitHub派を作りその人達に教え、他のデザイナには新GitHub派の人から良さや使用法を伝えてもらう

他にもいくつか質問はありましたがメモしていない…

以上です。

感想

pull requestのワークフローなどについて、簡単にでも伺えたのでよかったです。また、運用についてなど、実際に導入してしかわからないことが聞けたのもよかったです。

pull requestのワークフローは自分で少し行なった限りでは非常に使えるものだと思っているので(GitHubのpull requestのUIはコミットとコメントが時系列順に並び、コードレビュー的な観点から非常に強力。「ここ直せ」「直してpushしました」「ナイス!」みたいなやり取りがしやすい)、私のほうでももう少し使って利点を発信していきたいです。

グリーのGitHubを使用したワークフローについてのブログ記事なども今後出てきて欲しいなど思いました。

誰が何を行なっているかの可視化もできるというのはある程度大規模な会社では有用だと思った

その他夏サミに関係ない話

• このブログ、スタイルシートなどほとんど使用しておらず、真っ白なブログですね。ヘッダフッタナビゲーションもないし。
• Initializr使おうかな
• このブログはHakyllを使用しており、HakyllはMarkdownをHTMLに変換するのにpandocを使用しているのだが、pandocの変換エンジンはネストしたリストを取り扱えないようだ。

• Send to Kindle
• ツイート
• 

シェルスクリプトでMaybeモナド(その1)

by @dekokun on 2012/08/05 13:46

Tagged as: ShellScript, Advent Calender.

まえがき

どうも、以前使ってたブログは開始1ヶ月たたないうちにこのブログに移設しました@dekokunです。

変態アドベントカレンダー in Summer 22日目となります。

21日目は@megascusさんの“変態”を色々な文字集合で表したものをHexDampしてみるでした。

注意書き

ツッコミ歓迎(まだこのブログ、コメント欄がないですが…→コメント欄できました！！)

やること

シェルスクリプトでモナド作成します。今回、中途半端なのですが、まぁ、このアドベントカレンダー、3周目も回ってくると思いますのでそこまでに完全版を提出できたらと。

やろうと思った経緯

せっかく、前回のアドベントカレンダーの記事をシェルスクリプトにしたわけだし(シェルスクリプトでクロージャ(的な何か))、変態アドベントカレンダー発案者(?)のdaiksyさんはScalaを愛用している様子だったので、では関数型言語の人が好きそうなモナドをシェルスクリプトで作成してみようかしらと思いまして…

「戻り値はMaybeだ」とか言っている横でシェルスクリプトの戻り値をreturnか標準出力にするかどうか考えてるのは非常にダメな感じある。

— でこくんさん (@dekokun) 7月 5, 2012

シェルスクリプトって Maybe モナド使えますよね

— こば@v4(experimental)さん (@KOBA789) 7月 5, 2012

というわけで、作りたいなぁと思っていたというのもあります。

Maybeモナドとは

現在、かの有名なすごいHaskellたのしく学ぼう!でHaskellを学んでいるのですが、なんとまだモナドのところに達していません(現在アプリカティブファンクター)。 それにも関わらず、Maybeモナドを作ろうなどとひたすら恐れ多い感じではありますが、まぁいろんなところからまさかり飛んできたら楽しいなぁと思っているところです。

それはいいとして、Maybeモナドとは、失敗する可能性があることを表すMaybe型を返す関数の連鎖をうまくやってくれるように色々してくれるものです。 詳しくはこちらを見るといいのではないでしょうか。 http://www.sampou.org/haskell/a-a-monads/html/maybemonad.html

もうちょっと具体的には、失敗する可能性のある関数の連鎖において途中で関数が失敗したらその後の関数は実施せず、関数失敗の結果を返すような機構を提供するものという理解。

Haskellでの具体例は以下の通り(参考：RubyでMabyeモナドを実装してみた。 - このブログは証明できない。)

途中で計算が失敗する場合は以下の通り

簡単に言うとすべての計算が成功したら“Just 計算結果”が返ってきて、途中の計算が一つでも失敗すれば“Nothing”が返って来るわけですね

戦略

シェルスクリプトには、既にMaybeモナドの>>=に似たようなものとしてパイプが存在します。しかし、パイプは、前の関数が失敗した際も次の関数を実施してくれてしまいますので、Maybeモナドの>>=とは異なりますよね。

というわけで、自作します。

また、そもそもシェルスクリプトでMaybe型をどう表すかという点ですが、シェルスクリプトにおいては返り値として0を返すか1を返すかでJustかNothingかを表し、標準出力の部分でJust hogeのhoge部分を得ることができます。そうすると、既存のコマンドをそのままMaybe型を返す関数として扱えるため極めて都合がよくその方向で考えていたのですが、ちょっと色々あって一旦「標準出力が文字列のNothingであればNothing値、他の値であれば、Just値」という方向でこの日記は進みます。ひどい戦略ですね。

Just “Nothing”という値が返せないですしね(両方とも文字列のNothingですので)…

まぁ、次回の変態アドベントカレンダーまでにちゃんとしたものを作りたいなと思いながら、今日はこのひどい戦略に沿っていきます。

方針

こんな感じで使えるようなものを目指す

ret monad.sh | bind "ls" | bind "cat"

この場合、monad.shが存在すればそのファイルのcatまで行なってくれますが、存在しなければNothingが標準出力に出力されます。

Haskellのreturn, >>=がそれぞれret, パイプ+bindとなっております。bindされる関数が文字列で渡されるのが非常に辛い感じありますが、まぁシェルスクリプトだとしょうがないよね…

Nothingを標準出力で表現することにした理由

上記でパイプを使うようにしたおかげで、次の関数で前の関数の返り値(returnで返って来る値)が取得できなくなり、しかたなく標準出力が文字列NothingかどうかでJustかNothingを判定することにしたのでした…誰か、パイプの前の返り値を取得する方法しりませんか…

ls hoge | echo $?(hogeは存在しないファイル)は1ではなく0が出力されてしまうのです…ls hoge; echo $?と同様に1が出力されるとよかったのですが…

実装

前回のシェルスクリプトでクロージャ(的な何か)とは異なり、ちゃんとbashで動きます。

テスト

まずはMaybe型を返す(というか標準出力に出力する)関数を自作する必要があります。

実際に使ってみる

ret "hoge" | bind "maybe_add_line hogehoge" | bind "maybe_cat"
# -> hogehoge
ret "fuga:存在しない" | bind "maybe_ls" | bind "maybe_cat"
# -> Nothing

ちゃんと動いているように見えますね

モナド則のテスト

モナドには満たすべき法則があるようで、モナドを作る際はちゃんとそれを満たしてあげましょう。

Haskellでモナド則を表すとこんな感じらしい

今回のシェルスクリプト版ではこうなるんですかね。 標準出力を返り値とみなしているため、標準出力を比較する形となります、

モナド則1つ目

モナド則2つ目

モナド則3つ目

ご存知のように、Linuxにおいて0は正常ステータスを表しますので、この例においては無事全てのモナド則が満たされていることが分かるかと思います。

感想

本当にこれで正しいのかどうか全くわからんが、まぁそれっぽいのができたので比較的満足している。 よく見ると、標準出力を出力する関数は全てMaybe型を返す関数となっているのですね。なんかおかしくないかこれ…よくわからん…

次回への課題

上のほうにも書いていますが、終了ステータスが0で標準出力がhogeの場合にJust hoge, 0以外の場合をNothingとなるようにJust,Nothingを定義することにより、Linuxが提供している全てのコマンド/関数が自動的にMaybe型を返す関数になり非常に便利ですので、今度はそういうMaybeモナドを作成したいです。 誰か、パイプでつないだ前の関数の終了ステータスを得る方法を教えて下さい…もしくは、And演算子(&&)でつないだ前の関数の標準出力を得る方法でもいいです…

あとで気付いたこと

これ、わざわざこんなもん作らずとも&&で繋いで最後の標準出力と最後の終了ステータス見るだけでよかったんじゃねってなってるところ

シェルスクリプトにははじめからMaybeモナドが実装されてたんや！！！！！！

更にあとで気付いたこと

違う違う、&&では前の標準出力を使用できないからダメなんだよ！！！自分でそうやって書いてるじゃないか！！

誰か、パイプでつないだ前の関数の終了ステータスを得る方法を教えて下さい…もしくは、And演算子(&&)でつないだ前の関数の標準出力を得る方法でもいいです…

• Send to Kindle
• ツイート
• 

「HTML5 Conference」行ってきた 「次世代Web技術を切り開くゲーム開発者たち」メモ

by @dekokun on 2012/09/08 16:45

Tagged as: HTML5, 勉強会.

まえがき

前回、「シェルスクリプトでMaybeモナド」の前半部分の記事を起こし、次の変態アドベントカレンダーの順番が回ってきた際に後半部分を起こそうと思っていたのですが気付いたら変態アドベントカレンダー事態が終わっており、まだ原稿も作成しておらず、別の話題になりますなー。 本日慶応の日吉キャンパスで行われたHTML5 Conferenceに行って来まして、その中で「次世代Web技術を切り開くゲーム開発者たち」というのが面白かったのでここに概要というかメモを載せておきます。

発表者

• 村岡 正和(バスタイムフィッシュ代表/HTML5-WEST.JP)
• 城戸 総史(株式会社ディー・エヌ・エー)
• 坂本 一樹(グリー株式会社)
• 清水 亮(株式会社ユビキタスエンターテインメント)

UEIの清水さんの話を聞けたのが個人的には嬉しかったですね。

html5でゲーム開発する場合に一番重視したこと

木戸

• 如何に早くゲームが立ち上がり、如何にサクサク動くか
• 最初の頃はFlashを移植しようとしていた
• CanvasとCSSアニメしかない場合、Flashでオーサリングしたデータをどう持っていくか

城戸

• 如何に古い端末の古い標準ブラウザに対応するか

清水

• PCと携帯で同じプログラムが動かない touchstartとmousemoveなど
• キーボート向けのゲームなど移植できない
• ゲームデザインの面でPCでもモバイルでも動かしても問題ないものを作るのが難しい
• モバイルのパフォーマンスはそこまで問題ないが、このバージョンではCanvasよりDOM操作などのほうがいいなどあり、全然クロスプラットフォームではない

HTML5ならではのしんどかったことはない

城戸

• 日々しんどい
• アニメーションは世界中で問題になっている
• これといったCanvas向けオーサリングツールがない
• Adobe edgeなどはCSSアニメーションに頼っており、CSSアニメはアンドロイドでうまく動かない
• ChromeとかAndroidとかの新しいブラウザなど出ると「今度はどのバグが出るか」
• リリース後に新端末で動かしたら止まった…とか
• 同じOS、同じ端末だが片方の端末はclearectを呼ぶと止まる時があるなどあった…

坂本

• Androidの特定のバージョンだとScaleが2回かかったなど(-1倍したい場合に虚数を使わなくては…)
• Android固有の不具合を如何に潰すか
• 如何にユーザ様に新しいバージョンを使ってもらうか

清水

• webkitのナイトリービルドで回転と移動を同時にやると回転しないとか
• WebGLの実装で変数があまり多いシェーダで動かすとマシンごと落ちる
• 「こっちのMacでは動いてもこっちのMacでは動かない」などのWebGLの問題が
• Chromeがおかしくなった少しあとに、同じくwebkitを使っているSafariがおかしくなる
• とにかくマイクロソフト
• 海外のイベントでマイクロソフトのエバンジェリストが発表すると席を立つ

HTML5やったことでどんなメリットがあった

城戸

• 最初からHTML5しか選択肢がなかった
• クロスプラットフォームで動かすには昔はHTMLしかなかった
• Webでしか提供できないもの
• インストール不要(Twitterなどで拡散されたらすぐ使える)
• アップデートが即座

坂本

• iOSならコードのダウンロードはダメ
• ダウンロードしてコードを実行する場合はHTML5を使う(UIWebViewみたいな感じ)
• HTML5を選択することで開発コストを下がる場合があるので
• Canvasのほうが全体的に早い
• 古いOSをサポートするならCSS

清水

• 関数型プログラミングがJSで使えるのでよい
• 意識しないでカリー化、意識しないで高階関数。関数型の良さがわかった
• 書く量が非常に少なくて済む
• iOS向けに5万行
• JSだと700行(enchant.js)
• 9分でゲームを作るコンテストをしている(4回コンパイルしたら時間が終わってしまう)
• HTML5は、JSとCanvasさえあればよい DOMもいらない
• ソースが隠せないのもとてもよい
• ソースを公開させる(GPL)などを強制する必要がなく強制させられる
• HTML5上の成果は強制的に開示させられるため、人類全体によい

これからのゲーム製作で期待できる新しいHTML5仕様は？

こうなってほしいなども含めて

城戸

• ローカルキャッシュ系の発展
• ローカルストレージは非同期ではない
• ローカルストレージは5MB
• indexedDBなど非常に期待

坂本

• ローカルキャッシュ系
• WebGL系
• Google Native Clientが来たらひっくり返るのでは

清水

• WebGL
• WebGLはマシン語が書ける感じなので危険ではある
• AppleのWebViewではWebGLは使える。safariでは使えない
• 現実的な問題があるので難しい
• CSS3で中途半端で3Dが使えるのがよくない。アレのせいでMSがWebGLをいらないとか言っちゃう
• CSS3とWebGLの中間の3Dを動かすものが欲しい
• 立体視
• カメラ系API
• 音声系API
• DRM関係のもの
• DRMがないと作らせてもらえないものとかがある
• 仕様の中で作られていって、安心してできるようになるとネイティブのように使える

今まで専用機がプラットフォームだったゲーム業界と比べてどう変わる？

城戸

• スマートフォンを持っていれば大抵のものが遊べる
• 昔は、ゲームセンターにいかないとだめ、次は、ハードウェア、次は、ゲームボーイなどで持ち歩き、今は、みんな持っているスマートフォン上で動く
• 欧米ではハイリスク・ハイリターンのゲーム製作をしている(ゲーム一本でハリウッド映画並み)。もっと簡単につくれるHTML5などもあり新しい収益源になるのでは

坂本

• 今ではネットワークにつながっているのが当たりまえ
• PS2はモデム持っている人と持ってない人で遊び方が違うが、今ではネットワークにつながっているの前提で企画が立てられる
• ユーザに喜んでもらえるために、お金の払い方が変わってきている(フリーとぅ～プレミア？)
• 開発的な何かで作り方が大きく変わったかどうかについては、ネットワークにつながっているつながっていないくらいか

清水

• ゲーム業界はwebゲームというジャンルは西暦2000年に作っていたが存在感はそんなに大きくなかった
• PSやXBOXなどを作っている人から見ると「そんなんあったの」的な
• 内部的なエンジンでHTML5を読めるエンジンが乗っている
• あまりにもプログラミング観点、ゲームデザイン的な観点が違いすぎて参入しづらいのでは(HTML5 game conferenceというので出た、ゲームをそのままWebGLに移植したものが16GBメモリが必要だったなど)
• ファミコンで出たゲームを携帯に移植したら儲かるのではと思って、ある程度儲かったが、「勝手が違うな」という印象。「新しいゲームボーイが出た」と思ったら、文化など全く違った
• テクノロジーからしたら、そんなに大したことはいあんが、HTML5が主流になることによりゲーム体験という観点では全く変わってくる

既存のコンシューマゲームの市場はあるが、ソーシャルゲームの市場はコンシューマゲームの市場を越えるか

城戸

• 異質なもの。映画とテレビのようなもの。共存可能。タイアップもできる
• Webゲームの市場は伸びるし、ユーザが望む以上はトリプルゲーム市場も残るのでは。どっちも栄える

坂本

• 同じ意見
• 両方とも強くて戦い続けるのがいいのでは
• ユーザが楽しむのであれば、どうでもいい

清水

• ソーシャルゲームについては本音で話せない
• キャッシュマシンとしてのゲームは、ソーシャルゲームに遠くコンシューマゲームは及んでない
• 海外ではコンシューマゲームのほうが売れている
• 日本のゲームは海外にて強くない
• 全体としてパイがシュリンクしているのでは
• 日本のゲームはカルチャーの違いでそんなに海外では売れない
• 20億投下して30億回収する戦略より、1000万投下して10億回収できるかもしれないというほうがよいのでは。開発費が上がっているというのはあれど
• 日本の映画くらいにシュリンクしたら、困る

Web製作と違うゲーム製作フローを教えて！

• キノトロープさんのワークフローなど公開されている

城戸

• ディレクター、サーバサイドエンジニア、フロントサイドエンジニア、UI専門家、ユーザエクスペリエンス専門家など、専門分野化している
• お互い専門分野はあるが、一つのチームとしてどうなればよくなるかを考えゲームを育てる

坂本

• キャラクターを動かすのは専用のアニメーターがオーサリングして作るもの
• 専用のオーサリングツールなど作り、ムダをなくす

清水

• 最初にシナリオハンティングを行う
• 怪盗は燃えない
• ファンタジーかなー
• フランス(チューリッヒ)いこうぜ！
• アビニョンには龍が住んでいるので、龍に会いに
• 崖の上の城を見つけて実際に行ってみる
  • ここにワイバーンが攻めてきたらどうなるかな
• みたいにイメージをふくらませる
• その後企画書を作成し提出
• イラストどうしよう
• 角川、講談社にイラストレーターを頼んだら「優秀なのは渡せない」
• Pixiv
  • この子は毎日絵を描いているから暇に違いない
  • 絵がどんどんバージョンアップしている
  • そんな感じで、2~30人プロとして集めた
• イテレーションも大事だがその前のイマジネーションの段階でどこまで膨らませるか
• 興味のない雑誌を読む
• 釣りのゲームがヒット
• 作るまで釣りをやったことはなかった
• 釣っても魚気持ち悪くて触れない
• 通りがかりのおっさんがハリを抜いてくれて一緒に釣った
• それをそのままゲームにした
  • 釣っている最中におっさんに絡まれる
  • 無視しているとメールが来て、釣れたことが分かる

Web製作者がゲーム製作に参加するためのアドバイス

城戸

• ゲームを作る手段、ツールが充実しているので作りたければ作れる
• 興味があれば参加してください！！
• 弊社も半分以上はWeb製作出身
• 特別なことは現場に入って学ぶもの
• エンタメ好き、ゲームづくりが好きな人がいいのでは

坂本

• Web製作とかゲーム製作とかくくりがわからないが、作りたければだれでもいいのでは、
• すぐに応募して、実際に働いてみよう！飛び込もう！
• 楽しいことしかやってない

清水

一緒に仕事をするかもしれない人という感じで考えると

• 変わった人
• カンボジア学科(5人くらいとか)
• 普通の人が知らない視点を持っている
• 普通の人が興味をもたない視点
• 知らないことと出会うのがエンターテイメント
• 清水が知っていることを知っている人はゲーマーにとってはいいのでは
• 僕でも楽しみを分かるように落としていこうよ というのがよい
• 「関係ないことをしているけど金にならない」くらいがいい
• ゲームはそんなに好きじゃない くらいでもいいのでは

• Send to Kindle
• ツイート
• 

PHP5.3にてタイプヒンティングでスカラー型が使える！？(勘違い編)

by @dekokun on 2012/12/05 22:13

Tagged as: PHP.

まえがき

どうも、最近PHPとHaskellを学んでおります。今日はPHPネタ。php5.3でスカラー型のタイプヒンティングが使えるという勘違いが発生したお話。

発端

皆さんご存知の通り、PHP5.3までは、arrayもしくはオブジェクトの場合はタイプヒントが使用できるのですが、integerやstringなどのスカラー型に対してはタイプヒントは使えません。

• 参考：PHP: タイプヒンティング - Manual

しかし、ある日、私はPHPでタイプヒンティングについてググっていたら、下記のようなサイトを発見したのでした

• 日本PHPユーザ会 掲示板: PHP 5 » プリミティブな型でもタイプヒンティングが働きます

そこに載っていたコードはこんなです。

function myfunc(int $i) {}
myfunc('abc');

-> PHP Catchable fatal error:  Argument 1 passed to myfunc() must be an instance of int, string given, called in - on line 5 and defined in - on line 4

Catchable fatal error: Argument 1 passed to myfunc() must be an instance of int, string given, called in - on line 5 and defined in - on line 4

ふむふむ確かにエラーメッセージを見た限りではintかどうかを判別しているっぽい。実際に自分でもコードを動かし、同じエラーメッセージが出力されるのを見て、私は以下のように完全に勘違いしてしまいました。

おいPHPのタイプヒンティングってintやstringのような型では使えないんじゃなかったのか。マニュアルにそう書いてあるぞ。

— でこくんさん (@dekokun) 12月 4, 2012

php -r ‘function myfunc(int $i) {}; myfunc(“abc”);’ -> PHP Catchable fatal error:Argument 1 passed to myfunc() must be an instance of int

— でこくんさん (@dekokun) 12月 4, 2012

すみません、若干マニュアルをdisってしまいました。。しかし比較的すぐに誤りに気付き、myfuncに実際にint型のものを渡して実験してみました

php -r ’function myfunc(int $i) {}; myfunc(1);’PHP Catchable fatal error:Argument 1 passed to myfunc() must be an instance of int,

— でこくんさん (@dekokun) 12月 4, 2012

あれ、intでタイプヒントしているところにintの1を渡してもエラーになっているぞ！？

解決編

上記の正確なエラーメッセージはこんな感じ

PHP Catchable fatal error: Argument 1 passed to myfunc() must be an instance of int, integer given, called in Command line code on line 1 and defined in Command line code on line 1 PHP Stack trace: PHP 1. {main}() Command line code:0 PHP 2. myfunc() Command line code:1

ここが重要そうなメッセージ

Argument 1 passed to myfunc() must be an instance of int, integer given

このメッセージを見ると、「なるほどタイプヒントに使うべき型名はintじゃなくてintegerだったか」という感じがしますのでintegerに変えてもう一発

function myfunc(integer $i){};
myfunc(1);

PHP Catchable fatal error: Argument 1 passed to myfunc() must be an instance of Integer, integer given, called in /Users/dekokun/test.php on line 13 and defined in /Users/dekokun/test.php on line 12 PHP Stack trace: PHP 1. {main}() /Users/dekokun/test.php:0 PHP 2. myfunc() /Users/dekokun/test.php:13

あれ、駄目だ。エラーメッセージを読んでも、問題なさそう。だって、

must be an instance of integer, integer given

「integerである必要があって、integerが与えられた」って、全然エラーじゃないじゃないですか！！！

まぁ、聡明な皆さんはお気づきかと思いますが、上記エラーメッセージの最初にあるintegerはクラス名を表し、次のintegerはスカラー型のintegerのことを表しているわけですな。わかりづらいですね。

上記エラーを回避するためには、Javaのようにラッパークラスを作ってあげなくては…

というわけで、全くやるきのないラッパークラスを作りました。なんの役にもたちませんね。最低限の礼儀として不変型にしておきました(intは値がコピーされますし不変型になってますよね？)ので許してください。

class Integer
{
  private $i;
  function __construct($i)
  {
    $this->i = intval($i);
  }

    public function __get($key)
    {
        return $this->$key;
    }
}

実際に使ってみた

function myfunc(integer $i){};
myfunc(new Integer(1));

エラーは出ませんでした。めでたしめでたし。(どうでもいいですが、クラス名って大文字小文字区別しないんですね。上記実験で初めて知りました。)

すべては私の勘違いだったのであった(PHPの出力するエラーがわかりづらいというのも間違いなくあると思うが)。

勘違い恥ずかしい。

— でこくんさん (@dekokun) 12月 4, 2012

あとがき

PHP5.4ではintなどに対してもタイプヒントが使えますので(2013/02/05 PHP5.4にタイプヒントが取り込まれるというのは間違い。参考：Scalar type hinting is harder than you think PHP5.5に乞うご期待！)スカラー型のタイプヒントを行いたい方々も多いと思いますが少々お待ち下さい。

ところで、関係ない話ですが、Rubyとか使ってる人たちは、タイプヒンティングがない世界でどのようにストラテジーパターンなどを実現しているのでしょうか。メソッドの存在を信じるしかないのでしょうか。

ダックタイピング全盛なRubyとかでメソッドを呼び出す時って、メソッドが存在することを信じて呼ぶんだっけ。まさか毎回メソッドを呼ぶ前にメソッドの存在確認をしてから呼ぶということはあるまい。PHPにはインターフェースとタイプヒンティングがあるが。

— でこくんさん (@dekokun) 12月 3, 2012

@dekokun メソッドミッシングとかあるし、信じるしかないんじゃないんですかね。よくわかんないけど。

— あやぴー（２１）さん (@ayato_p) 12月 3, 2012

確かに言われてみればそうかも。

@dekokun railsのコード見ると、respond_to?よく見かける

— くろさん (@closer009) 12月 3, 2012

やはり必要なところではメソッドの存在を確認するのか…だるいな…

まぁ、タイプヒンティングがあろうが実行時エラーであることには変わらんが。

— でこくんさん (@dekokun) 12月 3, 2012

以上、最近、静的型付けの言語にとりつかれ気味な私なのでした〜

• Send to Kindle
• ツイート
• 

DevLOVE Conference 2012 に参加した後、これからの私にとって最も大切なこと

by @dekokun on 2012/12/17 00:38

Tagged as: 勉強会.

まえがき

開発(Develop)を愛する人たちの集まり、DevLOVEの100回目のイベント、DevLOVE Conference 2012に参加してきました。

いろいろ思うところありましたが、現在、明らかに体調が良くないので、一番大切だと思えることだけ。

これからどうしていくか

「世界を変えるのは他の誰かではない、世界を変えるのは、自分自身だ」が今回のDevLOVE 2012のテーマであるわけですが、では、自分自身が世界を変えるには、まず自分が変わらなくてはならない。

そして、自分が変わるためには、これから、これまでとは違う何かをしていかなくてはならない

というわけで、これから何をするかだけ宣言して今日は寝ます。

具体的には、1日目の宮川さんのセッション、再び歩き出す物語(資料はこちら→http://www.slideshare.net/WarlockReport/ss-15654184)にて、「DevLOVE 2012から現場に戻ったら、何をする？何をしたい？どうなりたい」を紙に書き隣の人と話し合ったのですが、そこで紙に書いて話したことをこのブログに書きます。内容は以下です。

• 社内朝勉強会を行う
  • はじめに、「今日は○○をします」と宣言するだけで後は勝手にどうぞな勉強会
  • 「社内の他の人が何をしているか、何に興味を持っているかが全くわからないので知りたい」「朝は効率が良いので早朝に作業をすることを自分に強いるため」という２つの目標を達成するためのもの
  • 私の他に誰も参加者がいなくても目標の1つは達成できるが、もう1つの目標を達成するためにも他の人を動員する方法を考えねば
• リファクタリングをしまくる(今もしているけど。継続)
  • リファクタリングをしまくるには、自動テストがあることが前提となってくるため、テストの充実もあわせて行う
• ブログを書く(頻度とかを考えてなかった。。最低、月1回くらいでかな)
• yesodでWebアプリを作って公開
• DevLOVEカンファレンスに弊社の人間が4人来ていることをFacebookで流し、他の人にも「俺も勉強するかー」となってもらう(もらえたらいいなー)(すでに実施済み)

以上、やっていきます。

あとがき

和田さんとTDDBCでペアプロをしてから1年経ったわけだが、この1年、私はどう変わっただろうか。

— でこくんさん (@dekokun) 12月 16, 2012

今思えば、ちょうど1年前にTDDBCのために会社休んで東京から九州まで行き、和田さんとペアプロをさせていただいたことが私の転機になっている気がします(このあたり、ちゃんと1年の振り返りをしなくては)。そして、このイベントによって更に私は変わります。また新しい1年が始まりますね。

追伸

和田さんのセッションで「SQLの閉包性」という言葉が出てきて、何かわからなかったためググったら以下のサイトがヒットした。

• リレーショナル・データベースの世界

このサイト、とてもおもしろい。特に、「基礎理論」の部分が。まだ全部読んでないけど

• Send to Kindle
• ツイート
• 

PHPにおいてstaticメソッドの呼び出し元クラスを動的に変更

by @dekokun on 2013/01/14 20:33

Tagged as: PHP.

staticメソッドを含むクラスをDIしたかったため、クラスを動的に変更してstaticメソッドを呼び出す方法を調べました。

呼び出し方

<?php
class ClassName {
  public static function method() {
  }
}

のようなstaticメソッドの呼び出し元を動的に変更できるようクラス名から呼び出せるようにしたいですね。

以下のようにすればよいです。

$className = 'ClassName';
$className::method();

以上、めでたしめでたし。

クラス名の文字列からnewできることは知っている人も多いかと思いますが、staticメソッドも同様に呼び出せるのでした。

注意事項

この注意事項は、クラス名を動的に指定する場合全般に当てはまります。staticメソッドだからどうこうというわけではありません。

変数に格納しなくてはいけません

new 'ClassName'とか'ClassNeme'::method()とかはできません。パースエラーです。

完全修飾名を使ってください

namespace Hoge\Fuga

class Fuga {
  public static method() {
  }
}

のようなクラスがあった場合、

use Hoge\Fuga

$className = 'Fuga';
$className::method();

のようにエイリアスを使用したアクセスはできません。

$className = 'Hoge\Fuga';
$className::method();

のように完全修飾名を使用しアクセスしましょう。

本件について、詳しくは以下PHPマニュアル参照

• 名前空間と動的言語機能

まとめ

文字列からnewできることを知っている人はよく知っていることばかりだったかもしれませんね。

動的にクラス名を指定できるようにしてレッツエンジョイDIライフ！

• Send to Kindle
• ツイート
• 

「第7回 スタートHaskell2(最終回)」行ってきた

by @dekokun on 2013/01/20 19:26

Tagged as: Haskell, 勉強会.

イベント概要

• PARTAKE 第7回 スタートHaskell2(最終回)
• 月に1度くらいのペースですごいHaskell楽しく学ぼうをテキストに、セミナーと演習で進んでいく
• 去年の5月くらいから続いているこの回もついに今回が最終回だったわけです。私としては、初めて、1時間という長時間の発表をした勉強会かつ、初めての最初から最後まですべて参加した連続の勉強会になりますので、感慨深いです。

今回の内容

• 「すごいHaskell楽しく学ぼう」の第14章(もうちょっとだけモナド)と第15章(Zipper)でした。
• 演習問題はこちらですよ 『もうちょっとだけモナド』　練習問題
  • 私は逆ポーランド記法で書かれた式を計算する関数solveRPNにWriterモナドでログ追加する問題にハマり続けギョッとしました。Haskell力の低さを思い知らされた…
• 私もLiterate HaskellとMarkdownで発表資料作ってみたいです。
• a -> b を((->) a) bと書けばモナドっぽさがわかるでしょ♪♪
• モナドの導入には以下を読むとよいそうですよ。Maybeモナドより簡単なIdentityモナドから考えて行きましょう。
  • 例題で比較する状態系のモナド
• RubyistのかたがHaskellの会合では自虐ネタを話すようになるということが分かったし、PHPerの私は身分を明かし辛い世の中になったものだと思いました(嘘です。最近PHPを使っていることにに対して誇りを持ち始めました)
• LiveReloadとHakyllの連携で快適ブログ記述生活(このブログもHakyll製だし導入せねば！)
• アクセスする度に木の形が変わるスプレー木
  • アクセスしたノードがルートになり、次回以降の検索が早くなる
  • アクセスすればするほどバランスしていく
• 詳しくは、他の方がブログ書いてくれるのではないでしょうか。

最初から最後まで参加してHaskellについての感想とか

• Haskellは純粋ですね
• 型システムって素敵ですね。動的言語しか書いたことなかったから、コンパイル時点でエラーとなるのは大変ありがたいなぁというのを強く感じました。
  • 型システムのない言語を書いた際の恐怖心が格段にあがり、動的言語を書く際のテストの大切さをより強く感じたという副作用も(静的言語でもテストは大切ですが、動的言語はそれとは比べ物にならないほどテストが大切ですね)
• いろいろあってHaskellと一緒にJavaも学んだりして、オブジェクト指向とは何かというのもよく学べました。
• 60人くらいの前で初めて1時間という長時間に渡るHaskellについての発表(発表資料：スタートHASKELL 2 関数型問題解決法)を行いました。「ゆっくり話す」ということだけ意識して発表し、ゆっくり話せました。

これから

• 実際に業務で使っているPHPに対して、「Haskellで何かを作る」というのはまだおこなっていないため、何か作らねばならぬと考えております。
  • やはり、実際に何かを作ってみないと何が良くて何が悪いのかわからない
  • 今のままでは、ただ「Haskellマンセー。純粋じゃない言語使ってるなんてプギャー」というだけでなんの進歩もない
• 以前のブログで書きましたが(DevLOVE Conference 2012 に参加した後、これからの私にとって最も大切なこと)、「yesodでWebアプリを作って公開」したいですね。
• まずはチュートリアル(yesod-tutorial)から(2ヶ月前にやってたけど途中でやらなくなってしまっている)
• 「この勉強会に最後まで参加した人は優秀なHaskellerだと思っているので、是非Haskellを広めていってください」とのことなので、広めて行きたいですね(どうすれば…)

最後に

• 運営の皆さん、ありがとうございました。
• プログラミングを何も書いたこともない私の彼女に「彼女とペアプロするのが夢だったし一緒にHaskellやらない？」って言ってこの勉強会に第2回からモナドに入ったあたりまで4回ほど参加してもらいました。ありがとうございました。あまり予習復習に時間を割けなくてすみませんでした。

• Send to Kindle
• ツイート
• 

GREE Tech Talk #2 へ行って来ました

by @dekokun on 2013/01/28 23:30

Tagged as: GitHub, 勉強会.

GREE Tech Talk #2に参加し、GitHub Enterprise(以下、GHEと表記)の運用についてのお話を聞いて来ました。 開催からだいぶ日がたちましたが、感想など。 「GHE、気軽に導入できるのかなぁ」と軽く考えておりましたが、まだその段階には至ってないようでした。

イベント概要

• GREE Tech Talk#2
• GitHub Enterprise イベントまとめ #greetech02
• GitHub:Enterprise Casual Talk に参加した #greetech02
• GitHub Enterprise TechTalk に見る、各社の運用法

感想

• GitHubエンタープライズの運用は現状では一筋縄ではいかないですね。
• github.comが落ちていても諦められるかつセキュリティ的に問題なければgithub.com使ったほうがよいですね。
• github.com使ってようが、GHE使ってようが、どちらも普通のGitサーバとくらべて格段に落ちやすいしクックパッド社やはてな社がやっているように、別のGitサーバを用意しそちらにミラーリングしてデプロイはそちらを参照するほうがいいですね。
• gitlabは私も検証中なのですが、中身を改造しないと使いづらいです。。
  • ドリコムさんみたいにRailsで開発している会社ならまだいいですが、その他の会社はGitHubの代わりにgitlabというのは難度が高いのではないかと…
  • 「金があるならGHEを使え」
• autossh便利ですね
• 「GitHubはアイコンが出るため、視覚的に誰のコメントかなどがわかりやすくてよい」「絵文字が使えるのがコミュニケーションに役立つ」という意見は、なるほどと思いました。

• Send to Kindle
• ツイート
• 

GitLabにGitoliteが必要なくなるよ いいことばかりじゃないけど

by @dekokun on 2013/02/19 23:28

Tagged as: GitLab, git.

プライベートGitHubが構築できる(Amazon Linux AMIにGit + Gitolite + Gitlabをインストールして、プライベートGitHubを構築する)などとして絶賛話題沸騰中、「貧者のGItHub Enterprize」であるところのGitLabですが、次のメジャーバージョンアップでGitoliteが不要になるという大ニュースが数日前に発表されたにもかかわらず、日本語の情報が全くないのでそれではわたくしめがと思いましてブログを執筆させていただく次第です。 あ、あと、私事で恐縮ですが今度結婚することになりました。

はじめに

皆さん、Amazon Linux AMIにGit + Gitolite + Gitlabをインストールして、プライベートGitHubを構築するを読んで「GitLabの構築はなんと面倒くさいんだ」とは思いませんでしたか(実際のところ、例えば他のGitHubクローンであるところのGitoriousの構築のほうがもっと大変らしいですが)。 Ruby製のGitLabをインストールするにはPerl製のGitolite環境が必要だなんてなんて面倒極まりないですね。

しかし、会社の先輩から「GitLab 5.0からGitolite使わなくなるらしいっすよ」と聞いてGitLab Blogを見ましたら、確かに「Yeap GitLab 5.0 will be without gitolite」(訳：GitLab 5.0からGitoliteいらなくなるよ)と書いてあるではないですか。

以下、GitLab Blogの重要な部分を訳していきます。

Gitoliteを使用したGitLabのこれまでの問題

これまでのGitoliteを使用したGitLabの問題は以下のとおりだそうです。

• GitLabとGitoliteで不整合起きちゃうよ
• リポジトリ数が増えてくるとGitoliteは遅くなるよ
• GitLabをセットアップするのに2ユーザ(GitoliteのユーザとGitLabのユーザ)が必要で面倒だよね
• GitoLiteのせいでコードが複雑になって簡単にミスをするようになってるよ
• Gitoliteはリポジトリやキーの作成をサポートしてくれないよ

解決法

というわけで、GitLabの代わりにGitLab Shellなるものを使用することにしたそうです。

これにより上記の不満点は解消するとのこと。 ついでに、GitLab Shellはgit pullするだけでGitLabの再起動なしでアップデートできて簡単だよとのこと。

Gitolite廃止に対する海外の反応

かなり雑に紹介します

• GitLab ShellはGitLabが動いてないと動かないんだよね？パッチあてたりでGitLabが一時的にダウンする時でもGitoliteの時はリポジトリにはアクセスできてたのにできなくなるのかー。
  • そうそう！これでメンテナンスが難しくなるよね！GitLabを止めることにしてもGitoliteによってリポジトリサービスを提供できるからGitLabを選んだというのも大きいというのに！
  • その他、Gitoliteからの脱却に反対がいくつか。「他のサービスを使うことを考え始めるよ」という意見も
  • GitLagのメンテナさんの回答：GitLab ShellはGitLabがないと動かないよ！よりよい安定性とパフォーマンスのためには仕方ないよね！

終わりに

私も職場でGitLabのメンテナンスしてますが、GitLabが動いてないときでもGitoliteによってリポジトリが使えるというのは魅力だったわけですし、なかなか難しいところですね。まぁ、「Gitoliteのコンフィグをパースするのに1000行のコードと1つのライブラリを使ってるけど、GitLab Shellなら150行で済むよ」っていうんだし、確かに今後の安定性を考えるとGitoliteからの決別も仕方ないのかなと思います。

この件、発表からすでに数日経ってますが日本語の反応が見当たらないってことは、日本人はあまり興味のない話題だったのかなー。

どうでもいいが、GitHub Enterprize欲しいです。

• Send to Kindle
• ツイート
• 

SQLアンチパターンを読みました

by @dekokun on 2013/02/26 8:15

Tagged as: SQL, 書籍.

デプサミ2013で和田さんのSQLアンチパターンの講演を聞けなかった腹いせにSQLアンチパターンを購入して読んでおりましたが読み終わりましたので投稿。

だいたいの内容

世のシステムのかなりの割合で使用されているとおもわれるRDBMSを使用したシステムを作る際に開発者(DBAなど含む)が陥りがちなアンチパターンがまとまっている本です。

「インデックスショットガン(無闇やたらとインデックスを貼りまくる)」などの「そりゃ当然やっちゃいけないよね」と誰しもが納得するものから、「IDリクワイアド(すべてのテーブルにID列をつける)」など、一部の人には「あれ、それって何がダメなんだっけー」というもの、「リーダブルパスワード(パスワードの値を読める状態でDBに保存)」などの、いわゆる「DB設計についての本」にはあまり載っていないようなものまで、幅広いアンチパターンが記載されています。

上記のようにそれぞれのアンチパターンには名前がついているのも「アンチパターンの広まりやすさ、会話への出しやすさが高まる」という点でうれしいところです。

一読した際の全体的な感想

• 「このアンチパターンはここがだめ。代替策にはこれとこれとこれがある。ただ、この代替策をとると今度はここを注意しなくてはいけない」という例が豊富で、更にほとんどの場合に「アンチパターンを用いてもよい場合」が記述されているため、単純なアンチパターン集というよりは、「様々な解決したい問題に対しての策が複数提示され、それらの利点欠点がよく分かる本」というイメージが強い。
• 今後「この方法を取りたいがこの方法にはどんな利点欠点があり、代替策にはどんなのがあるんだっけ」という際に手にとる時に最高の力を発揮すると思われる。
• また、アンチパターンに名前がついているので、あとはみんながこの本を読みさえすれば「これはポリモーフィック関連になってるし直したいよね」とかいう会話ができるようになるし楽しいなぁ。この用語達浸透しないかなぁ。「私はIDリクワイアドが問題だとは思っていませんがあなたはどうですか」とか議論できたらいいなぁ。
• 「はじめに」にも書いてあるが、「本書を読むことで、データベース管理者はソフトウェア開発者がどのような考えでミスを犯してしまうのかがわかります。」はまさにそのとおりだと思います。素敵です。
• シュードキー・ニートフレークの最後にアンチパターンを使用しないように上司を説得方法が記載されているなど、この本は現実と向き合うことを重視していると感じられる。

新たに知ったことや強く感じたことなど

この本を読んで新たに知ったことや、強く感じるものがあった部分を説明。すでにSQLアンチパターンを読んだことのある人以外は理解できない文章

3章 IDリクワイアド

• 本書を読む直前に達人に学ぶDB設計 徹底指南書 初級者で終わりたくないあなたへを読んでいまして「サロゲートキーは撤廃しろ」という主張を見て頭をガーンとやられた気分になっていたのですが、SQLアンチパターンにも同様の主張が見られるとは！！！
• IDリクワイアドに関しては、かなりの数の技術者が「問題はない。むしろこうするべきだ」と言って実践しているだろうなと思います。実践するのはいいとして、少なくとも「自然キーの代わりにID列を作成してプライマリキーとすることによって重複行を許可するようになってしまう」というあたりは押さえておかないといけない部分ですね。

14章 アンビギュアスグループ

• 単一値の原則(Single-Value Rule)という単語は初めて知った
• 私は基本的にPostgreSQLからDBを学んできたために、group byなどを使用した際に集約関数を使用しない列が許容される場合があるのかと驚いた。MySQLやSQLiteはゆるふわちゃんで怖いわ…

17 章 スパゲッティクエリ

• P193のCASE式とSUM関数を組み合わせて条件ごとに集計する方法すごい！！便利！！！！！

19章 リーダブルパスワード

• 最近、「パスワードにはソルトをつけてハッシュ関数にかける」とか「ストレッチングをする」とか以前に「パスワードを不可逆な形で暗号化して保存しておく」ということすら知らない人の数が我々の想定よりははるかに多いのではないかという不安がよく押し寄せるのですが、「アンチパターン：リーダブルパスワード」という言葉が広まれば少しはマシになるのではないかなと思いました。

20章 SQLインジェクション

• プリペアドステートメントを使用することによってクエリオプティマイザがおかしな判断をする場合があるのですね。なんという罠…
• テーブルの識別子や列識別子、SQL予約後などのプリペアドステートメントを使用できない場合の解決策としての「ユーザの入力をコードから隔離する」方法、超便利ですね。

21章 シュードキー・ニートフレーク

• GUIDなんて知りませんでした。

24章 マジックビーンズ

• モデルがアクティブレコードを持つようにするの、とても便利じゃないですか。

初めてAmazonのリンクをはった。

初めて、読んだ本についてのブログを書いての感想

• 書籍についてのブログ記事を書くのは初めてですが、今後は技術書を読み終わったら書いていこうかなと思います。
• ブログを書く際に強制的にもう一度読み直すことになるのでとてもよいですね。
• 本を読んで何を感じたかの記録になるのも良いです。

• Send to Kindle
• ツイート
• 

Composerからプロジェクト内にインストールしたPhingをJenkinsで実行

by @dekokun on 2013/03/06 7:34

Tagged as: Composer, PHP, Phing, Jenkins.

皆さん、Apache AntをベースとしたPHPのプロジェクトビルドシステム、Phingを使ってますか？

今日はComposerでインストールしたPhingをJenkinsから起動する方法について

概要

Jenkinsからのビルド中にphp composer.phar installでvendorディレクトリ下にインストールしたPhingを使用しビルドを行う方法について。 ついでに、JenkinsのPhingプラグインのハマりどころなど(今回の解決策ではPhingプラグインを使ってないけど)

解答

ジョブの設定の「シェルの実行」から

vendor/bin/phing -logger phing.listener.DefaultLogger

-loggerの部分を指定しないとJenkinsの「コンソール出力」上で確認できるログに、ターミナル上で色をつけるための制御文字が出力され表示が崩れます。

めでたしめでたし。…こんな誰でも思いつく方法ですみませんすみません＞＜

結論としては、JenkinsのPhingプラグインの現在の挙動では要件を満たせないという話なのでした。

JenkinsのPhingプラグインについて

• 今回はプロジェクト内にビルドの一環でインストールするPhingを相対パス指定で実行したかったわけですが、Phingプラグインは絶対パスでの指定かつ、すでに存在しているPhingでないと実行してくれなかったため使うのはやめました。これはこれで妥当な挙動だとは思うので、pull requestを送るかどうかは要検討(Jenkinsのプラグインがどのようにできているかを知らないため、その勉強の意味でやってみようかしら)。
• 今回の記事とは関係ないですが、JenkinsのPhingプラグインの設定のPHING_HOME欄の入力は間違えやすいので注意。Phingの実行ファイルを指定するのではなく、Phingのclassesとbinディレクトリが存在するディレクトリを指定する必要があります。phingの実行ファイルを指定しても、“/hoge/fuga/phing/bin/phingが存在しません。”というエラーが出ます。ググったところ同じような現象で悩んでいる人がちらほらいるようですね。

あとがき

どうでもいいですが、Phing使ってるPHPユーザってどれくらいいるんだろうか…

Phingのプロジェクトを作成しながら、「2013年にもなってなぜAntのことを調べているんだ私は」という思いがひしひしとしました。

みんなMaven for PHP使ってたりするのかな。

• Send to Kindle
• ツイート
• 

ブログにSend to Kindleボタンを追加してKindleでブログを読めるようにしよう

by @dekokun on 2013/03/21 1:30

Tagged as: Kindle, 日記改造.

Amazonが[Send to Kindle]（コンテンツをKindleへ送る）ボタンをローンチを読み、昨日あたりからブログ記事にSend to Kindleボタンを置けるようになったことがわかりましたので、早速ブログにボタンをつけてみました。

これまでも、Chrome拡張やFirefox拡張、E-mailを使用した方法などでWebサイトをKindleに送ることはできていたようですが(全く知らなかった)、ブログ側に専用のボタンを設置することで、ユーザが頑張らなくても簡単にKindleにブログ記事を送ることができるようになるわけです。

方法

今回は、WordPress以外の場合の説明をします。 WordPress上のブログにSend to Kindleボタンを作成する場合は専用のプラグインがあるようですので、どうぞ

• Send to Kindle

それでは、以下、簡単な説明。

1. The Send to Kindle Button for Websitesに行く
   • “Choose your button style”で見た目を選択
   • “How do you mark the title, author, and publication date on your pages?”の部分は、facebookボタンなどでOGP設定を行なっている場合は“Open Graph”を選択し、それ以外の場合は“Custom CSS Selectors”を選択しタイトルや作者の名前を、CSSセレクタ形式で選択
     • scheme.org, hNewsの方法で指定することもできるが、私は両形式に詳しくないため割愛
     • 私の場合はすでにOGP設定を行なっていたため“Open Graph”で
   • “How do you mark the main body of content on your pages?”の部分は、実際に配信したい部分をCSSセレクタ形式で選択
     • こちらもscheme.org, hNewsの方法で指定することもできるが、私は両形式に詳しくないため割愛
     • 私の場合はarticleタグ内を全て配信したかったため、“article”で
   • “Do you sell a periodicals subscription on Kindle?”は“No”で
     • Kindle Storeで定期刊行物を販売している際にYesを選択すると、定期刊行物にブログ記事を含ませることができるっぽい。The Washington Post for Kindle (Ad-Free)とかがそうしているそうな。
2. “Generate widget code”ボタンを押下
3. 生成されたコードを自分のブログに貼り付ける
   • “Step 1”のJavaScriptは、bodyタグの最後に貼り付ける
   • “Step 2”のHTMLは、“Send to Kindle”ボタンを置きたい場所に貼り付ける

完了。めでたしめでたし。

注意点

• 対応しているKindleクライアントに対してしか送ることができません
• amazon.comのアカウントに紐付いたKindleクライアントにしか送ることができません(amazon.co.jpのアカウントには送れません)
  • アカウント統合していれば可能なようですが、実際どれくらいの人がアカウント統合しているのだろうか…
  • ちなみに、私はamazon.comのアカウントでSend to Kindleボタンのテストを行いましたが、統合したアカウントではテストをおこなっていないため本当にアカウント統合でいけるのかどうかは知りません。誰か教えてください。
  • これじゃ日本のブログに「Send to Kindle」ボタンをつけても恩恵にあずかることのできる読者はほとんどいないのでは、というかただの害悪である場合のほうが多いかもしれないですね
    • 読者A「おっ、[Send to Kindle]だって。Kindleに送れるのか！ポチッとな」…「あれ、対応デバイスが無いって出てる。死ね」みたいな
• amazon.comのアカウントに紐づく対応クライアントがない場合は、Send to Kindleボタンを押した際に以下のようなメッセージが表示される

You don’t have a supported Kindle device or reading app. For a list of supported devices, click here.

何が便利なんですか

“あとで読むサービスに近い”とおっしゃっているかたがいて、確かにそうかもしれないなと思いました。

Chrome拡張とかをいれなくてもそれができるようになったってのは嬉しいんじゃないですかね。

他に、どんな嬉しいことがあるのかな。誰か教えてください。

まぁ、そもそも、amazon.co.jpのアカウントに対応したKindleで読めなくちゃほとんど嬉しくないですけどね…

以上、めでたしめでたし

2013/03/21 1:41 追記

あ、すでに同様の記事を書いているかたがいらっしゃった。こちらは写真入りだー！

こちらのタイトルなどの指定方法は、schema.org方式ですね。

• 早速ブログに Send to Kindle ボタンを導入してみたのだが・・・

• Send to Kindle
• ツイート
• 

Python製デプロイツール Fabricを初めて使う際に役立つTips

by @dekokun on 2013/04/07 19:30

Tagged as: Python, Fabric, デプロイツール.

2013/04/09 追記 意外と反響があるようなので、Tips追加しました。 2013/05/10 追記 並列実行について調べたのでついでに追記

「次のプロダクトはシンプルなデプロイツールだと噂のCinnamonでも使ってみるかー」と言っていたら、「Cinnamonは使ってるユーザ数が少なそうだし同様のことが行えるFabricのほうがいいんじゃないですかね。」というツッコミをいただき、今回はPerlのプロジェクトでもないためFabricを使用することにしました。

初めて触るFabric、やはり初学者にはいろいろとよくわからない部分があったため、はまって解決したことや便利なTipsなどをつらつらと列挙していきます。

なお、以下情報はPython2.7及びFabric1.6でのみ検証しています。

以下、Tipsです。

日本人がはじめの一歩を踏み出すには

以下を参考にするといいでしょう。バージョンが古いですが、特に問題ないかと。私もpipでインストールしました。

• Python School 1.5.0 documentation

英語でもいいなら、以下本家のドキュメントがいいんじゃないですかね。

• Overview and Tutorial

run関数を呼んだ際、リモートサーバ側では実際にどのように実行されているんですか

わざと失敗してみるとわかりますが、以下のようにbash -l -cで実行しています。

from fabric.api import run

def exittest():
  run('exit 1')

## Requested: exit 1
## Executed: /bin/bash -l -c "exit 1"

SCPがしたい

デプロイの際など、ローカルのファイルをリモートに送りたい場合などありますよね。local(‘scp hoge fuga@host:…’)などしてもいいですが、もっといい方法があります。

(2013/04/13 追記) コメントいただきました。fabricのputはSCPではなくSFTPなのですね(参照：fabric/operations.py 及び fabric/sftp.py)。ありがとうございます。

解決策

put関数を使いましょう。

from fabric.api import put

def scp():
  put('local path', 'remote path')

local pathの部分はワイルドカードも使えますよ。もちろんディレクトリも送ることができます。

• fabric.operations.put

実行される際の環境変数を変更したい

ローカル実行、リモート実行共に、環境変数を規定して何かを実行したい場合がありますよね。

解決策

shell_env関数を使いましょう

from fabric.api import local, shell_env, run

def envtest():
  with shell_env(HOGE='fuga'):
    local('env')
    run('env')

上記のように、同じ環境変数をローカルとリモート両方で使用できます。

上記だと、export HOGE=“fuga”が呼ばれた後に後続のコマンドが実行されます。

どこかにcdしてコマンドを実行させたい

デプロイの際にcd repo_path && git fetch && git checkoutみたいなことしたいこともありますよね

解決策

リモートでcdする場合はcd関数、ローカルでcdする場合はlcd関数を実行しましょう。

with構文を抜けると、cd, lcdの効果はなくなります。

from fabric.api import run, local, cd, lcd

def cdtest():
  local('mkdir -p hoge')
  run('mkdir -p hoge')
  with cd('hoge'):
    local('pwd')
    run('pwd')

  with lcd('hoge'):
    local('pwd')
    run('pwd')

開発環境と本番環境用にデプロイ先を分けたい

まぁ、デプロイツールであれば当然の要求ですよね

解決策

方法がいくつか考えられます。デプロイ先毎にタスクを分ける方法と、デプロイ先を定義するタスクを作り、そのタスクを呼ぶことでデプロイ先を切り替える方法。(その他もろもろ)

from fabric.api import env

# デプロイ先毎にタスクを分ける方法
def dev_deploy():
  deploy('devserver')

def production():
  deploy('prodserver')

def deploy(server):
  env.hosts = [server]
  ...

# タスクのなかでデプロイ先を定義
# $ fab develop deploy など、デプロイ先を定義するタスクを呼ぶことでデプロイ先を制御
def develop():
  env.user = 'devuser'
  env.hosts = ['dev']

def production():
  env.user = 'produser'
  env.hosts = ['prod.server.com', 'prod2.server.com']

def deploy():
  ...

とにかく、なんらかの方法でenv.hostsやenv.userを書き換えればよいです。

他にも$ fab deploy:devserver など、コマンドラインでデプロイ先をタスクに直接与える方法や、デフォルトの$ fab -Hでデプロイ先を指定する方法など、いろいろ考えられますね。

私は、fabfileでデプロイ先をバージョン管理したいかつ、一番柔軟な方法を取りたいという思いがあり、上記の「タスクのなかでデプロイ先を定義」を採用しています。

ロールを分けたい

デプロイツールであれば、「本番環境のなかにもWebサーバとツールサーバがあり、それぞれデプロイする内容が違う」ということを行いたい欲求は確実に出てきます。Ruby製デプロイツールのCapistranoにあるロールのようなものが欲しいですよね。

解決策

roledefsでロールを定義し、デコレータを使用してタスクにロールを紐付けることができます。

from fabric.api import env
from fabric.decorators import roles

def production(user='vagrant'):
    env.user = user
    env.roledefs.update({
        'webservers': ['host1', 'host2'],
        'toolservers': ['host3'],
        })

def develop(user='vagrant'):
    env.user = user
    env.roledefs.update({
        'webservers': ['host4'],
        'toolservers': ['host2'],
        })

@roles('webserver')
def webserver_deploy
    ...

# $ fab develop webserver_deploy とすれば、develop環境のWebサーバに対して対象のタスクが実行されます。

fabfileに関数を作成したいけどタスクとして実行できないようにしたい

fabファイルの中で普通に関数を定義するとタスクとして実行可能になってしまい気持ちが悪いので、補助用の関数はタスクとしてコマンドラインから実行できないようにしたいですね。

解決策

サブタスクにしたい関数名の初めにアンダーバーを入れろ。以上(疲れてきた)

引数指定したい

タスクに引数を渡したい場合がありますよね。

解決策

$ fab hoge:fuga

でhoge関数の第一引数に’fuga’を渡すことができます。

$ fab hello:name=Jeff とかね。最初に提示したチュートリアル(Overview and Tutorial)に載っているから詳しくはそっち参考にしてね。

ssh_configの設定を使用したい

何もせずに.ssh/configの設定を使用しようとしても、.ssh/configを使用せずにsshで接続しようとしてしまいます。Fatal error: Name lookup failed for server1とかエラーメッセージが出たりしますよね。

解決策

以下1行を書いておけば、.ssh/configを使用してsshで接続してくれます。

env.use_ssh_config = True

タスク内でホスト名を取得

なんでホスト名を取得したくなったのか忘れたが、とにかく取得したいと思ったことがあったのです。

解決策

env.hostを使えば良い感じです

以下で、タスクが各ホストに対して順番に実行されている様子が観察できます。

env.hosts = ['host1', 'host2']

def hosttest():
  print env.host

タスク内で各ホストに対して並列実行したい

ホストが増えたら並列実行できないとお話になりませんよね。

解決策

$ fab -Pで、全てのタスクの中を並列実行にすることが可能です。

タスク毎に並列実行か直列実行かを指定したい場合は、以下のようにデコレータを使用してください。

from fabric.api import env, run
from fabric.decorators import parallel

@parallel
def sleeptest():
  run('sleep 3')

タスク毎に同時並列最大数を規定したい

一気に全部並列実行はやばいけどチマチマserial実行は時間がかかりすぎるよねって時。capistranoのmax_hostで設定するのと同じようなことをしたいことってありますよね。

解決策

上記のparallelデコレータにpool_size=で最大同時実行数を指定しましょう

from fabric.api import env, run
from fabric.decorators import parallel

@parallel(pool_size=2)
def sleeptest():
  run('sleep 3')

全タスクから見える変数を定義したい

まぁ、したいことありますよね。リポジトリのURLを定義したり、途中で状態を変えたり

解決策

envに値をセットすることでどこからでも取り出すことが可能になります。

ここ、本当にこれでいいんですかね。私はもっと定数的なものが欲しいんですけども。Fabric使いの人からのツッコミをお待ちしております。

from fabric.api import env

env.test = 'hoge'

def envtest():
  print env.test
  env.test = 'fuga'

def envtest2():
  print env.test

# $ fab envtest envtest2
# hoge
# fuga

# Done.

以下、2013/04/09追記

コンフィグファイルを使いたい

コンフィグファイルに設定を記載し、その情報を使ってデプロイをしたいことってありますよね。

解決策

.ini形式のファイルをfab -cオプションで指定することが可能です。-cオプションがない場合は$HOME/.fabricrcを読みにいきます。文字列しか指定できないため、配列で指定しなくてはいけないenv.hostsはコンフィグファイルに書けないのであまりうれしさはないけども。

fabricrc:

user = vagrant
hoge = fuga

fabfile.py:

from fabric.api import env, run

env.hosts = ['server1', 'server2']

def deploy():
  run('deploy.sh')

def printenv():
  print(env.hoge)

# $ fab -c fabricrc deploy
# 上記で、fabricrcに指定したvagrantユーザに対してrunが走る
# $ fab -c fabricrc printenv
# 上記で'fuga'と出力される

env.hostsを別ファイルに切り出したい

fabricをデプロイツールとして見た際に、やはりデプロイ先は別ファイルとして切り出したい感じありますよね。実際、そのような内容のツイートをいただきました。productionとdevelopそれぞれに1ファイルずつあるとわかりやすいのではないかと。

解決策

力技で行きます。ファイルを行で分割して配列に格納します。本当にこの方法しかないのかな…過去にgithubのfabricのリポジトリ上で「env.hostsは設定ファイルで指定したい」「yamlがいいんじゃないか」等と議論していたのですが、特にその辺りの成果は出ていないようです。

以下でも力技の解決策で人々が頑張っている姿がみうけられます。

• Setting fabric hosts list from an external hosts file

production.conf:

server1
server2

development.conf

server3

fabfile.py:

from fabric.api import env, run

def product():
  env.user = 'pro_user'
  env.hosts = _get_servers('production.conf')

def develop():
  env.user = 'dev_user'
  env.hosts = _get_servers('development.conf')

def deploy():
  run('deploy.sh')

def _get_servers(file_name):
  servers = map((lambda x: x.rstrip()), open(file_name, 'r').readlines())
  while(True):
    try:
      servers.remove("")
    except ValueError:
      break
  return servers
# fab product deploy でserver1, server2にデプロイ

感想

Fabric、シンプルでいいですね。やりたいことが簡単にできます。 最近、Pythonを書く機会がじわじわと増えてきており、今年はへび年だしそういうものなのかなと感じております。 私自体初心者であるため、もしかしたらもっといい方法があるかもしれません。ツッコミお願い致します。

その他雑感

このブログが運用されているGithub Pagesのドメインがgithub.comからgithub.ioに変わっちゃいましたね。 はてブとかtwitterの言及数とかfacebookのいいね数とかが全部0になっちゃいましたね。引き継げないんですかね。

Pythonつながりの話ですが、Ansibleという構成管理ツールが少し話題になっていましたね。私はChefでknife-soloを使ってリモートからchef-solo実行みたいなことしかしていなかったため、Ansibleでもいいんじゃないかと思いました。 あとは、Chefの豊富なresourceとrecipe達に太刀打ちできるかですかね。使ってみなくては。

• Send to Kindle
• ツイート
• 

デプロイツール比較 CapistranoとFabric

by @dekokun on 2013/05/21 23:46

Tagged as: Capistrano, Fabric.

最近、Fabric, Capistranoと立て続けに2種類のデプロイツールを使ってデプロイ環境を構築する機会がありましたので、その際に感じた両者の利点を書いてみたいと思います。

両者の簡単な解説

そもそもCapistrano, Fabricについて、「片方は知っているけど片方は知らないよ」という人がいるかと思いますので、簡単な説明をします。

両方とも何かを知らない人は…「自動デプロイ」とかそのあたりで検索してみるといいんじゃないですかね。

Capistranoとは

Ruby製のFabricみたいなものです

Fabricとは

Python製のCapistranoみたいなものです

Fabricは私の中ではデプロイツールという認識なのですが、最近Chefと比較されることが多い気がします。Cuisineの登場によって冪等性を保証した操作もできるようになったからでしょうか。

個人的には、Chefと比較されるべきPythonツールはAnsibleなのではないかという気がしていますが、どうなんですかね。

Capistranoの利点

• デフォルトのデプロイタスクが存在する
  • これはRails使いにはたまりませんね。ほんの少し設定を行うだけでRailsのデプロイが可能になります
  • Railsにかぎらず、設定を適切にすればPHPなど多言語のデプロイにも使えますしね
  • Capistranoのデフォルトのデプロイタスクで私は「シンボリックリンクを使用したデプロイ」という概念を初めて知り感動したのでした
  • デフォルトのデプロイタスクを使わない場合も、デフォルトのデプロイタスクはデプロイタスクを書く上で非常に参考になりますね
• 日本語のドキュメントが多い
  • やはり、日本はPythonよりRubyのほうが強いイメージがありますね
  • 最近、VagrantやChefなどのRubyツールの勢い強いですよね
  • 私はPython製のAnsible, Fabricを陰ながら応援しています。今年はへび年ですしね
• ストリームが簡単に扱える
  • ごめんなさい、こちら、CapistranoだけではなくFabricのほうでも普通にrun関数で実施可能でした
  • Capistranoはstreamメソッドで簡単にtail -fの結果を一箇所で見たりすることが可能ですよね
  • Fabricで同様のことを行いたい場合はどうすればいいんでしょうか。私が方法を知らないだけですかね…
  • デプロイツールという意味ではこの機能は不要ですが、せっかくデプロイツールで大量のサーバに対して色々できる環境が整ったのであれば、デプロイ以外でも使うべきですよね
• 全体的に細かい機能が充実している
  • cap shellとかすごく便利ですよね
  • 便利な機能が多すぎて迷ってしまうイメージはありますが

Fabricの利点

• Capistranoとくらべて薄いフレームワークであるため動きを把握しやすい
  • テストを除いたコードの行数を比較すると、Capistranoが9000行くらいでFabricが7000行くらいでした。コード行数だけでは一概に比較できないですが…(行数に思ったより差がついてなくて驚いた)
  • Fabricのほうが圧倒的に「わかりやすい」というイメージが強いんですよね。CapistranoはDSLを提供してくれていたりデフォルトのdeployタスクがあったりして、「覚えることが多い」というイメージが強い
  • 「Capistranoを使う場合でもデフォルトdeployタスクを使わなければ分かりやすさには大差ないのでは」という話はもちろんある
• DSLを覚えなくても普通にPythonを書く感覚で書ける
  • 「関数がタスクになるよ」「run関数使おうね」くらいを知っていればひとまず使えるイメージ
  • Capistranoは、「まず、taskでタスクを登録して…」「勝手に作られているこのデプロイタスクはなんですか」と、最初の導入の際に知るべきことが少し多い
• CuisineによりChef的に使える
  • このあたり、話には聞くんですけども、よく知らないです
• 世界全体ではこちらのほうが人気
  • Googleトレンドの結果をご確認ください Ruby Capistrano, Python Fabric
  • 2011年あたりからFabricがCapistranoを追い抜き、現在では圧倒的にFabricの検索数のほうが多いですね

その他感じたこと

• Fabricのputはファイルをアップロードするのに対して、Capistranoのputは引数の文字列が中身のファイルを作成するのですね。驚きました。Capistranoでのファイルアップロードはuploadですね
• Fabricが基本的に直列実行であるのに対してCapistranoは基本的に並列実行ですよね。まぁ、どちらも、直列/並列を切り替えることが可能ですが
  • Fabricの同時並列実行数の指定はデコレータの引数で行うのに対して、Capistranoの同時並列実行数の指定はメソッドのオプションを使うというのが、それぞれの言語っぽさがあって素敵だなと思いました。

まとめ

ちゃんと、両方ともロールが扱えたり、少し手を加えればプロダクション環境やデベロップ環境の使い分けも可能ですし、デプロイのための最低限の機能は両方共に揃っていると思います。

まぁ、PythonやRubyのプロダクトを扱っているのであればそれぞれの言語のデプロイツールを使えばいいんじゃないんですかね知らんけど。PerlだったらCinnamonもありますしね。

問題はPHPのデプロイですよ。Phingを使うためにXMLを書きたくないなという感じなのですよ(あぁ、Altaxをちゃんと触っていない私がこんなことを言っていていいのだろうか)

眠くなってきた。正直、「ハマった時にソースを読むもしくは英語で解決する能力があればFabric, 日本語でググって解決したいのであればCapistrano」とかそんな感じで適当に決めればいいんじゃないですか。

「デコレータ？よくわからんしそういう知らない言語の謎機能は使えません」とか言うバカはcapistranoを使っていればいいんじゃないですかね。

なお、以下の理由でこの記事はCapistrano推しに寄っている可能性があります

1. 私はFabricよりもCapistranoのデプロイ構築経験のほうが多い(人生初のデプロイ自動化はCapistranoを使ったものでした)
2. 私はPythonよりもRubyを書いた経験のほうが多い(昔はRuby大好きっ子だったのです)

あ、ちなみに現在の私はPHP書きです。

• Send to Kindle
• ツイート
• 

httpdでconfigtestが成功しても起動できない時の切なさ

by @dekokun on 2013/06/23 23:20

Tagged as: httpd.

今回は技術的に大したネタではないですが切なさが募ったので投稿

Apacheなんですが、configtestではステータスコード0が返ってきているのに再起動が失敗すると切ないですよね。

デプロイの際にcapistranoでhttpd.confを書き換えてconfigtestを行い成功したらhttpdの再起動を行なっていたのですが、configtestはステータスコード0で成功したのにhttpdの起動が失敗してヒヤリとしました。

capistranoで並列実行数を絞ってhttpdを再起動していたため影響は全台には及ばなかったのでそんなに問題はないですけども(テスト環境と本番環境で完全に異なるvirtual host設定を適用していたのが今回最大の敗因)

少し試してみたら、いろいろなパターンでhttpdが起動したりしなかったりconfigtestが成功したりしなかったりしますね。

なお、以下はApacheの2.2.23での挙動ですよ

例1： ログディレクトリが存在しない場合

# service httpd configtest; echo $?; service httpd restart
Syntax OK
0
Stopping httpd:                                            [  OK  ]
Starting httpd:                                            [FAILED]

configtestは成功したにもかかわらず死亡

例2：ドキュメントルートが存在しない場合

# service httpd configtest; echo $?; service httpd restart
Warning: DocumentRoot [/var/www/htmls] does not exist
Syntax OK
0
Stopping httpd:                                            [  OK  ]
Starting httpd: Warning: DocumentRoot [/var/www/htmls] does not exist
                                                       [  OK  ]

ドキュメントルートが存在しない場合はconfigtestの際にWarningは出してくれるがステータスは成功でhttpdは起動しますね。この挙動はどうなんだろうね。

例3:ドキュメントルートにファイルを指定したりドキュメントルートにしたディレクトリの親ディレクトリがそもそも存在しなかった場合

# service httpd configtest; echo $?; service httpd restart
Syntax error on line 292 of /etc/httpd/conf/httpd.conf:
DocumentRoot must be a directory
1
Stopping httpd:                                            [  OK  ]
Starting httpd: Syntax error on line 292 of /etc/httpd/conf/httpd.conf:
DocumentRoot must be a directory
                                                           [FAILED]

configtestで失敗し、もちろん起動もしない。まぁ、この挙動は自然ですね。

(このあたり、詳しくはhttpdのソースのserver/core.c内のset_document_rootあたりを読むといいと思いますよ多分) このページとか参考にしながら。 ディレクティブの処理と設定値の利用 (apache module 開発事初め その3)

まぁ、なんというか、今回、初めてhttpdのソースを読みました。めでたしめでたし。

• Send to Kindle
• ツイート
• 

Chef Server 11系にてadminのパスワードがわからなくなった場合の対処法

by @dekokun on 2013/06/24 06:24

Tagged as: Chef Server.

昨日に引き続き本日も小ネタ。

本日は朝早くからAWS上にてChef Serverを構築してみたりしておりました。

adminのパスワードがわからなくなったのでリセットとかしたくなったけどググってもChef Server10でDBがまだCouch DBだった頃の情報ばかりでChef Server11系の情報があまりなかった(まぁ、結局頑張ってググってたら見つかったしこのブログはそれを参考に書いているんだけれども)ためここに書き残す。

具体的には、PostgreSQLにログインしユーザの情報を削除して新たなユーザを作成する。

以下は、adminユーザにてhogehogeというパスワードでログインできるようにする場合

まず、一旦、Chef Serverが動いているサーバの/etc/chef-server/chef-server-running.jsonのchef-server-webui->web_ui_admin_default_passwordに記載してあるパスワードでログインできないか確かめてみましょう。それがダメだったら以下手順でどうぞ

Chef Serverが起動しているサーバにて
# /opt/chef-server/embedded/bin/psql -U opscode_chef opscode_chef

BEGIN;

UPDATE osc_users
SET hashed_password = '$2a$12$lNDCQ37UteDUyj0qwK55b.o2tnZeD.XptoekgUHAlItYHEnTIUQKq',
    salt = '$2a$12$lNDCQ37UteDUyj0qwK55b.',
    hash_type = 'erlang-bcrypt-0.5.0'
WHERE username = 'admin';

COMMIT;

なお、このコードはChef Server 11.0.8で動作確認を行なっております。

以下やり取りを参考にさせていただきました。 (今ググったら、「Chef Server 11 password reset」では検索に引っかからないが、「Chef 11 password reset」ならすぐに出てきた。google先生、難しいですね。)

• [chef] how to reset webui password in chef 11

• Send to Kindle
• ツイート
• 

「Gitの使用には免許が必要。危険だから初心者に使わせるな」とか思っちゃいますよね。そんな人に向けて

by @dekokun on 2013/07/31 09:30

Tagged as: Git.

会社などでの開発において、「Gitをよく知らない人にmasterブランチを破壊されるのが怖い」「初心者にはまずブランチの詳しい動きを勉強させないといけないなぁ…大変だ…」という文脈でそういっているのであれば、GITLABでも導入してmasterブランチへの書き込み権限を制限させ、pull request(GITLABでは「merge request」と言う)のワークフローでも使えばいいんじゃないですか。

pull requestのワークフローは「とにかくブランチを切ってそこに対してpushをし、質問したいときとかマージしてほしいときにWeb UIからpull requestをしてね」くらいで全く問題なく動くため、非常に簡単に、そして「変なマージをしづらい」という意味で危険なく使えますし。

「GITLABは貧者のGitHub Enterpriseだ」と馬鹿にしている人もいますが(昔の私もそんなこと言ってましたが…)、GITLABはブランチ毎に書き込み権限を制限できるという点においてGitHubよりも圧倒的に優れていると私は思いますし、もう一度GITLABをみ直してみてもいいんじゃないですかね。 (GitHub Enterpriseを使っているなら「forkさせてpull requestを投げる」ようなワークフローにすればいいしブランチ毎に権限を付与する必要はないという意見もあるかもしれませんが)

最近会社での開発では主にGITLABを使用しているのですが、とても便利です、という話だったのでした。

• Send to Kindle
• ツイート
• 

PostgreSQLのhstoreを触ってみた

by @dekokun on 2013/08/05 22:38

Tagged as: PostgreSQL, hstore.

PostgreSQLにはhstoreなる、キーと値の集合を単一の列に保持できる型があると聞き及びまして、普段MySQLな私ですがこれは一度触ってみなくてはいかんと触ってみたのでした。

普通のselectとの非常に簡単(かつ不正確)な速度比較とインデックス作成くらいしかやってませんが。

導入

今回、AWSのm1.small上に構築したCentOS6.3を使用しています。PostgreSQLのバージョンは最新のStableバージョンである9.2を使用。

PostgreSQL RPM Building Project - Yum Repositoryからstableバージョンをダウンロードし、

インストール

# rpm -ivh pgdg-centos92-9.2-6.noarch.rpm
# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-PGDG-92
# yum -y install postgresql92-server
# yum -y install postgresql92-contrib.x86_64

初期化

# service postgresql-9.2 initdb

デーモンスタート

# service postgresql-9.2 start
# su - postgres
$ psql

hstoreの有効化

postgres=# CREATE EXTENSION hstore;

計測

postgres=# \timing
Timing is on.

テーブル作成

postgres=# CREATE TABLE hstore_tbl AS
postgres-#     SELECT
postgres-#         ('"hoge"=>' || RANDOM() || ' , "fuga"=>2')::hstore AS hstore, cast(RANDOM() as text) AS fuga
postgres-#     FROM
postgres-#         generate_series(1,1000000)
postgres-#     ;
SELECT 1000000
Time: 5500.272 ms
postgres=# SELECT * FROM hstore_tbl LIMIT 1;
                  hstore                   |       fuga
-------------------------------------------+-------------------
 "fuga"=>"2", "hoge"=>"0.0839038179256022" | 0.392216250766069
(1 row)

Time: 0.605 ms

hstoreなカラムの検索

postgres=# select * from hstore_tbl where hstore->'hoge' = '0.0839038179256022';
                  hstore                   |       fuga
-------------------------------------------+-------------------
 "fuga"=>"2", "hoge"=>"0.0839038179256022" | 0.392216250766069
(1 row)

Time: 302.522 ms

速度比較のための普通のカラムの検索

postgres=# select * from hstore_tbl where fuga = '0.392216250766069';
                  hstore                   |       fuga
-------------------------------------------+-------------------
 "fuga"=>"2", "hoge"=>"0.0839038179256022" | 0.392216250766069
(1 row)
Time: 205.692 ms

やはりhstoreな検索よりは早いですねぇ(一回実施した時の時間だけじゃなんとも言えないというのが正しい見方ですが、まぁ、何回か同じクエリを流してみてこんな感じだったので、雰囲気hstoreのほうが少し遅い、といっても速度比1.5倍ですが、まぁ。。という感じでいいでしょう)

インデックスを貼ってみた

postgres=# CREATE INDEX hstore_index ON hstore_tbl ((hstore->'hoge'));
CREATE INDEX
Time: 18843.262 ms
postgres=# CREATE INDEX text_index ON hstore_tbl (fuga);
CREATE INDEX
Time: 53691.437 ms
postgres=# select * from hstore_tbl where fuga = '0.392216250766069';
                  hstore                   |       fuga
-------------------------------------------+-------------------
 "fuga"=>"2", "hoge"=>"0.0839038179256022" | 0.392216250766069
(1 row)

Time: 0.756 ms
postgres=# select * from hstore_tbl where hstore->'hoge' = '0.0839038179256022';
                  hstore                   |       fuga
-------------------------------------------+-------------------
 "fuga"=>"2", "hoge"=>"0.0839038179256022" | 0.392216250766069
(1 row)

Time: 0.604 ms

hstore型なカラムの検索、ド派手に遅くなるんじゃないかと思っておりましたが意外とそんなことはないんですね。

インデックスも貼れますし、今後使用を検討してもいいかもしれませんね。

最後に、@r_rudyさんとのやり取り

@dekokun かなり便利ですよ。indexも貼れますし。ただ、データの取り出しがちょっと遅いので、普段使う分には問題ないですが、速度がものすごく重要なところには使わないほうがいいかと思います。

— しろう (@r_rudi) August 5, 2013

@dekokun 遅いのは内部実装がTextという文字列で持っているからなのですが、そこをmsgpackにするという試験実装をされた方がいまして、数倍速くなったそうです。PostgreSQLにはほかにもいろいろ便利な機能があるのでぜひ使ってください！

— しろう (@r_rudi) August 5, 2013

FDWとかも私、興味あります

• Send to Kindle
• ツイート
• 

git ls-remoteコマンドの終了ステータスがデフォルトでは期待するものと違う件とその対策

by @dekokun on 2012/08/26 1:30

Tagged as: git.

なんらかの要因で、自前でデプロイスクリプトを構築していたとします。

タグやブランチ名を指定したデプロイを可能にしたかったとします。

リモートリポジトリに存在しないタグやブランチをデプロイ対象として指定されたらエラーにしたいため、リモートリポジトリにそのタグやブランチが存在するかどうかを知りたいとします。

そんなことはgit ls-remoteにてできそうだったので試してみたら、イマイチだったという話とその解決策。

説明

git ls-remoteコマンドは、リポジトリの場所とリファレンスを引数に渡すとそのコミットIDを取得してくれるコマンドなのです。 私のリポジトリのmasterのコミットIDを取得しようとすると、こんな感じ。

git ls-remote git@github.com:dekokun/dekokun.github.com_data.git master
d4e508e59b4fb38f41489d7bef8aa1be8e1bd9ec        refs/heads/master

これを使えば、存在しないブランチやらタグの取得は、git ls-remoteの終了ステータスコードを利用して

# 注：このコードは想定通りに動きません
git ls-remote git@github.com:dekokun/dekokun.github.com_data.git hogehogefugafuga >/dev/null 2>&1
if [ $? -ne 0 ]; then
  echo '存在するブランチを指定してね〜'
  usage
  exit 1
fi

みたいなことできそうじゃないですか。しかし残念ながらそれは無理なんです。なぜなら、git ls-remoteはそのリファレンスが存在しなくても終了ステータスは0(正常終了)を返してくれてしまうからなのですね。

git ls-remote git@github.com:dekokun/dekokun.github.com_data.git not-exists-branch; echo $?
0

あらあらどうしましょうという感じだったので、解決策を2点ほど。

解決策

オプションを変える(git 1.7.6以降)

exit-codeオプションをつけると、存在しないリファレンスを指定した際の終了コードは2が返ってきます。

git ls-remote --exit-code git@github.com:dekokun/dekokun.github.com_data.git not-exists; echo $?
2

これなら以下が使えますね。

git ls-remote --exit-code git@github.com:dekokun/dekokun.github.com_data.git hogehogefugafuga >/dev/null 2>&1
if [ $? -ne 0 ]; then
  echo '存在するブランチを指定してね〜'
  usage
  exit 1
fi

ただし、git 1.7.6以降…

力技

存在しないリファレンスを指定した際は出力が0行であることを利用します。

if [ $(git ls-remote $git_url $version | wc -l) -eq 0 ]; then
  echo '存在するブランチを指定してね〜'
  usage
  exit 1
fi

まとめ

git 1.7.6以降を使おう。 git ls-remote以外を使ったもっと簡単な方法あるかなぁ。

• Send to Kindle
• ツイート
• 

トランザクションが存在しないDBにてその弱点をどのようにカバーするか

by @dekokun on 2013/09/30 23:30

Tagged as: NoSQL.

NoSQL系のDBをメインDBとして使用する場合、最もネックになってくるのはトランザクション周りかと思います。 DBとしてトランザクション機能が提供されていない中でその弱点をどのようにソフトウェアでカバーするかをまとめます。

なお、以下は机上の空論である部分が多く、これから知見を得る度に追記していこうかと思います。

なお、基本的にMongoDB, DynamoDBあたりのドキュメント指向DBを想定した記事です。完全なるKVS系(memcachedとか)では、以下記事があてはまらない場合もあるかと思います。

カバーすべきトランザクションの性質

トランザクションの持つべき性質として、「ACID」と呼ばれる以下4つの性質があります。

参考：ACID (コンピュータ科学) - Wikipedia

原子性

• トランザクションに含まれるタスクが全て実行されるか全く実行されないかを保証する性質
• 「書き込み失敗したりしたらロールバックすればデータが中途半端に残らなくていいやー」というアレ。これがあると極めて楽ですね。

一貫性

• 常にデータベースの整合性が保たれていることを保証する性質
• これについてはイマイチ私はよくわかってないのですが、トランザクションの前後で外部制約やユニーク制約などが満たされているという認識でいいのかな。

独立性

• トランザクション中に行われる過程が他の操作から隠蔽されること
• 「デッドロック以外は、他のスレッドからどのようにDB更新されるかあまり気にしなくていいよ〜」という感じ。楽ですね。まぁ、実際に左記のような態度で開発に望むと色々と大変なことになりますが。ロック待ちから開放されないとか、ファントム・リードが発生しておかしなことになるとか。
• たいていのDBは性能とのトレードオフから完全な独立性は保証しない設定になっている
  • トランザクション分離レベルの変更によってどの程度独立性を保つか規定が可能
  • ちなみに最近知ったのだが、MySQLとPostgreSQL及びOracleでデフォルトの分離レベルが異なる。MySQLはデフォルトがREPEATABLE READであるのに対して他の2つはREAD COMMITTED

永続性

• トランザクションが完了した操作は、永続的になることが確定していること
• 一度トランザクションが完了したら、旧にDBが落ちたりした後に復旧させたりしても対象の操作をした結果はDBに反映されている状態となっているものですね。便利ですね。
• たいていのRDBMSは、トランザクション完了時のトランザクションログ(MySQLでいうところのバイナリログ)への書き込みとロールフォワードでこれを実現していますね。

トランザクションをソフトウェアでどのように(ある程度)実現するか

今回は、上記の機能をソフトウェアでどのように実現するかを考えていきます。

なお、以下の文章はどのDBについてなのか規定していませんが、RDBMSでいうところの「テーブル、レコード」(ドキュメント系のDBでは「コレクション、ドキュメント」など)のことは、一律「テーブル」、「レコード」と呼ぶことにします。

原子性の対策

どの操作が成功したか、失敗したかを記録し、失敗した操作が1つでもあった場合は他の成功した操作を巻き戻す

• 王道ですね。
• 弱点
  • 実装が複雑
  • 「2をたす」のを巻き戻す場合は「2を引く」でいいと思いますが、例えば「名前を太郎から二郎に変更」などを行った場合、巻き戻す場合に「二郎」にしていいかどうかというのは議論がわかれるところ。別スレッドが「太郎から三郎に変更」など行っていた場合は巻き戻しによってその変更が消えてしまうことに
  • 以下に全体的に言える話として、「」

操作の冪等性を担保しながら失敗した際は再実行する

• Version Numberパターンなどの、「そのレコードが、特定の条件を満たせば更新(以前読み込んだデータとバージョン番号が同じだったら更新)」というような楽観的ロックを使用して操作の冪等性を担保した形で1つ1つの操作を規定し、まとまった操作の中の1つでも失敗したら全ての操作をもう一度再実行する
• 弱点
  • 「(主キー以外の)条件を指定して更新を行う」ことができないDBでは実施できない
  • 常に失敗するような操作が操作のまとまりの中に存在すると、下手すりゃ無限ループになる。かといって「◯◯回やっても失敗したら再実行をやめる」とすると、中途半端に操作されたままの状態になってしまうし…
  • Version Numberパターンを使用した場合、他のスレッドなどから対象のレコードを操作されるてバージョンが変化すると、対象の行が更新できずに、整合性が失われる

1トランザクションが1行の更新のみになるように設計する

• これならそもそも1回の更新が成功するか失敗するかのみであるので、原子性を考える必要がない
• 弱点
  • 1つのレコードの更新がアトミックにできないDBでは実施できない
  • そもそも、全てのデータ更新を、1行の更新だけにすることは不可能

トランザクションテーブルを使用した多相コミット

• トランザクション用のテーブルを使用して、まぁ頑張る方法。
• 詳細な方法は複雑なので、まぁ「多相コミット」とかで検索してください
• なんらかの原因により処理が途中で終わってしまっても、「どの処理が完了していないか」「その処理の中で完了していないのはどのレコードか」というのが分かる
• 弱点
  • 1つのレコードの更新がアトミックにできないDBでは実施できない
  • 実装が複雑

一貫性の対策

要検討。「ソフトウェア側でバリデーションを行う」くらいですか？

独立性の対策

楽観ロック

• Version Numberパターンなどを使用した楽観ロックを使用し、書き込み件数が0件だったらバージョン番号の取得部分から再実行(もしくは書き込み失敗としてエラーを返す)
• 弱点
  • 「(主キー以外の)条件を指定して更新を行う」ことができないDBでは実施できない
  • 書き込みが何件行われたかが分からないDBでは実施できない

永続性の対策

こちらに関しては、完全にDBの機能に依存しますかねぇ。自前でディスクに書き込んでいくという手はあるかもしれないが…性能面でも実装面でも難しいでしょうね。そんなことするくらいなら素直にRDBMS使うべきですね。

トランザクションログ的な機能を有効にする

• そういう機能があるなら有効にしましょう
• 弱点
  • トランザクションログ的な機能がないDBでは実施できない
  • 自動フェイルオーバー機能を備えて複数マスターになりうるようなDBの場合、1台が落ちたら他のDBがマスターになり、新しいマスターに反映されていないデータは消失する

書き込みの際に、「ディスクに書き込まれたことを保証する」ようなオプションをつける

• そういう機能があるなら有効にしましょう
• 弱点
  • そのような機能がないDBでは実施できない
  • 自動フェイルオーバー機能を備えて複数マスターになりうるようなDBの場合、1台が落ちたら他のDBがマスターになり、新しいマスターに反映されていないデータは消失する
    • RiakやMongoDBでは、スレーブに書き込まれたことを保証する書き込みもありましたね

まとめ

• 基本的にはトランザクションを考えなくてもいい部分と必要な部分に分け、必要な部分だけ上記対策を施しましょう
• 上記を全部実施するくらいならRDBMS使ったほうが幸せなのではないかなとは思います
  • トランザクション及び高可用性が必要だったら、MySQL Clusterを使うとか(MySQL Clusterのこと、全然詳しくないですが)

• Send to Kindle
• ツイート
• 

ISUCON予選にPHP実装で参加して3位になりましたーやったことなどまとめ

by @dekokun on 2013/10/06 20:15

Tagged as: contest.

今日(10/6)はISUCON3の予選2日目に参加しました。

「予選落ちだろうなー」と思いながら挑んだら、意外と3位(暫定。運営の方が提出したAMIを起動しベンチマーク実行し、提出したスコアと比べてあまりにもスコアが低かった場合は失格となる)で本選進出が決まったので嬉しくてブログ書いてます。

スコアは14379で、予選1日目と合わせて9位。

「チームたこやき」という名前で後輩2人と参加しました。

題名に「PHP実装で」と入れたのは、ディスられがちなPHP書きへのエールを込めてです。

基本的にやってたこと

以下、恒常的にやってたこと一覧と、その効果を。

xhprofでのプロファイリング

効果：圧倒的

• facebook謹製プロファイリングツール、xhprof様でございます
• session_startが異様に遅い(memcachedの罠)とか、preg_split使いすぎとか、「今はDBネックだし他のことやってもあまり意味ないよね」とか、いろいろなことがわかりました
• ベンチかけながらブラウザでxhprofの結果をみて遅い場所を判断するということの繰り返しでしたね

スロークエリログの解析

効果：圧倒的

• mysqldumpslowを使ってスロークエリを解析していました
• 遅いクエリを見つけてはindexをはったりアプリケーションを書き換えたり
• xhprof同様、ベンチかけては解析結果を見て を繰り返していました

dstatの使用

効果：普通(私に使いこなせなかった)

• あーCPU使用率高いわーIO高いわー。以上。みたいなそんな感じだった
• せっかくグラフィカルだったし、1枚のディスプレイに表示させてみんなで見ながらやるとよかったなと思いました

topの使用

効果：いい感じ

• topはいいですねぇ

最終的なミドルウェア構成

• DB: MySQL リバースプロキシ: nginx アプリサーバ: Apache2.4(Prefork MPM) + mod_php
• PHPらしい構成ですね
• Apacheだけでいいかなーと思っていたら後輩がnginxを入れて静的ファイルはそちらから配信するようにしてくれていました
• memcachedは使用しておりません
• せっかくApache2.4だったので、Event Mpm + PHP-FPMも試そうかと思っていたのですが、最後までDBネックから抜けだせなかったため「PHP-FPMにしても今は意味ないだろうな」という感じでそのまま終了

開発環境

• 各人に別々のポートで立ち上げた開発環境を用意し、そこで開発して特にエラーが起きなかったらデプロイするという感じ
• git pullによるデプロイ
• isuコマンドという、いろいろなもののラッパースクリプトを作成したりもしました。“isu deploy”とか“isu slow-show(mysqldumoslowを使ってスロークエリを見る)”とか

覚えている範囲で実際に行った作業

以下、特にPHPのロジック変更周りは基本的に後輩2人がやってくれたので私はあまり関与していませんが、記憶している限り書きます

ベンチマークのworkloadオプションを変更

• Lingrを見ていた後輩がworkloadオプションの変更を提案。スコアが上がったため変更
• 情報収集力の大切さを感じました

セッションにmemcacheを使用しない

• プロファイリングの結果、session_startに異様に時間がかかっていたことが判明したために、サーバ1台だけで動いていることもあってファイルを使ったセッション管理に切り替えた
• 知らず知らずのうちに運営のはった罠(純正のmemcachedではなくMySQL 5.6.14のInnoDB Memcached Pluginが使われていた)を抜けていた感じですね

markdownコマンドを表示時ではなく記事投稿時に実施するように変更

• 子プロセスの起動はクソほど重いですからね…
• Markdown作成処理をPHPに行わせることはしていません
• ベンチマークがうまく動いていない時に実施した施策なので、この施策による実際の効果のほどはイマイチわからないが、良かったのではないかと

ユーザ名を記事毎にselectしている部分の撤去

• 悪名高き N + 1クエリ問題
• inner joinして解決
• memosテーブルにユーザ名を持てばよいのではという話もありましたが、「アプリケーション初期化の際にどうすればいいんだ」という話になってボツに

APCの使用

• Opcodeキャッシュは重要ですよね
• これをやってかなりスコアが伸びた記憶が

タイトルを記事投稿時に保存するように変更

• プロファイリングによりトップ画面表示時のタイトル生成のためにpreg_splitが呼び出されまくっていたため、タイトルは投稿時に作成しDBに保存するようにした
• 効果があったらしい(この頃、私はDBにインデックスはったりDBのパラメータチューニングしたりしていて、記憶にない)

countテーブルの作成

• is_privateではないmemosの全件をcountしている部分が遅かったため、専用のcountテーブルを作成し、insertする度に件数をupdateするなどした

Unixドメインソケットを使用した接続

• 同じサーバなのでわざわざTCPを使用することもないなと思いソケットファイルを使用した通信に
• 実施が簡単なので実施したが、特に効果はみられなかった

ログインしてもDBは更新しない

• last_accessカラムを更新していましたが、不要ですね。ということで更新しなくした。運営からのサービスポイントだったようですね。

MySQLのクエリキャッシュを有効に

• query_cache_sizeだけ設定しquery_cache_typeを設定せず、「あれ、キャッシュヒット数が0から増えないなぁ」などとやっておりました。
• クエリキャッシュを実施しても特にスコアの上昇はなかった

所感

• とにかく、地道に、プロファイリングしてはボトルネック部分を直してを繰り返したのが良かった
• 今回、KVSなど使用せず非常に古典的にMySQLとWebサーバのみで如何に遅い部分を潰すかをプロファイル見ながら普通に実施していただけですが、これだけでは本選は戦えないだろうなぁとは思っており、一層の奮闘が必要。
• 後輩2人がすごく頑張ってくれていた。後半は、私は「クエリが早くならないなぁ」というだけの係になっていた感があった
• インデックスを作成したらオプティマイザがバグってexplainの結果にusing filesortとか出てきたためしょうがなくstraight_joinを使用したりした。joinとsortが混じるようなSQLはオプティマイザがバグりやすくて要注意
• 今回、トップページを高速化すれば全体のスコアが上がるようなアプリだったため、「トップページのxhprofを見る」->「遅いところを直す」だけで良かったが、本来ならアクセスログから遅いページを割り出すなどする必要があったなぁ。と思っております。アクセスログにかかった時間をマイクロ秒単位で出力するようにしたものの最後までそれが使われることはなかった…
• ISUCON応募締め切り10分前くらいに後輩にISUCONのこと話したら後輩も乗り気だったため締め切り3分前くらいに応募を完了したんだけど、出てよかったなと思いました
• NHN選抜チームを抜けそうだったので、本選では抜きたいと思います
• 白金動物園を抜けて結構うれしい
• 運営の追試によって失格にならないか怖くて仕方がない

• Send to Kindle
• ツイート
• 

Chef Serverにてクックブックの実行時間が長いとForbiddenエラーが出る件

by @dekokun on 2013/10/19 15:33

Tagged as: Chef Server.

怖くないScala勉強会の休憩時間にこんなの書いてます。

表題の件ですが、Chef Serverを使用していると、デフォルト状態では1つのクックブックの実行に15分以上かかるとエラーになります。 気をつけましょう。

どうにかしたい場合は、Chef Server上で/etc/chef-server/chef-server.rb を作成し、

erchef['s3_url_ttl'] = 3600

と記述した後に、 chef-server-ctl reconfigureしましょう。これで、制限時間が15分から1時間まで伸びます。

なお、私はOpscodeから提供されているChef自体のクックブックでChefサーバを作成したりしているのですが、それの実行時のアトリビュートを以下のように設定することで対処することもできますよ。

    "chef-server": {
  "configuration": {
    "erchef": {
      "s3_url_ttl": 3600
    }
  }
}

以上。休憩時間がそろそろ終わるので簡潔に。

参考：

• long running recipes cause Forbidden errors

• Send to Kindle
• ツイート
• 

#isucon 本選惨敗！！！！

by @dekokun on 2013/11/09 15:33

Tagged as: contest.

今日はISUCON本選でした！！！！！

後輩二人(@jyegan, @Altsencturely)と参加してきました！！！

今回は私のせいで相当時間をロスさせてしまい、最終的にfailして懺悔懺悔です！！！！(懺悔内容は最下部に記載)

が、まぁ、今回もやったことなどをまとめていきたいと思います。今回は、私が発生させた謎のエラーにハマり続けたのであまりいろいろできなかったのですが…

failしなかったチームは7チームでして、一応順位としては8位(まぁ、8位かつ最下位なわけだが)になるんですかね

今回のお題アプリケーションについて

• 画像投稿版Twitterみたいなもの
• 公開範囲を決めて画像投稿可能
  • これにより、安易に画像の静的配信はできませんよ
• サーバが1台あたり100Mbpsに絞られているという話だったため、画像投稿サイトということもあり、そこがボトルネックになるかなぁと思っておりましたがそれ以前の問題だった(ように見えるがそもそも通信量とかみてなかったのでなんとも)

基本的にやっていたこと

xhprofでのプロファイリング

今回も素晴らしい効果を発揮する…はずでしたが、最初に「execが圧倒的に遅い」というところが判明した以降は、そのボトルネックを最後まで解消せずに終わってしまいました…

New Relicでのプロファイリング

New Relicのおかげで画像表示部分が圧倒的に遅いですね！ということがわかりました。xhprofでの結果と併せて、execが遅いせいですね！という結論が出た以降状態が変わらず終わりました。 New RelicといえばRubyで注目されがちですが、本来はPHPでもめちゃくちゃ便利なツールなんですけどね。今回はボトルネックの再確認ツールというくらいの活躍ぶりでした。

ルーティング判別部分はFuelPHPで３種のprofilerを使ってみたを参考に、設定しました。

スロークエリログの解析

「DBが全くボトルネックじゃないね」ということがわかった以降何も進まず終わった

その他やったこと

ある程度時系列順に

• 全グループメンバーから全サーバ及び全サーバから他の全サーバに対してsshのパスワードなしで接続できるように設定
• 各自の開発環境を同じサーバ上の別ポートで立ち上げ、git管理した
• git pullによる各サーバへのデプロイ環境を構築した(“isu deploy”コマンドを打つことによって開発環境からpushして全サーバへのデプロイ可能に)
  • が、結局サーバは1台だけしか使えず終わった…
• 上記“isu deploy”以外にも予選から使用していた“isu”コマンドの機能拡充
  • “isu allcommand”で全ホストにコマンドをばらまくとか、isu currentで前回のベンチマーク結果を取得できるとか、“isu slow-show”でmysqldumpslowの結果を出力して見られるとか
• my.cnfを編集し、127.0.0.1以外からもアクセス可能なように修正
  • 「mysqlDBの中のuserテーブルの中ではちゃんと設定されているのになぁ」などと若干ハマった…
• 上記各種プロファイリングの設定
• 思えばここまではまだ順調だった…
• 画像にアクセスが来る度に画像生成していたため、一度生成した画像はディレクトリに置いて次からのアクセスはそれを返すようにした
• このあたりから、以下懺悔しているような状態が発生しベンチマークが失敗し続けいろいろ巻き戻したりが始まった。ラスト1時間くらいまでベンチマークが失敗し続けていた。辛かった
• 最終的に、ラスト30分くらいで、「DBではなくexecがネックなので他のサーバを使用すれば使用した分だけスケールするのはわかりきったこと！！スケールアウトしよう！ローカルに保存している画像はMemcachedにしよう！」という実装をガツッとやりましたが、一部うまくいかず結局スケールアウトはできず
• 最終的にfailして終了
• なお、Memcachedが1キーに対してデフォルト1MBまでしか保存できないのは知らなかった
  • この辺りはいい勉強になりましたね

感想

• 前回予選でちょっと良い成績だったからと言って色々調子乗った発言(「LINE選抜を抜けそうだったが抜けなかった。次は抜く」だとか「白金動物園に勝てて嬉しい」とか)を繰り返していましたが今回ダメだった。めちゃくちゃ悔しい
• 「くらげとみかんと江戸幕府」チームが前回PHPで出場していたため、「PHP仲間だー」と思っていたら今回PHP実装は我々だけだった
  • これに伴い(?)最後までApacheで戦ったのも我々のチームだけでしたね
  • PHPの威光を世に知らしめたかったが全くもって力及ばず
  • 「くらげとみかんと江戸幕府」は今回はRubyだったとのこと
• 優勝チームのtagomorisさんとお話しまして、「最初の一時間半くらいはひたすら戦略をねっていた」という話を聞き、最後に勝つのはちゃんと最初に戦略をたててチームかという思いが強く残った
• 来年(あれば)必ずリベンジしたい
• 問題作成、運営、会場及び賞金提供、サーバや食料提供の皆様ありがとうございました！！
• 私はいつも基本的にぼっちなのですが、今日は懇親会で積極的に皆さんとお話出来てよかったです
  • くらげとみかんと江戸幕府の皆さんとか、山形組のかたとか、LINEやCOOKPADの方々など

チームメイトへの懺悔

ベンチマークスクリプトのオプションを誤り(サーバ指定するオプションとワークロード指定するオプションを逆にみていた)、「よし、ワークロードを2に増やそう」と言ってワークロードではなくアクセス先のサーバIDのほうを編集してしまい、その後、その変更によってまだアプリケーションが動いていないサーバ2に対してベンチマークが走りベンチマークが失敗し続け原因解明に2~3時間くらいかかってしまったのではないでしょうか…

ベンチマーク実施した瞬間になぜか正しいサーバにもアクセスが来ていたように見えていた(原因は不明。UAはちゃんとISUCONのベンチマークツールだったように思っていたが。まぁ当時は焦っていたからあまり記憶はあてになりませんね…)ため、全然きづけなかった　…「何度やってもfailし続ける！しかもログ上では200番を返している！！！gitで最初の状態にアプリケーションを巻き戻してもダメ！！！！」という感じだった。

すみませんすみません。。。これのせいでかなりの時間を無駄にしてしまいましたね。。。

懺悔からわかる反省点

• ベンチマークをラップするようなコマンドを作成しており、それが誤っていたせいでベンチマークが失敗し続けていましたのですが、ラップするものを皆が見られる状態にあまりしていなかったのが良くなかった - 一応、“isu vi”コマンドでラップスクリプト自体を編集できる機能はあったが、若干周知不足
  • それ以外でも、isuコマンドは機能追加してもあまり周知することができていなかった
• ベンチマークのラップコマンドを編集したことを周りに伝えなかったのが一番悪かった
• ベンチマークのラップコマンドをWebUIと一緒にバージョン管理していればよかった。そうしていなかっったため周りが変更に気づく土壌がなかった
• 他のサーバのアクセスも監視していれば間違えに気づけた
• オプションを変更したらちゃんと動きを確認しましょう

一日一日を大切に、反撃の牙を磨くのです！！！！！！

• Send to Kindle
• ツイート
• 

初心者向け タイプヒンティングとはなんなのかというお話

by @dekokun on 2013/12/14 15:33

Tagged as: PHP.

どうも、PHP Advent Calendar 2013の14日目の記事です。

昨日は@ockeghemのPHPとセキュリティの解説書12種類を読んでSQLエスケープの解説状況を調べてみたでしたね。

最近、仕事を一緒にし始めた後輩がPHPに慣れておらず、PHPのタイプヒンティングのことを知らなかったので(そして、さっき一緒にお酒を飲んだ別の後輩もタイプヒンティングを知らなかったので)、彼らに向けて、タイプヒンティングとはなにか、なぜタイプヒンティングを使うのかを解説する記事となります。

PHPのことをよく知っている皆様におかれましては特に得るものはないお話なのかなと思います。ご了承ください。なお、下記のような流れを経て、このブログの内容は当初の予定から変遷しました。

「returnとrequireでファイル間で値を受け渡しできるよ、でもonce系を使う場合は注意な」ってAdvent Calendarで書こうとしていたんだけど既にHirakuさんが全く同じこと書いてた。 http://t.co/FMhGllrYJz

— でこくん (@dekokun) 2013, 11月 28

タイプヒンティングとは

関数及びメソッドが受け取る引数がどのオブジェクトなのか(もしくはなんのインターフェースを備えるか)、配列なのか、コールバックなのかなどを指定することが出来る機能です。

具体例

こんな感じ

<?php
// この"Iterator $a"の"Iterator"部分がタイプヒンティング
// ここで、$aはIteratorと同様のインターフェースを備えていることが保証される
function func(Iterator $a) {
    return $a->next();
}

上記の “Iterator”部分がタイプヒンティングとなります。

違反するとどうなるの？

例えば、タイプヒンティングでクラスを指定したにもかかわらずスカラー値を指定された場合はエラーになります。

<?php

function func(TestClass $a) {
    return $a;
}

func(1);

上記のようなコードは以下のようなFatal errorが投げられます

PHP Catchable fatal error:  Argument 1 passed to func() must be an instance of TestClass, integer given, called in /private/var/folders/hy/xc91_vr542z40knyzs4h9n2r0000gn/T/vHqWMFW/2 on line 8 and defined in /private/var/folders/hy/xc91_vr542z40knyzs4h9n2r0000gn/T/vHqWMFW/2 on line 4

Catchable fatal error: Argument 1 passed to func() must be an instance of TestClass, integer given, called in /private/var/folders/hy/xc91_vr542z40knyzs4h9n2r0000gn/T/vHqWMFW/2 on line 8 and defined in /private/var/folders/hy/xc91_vr542z40knyzs4h9n2r0000gn/T/vHqWMFW/2 on line 4

このエラーをコード中で捕捉したい場合は、エラーハンドラの中で“E_RECOVERABLE_ERROR”を捕捉しましょうね。

何が嬉しいの？

• エラーを早めに検知可能
• (コメントなどと比べて)検証可能、腐ることのない形(=メソッドのドックコメントなどとは違うのですよ)でメソッドの前提条件を指定可能
• そもそも、変なことが起きた時にエラーが起きて死ぬというのは、エラーを返り値で返しがちなPHPにとっては非常に重要なことだと思います

どんな時に使うの？

少なくとも、現世利益的なことを話しますと、タイプヒンティングによって、期待しないクラス(とか配列とかコールバックとか)が引数にわたってこないことが保証されるため、バリデーションを減らすことができます。

たとえば、以下のようなコードの場合、

<?php

function func(array $a) {
    return $a;
}

$aは配列であることが保証されるため、func関数の中で

if(! is_array($a)) {
    throw new \InvalidArgumentException;
}
// do_something();

などのチェックを行う必要はなくなります。

ライブラリなどの作者の意図をプログラムで伝えやすくなります

以下のようなコードがあった際に、それを使う側は引数に配列が期待されているかどうかは実装を読まないと(もしくはコメントなどを読むことでしか)判断できません。使う側に実装を読ませるのはライブラリの敗北ですし、コメントで意図を伝えると、そのコメントのメンテナンスコストが以降発生します。

更に、間違えて配列以外を突っ込んでしまった際も、以下だとWarningのエラーが発生するだけでプログラムが落ちないために使い方を誤っていることに気づかない危険が高まります。

function func($a) {
    return array_shift($a);
}

しかし以下のように記述すれば、使う側はインターフェースを見るだけで、引数に配列が期待されていることがわかるだけです。そして、誤った使い方をすれば、プログラムが死ぬため、すぐに気づくことができます(これは、ヴァリデーションでも同様のことは可能ですが、それならタイプヒンティング使ったほうが圧倒的に楽ですよね)

function func(array $a) {
    return array_shift($a);
}

コールバック

以下のような引数にコールバックを期待している関数に文字列を渡すと、非常にわかりづらいエラーになります。 引数にコールバックを受け取る関数では、確実にcallableタイプヒントをつけるようにしましょう(PHP5.4~)

function fuga($a) {
    return $a();
}

以下、非常にわかりづらいエラー。

$variable = 'c';
fuga($variable);
PHP Fatal error:  Call to undefined function c() in php shell code on line 2

Fatal error: Call to undefined function c() in php shell code on line 2

とあるメソッドを持っているかどうかの検査

タイプヒンティングにインターフェースを使うなどして、ストラテジーパターンなどを行いやすいですね。

interface runnable
{
    public function run();
}

function test(runnable $a) {
    // タイプヒンティングを行っているので、引数がrunメソッドを持っていることを検証せずに使うことができる
    $a->run();
}

最後

つまり、タイプヒンティングのおかげで、簡単に早い段階でにわかりやすくエラーを検知できるのがとても素晴らしいということですね！そんなこと言っていると「それなら静的型付け言語を使えよ」と言われそうですが、PHPのタイプヒンティングは、固くいきたいところは固く、動的型付けの柔軟さ、生産性の高さ(?)を積極的に使っていきたいところはタイプヒンティングなしで書けるというわけで、そのどっちでも選択できる感じが素敵だなと思います。

便利だから積極的に使って行こったほうがいいと思います。後輩たちにおかれましても、少なくともライブラリのコードを読んで「ここはタイプヒンティングを使っているんだ！！」ということをわかるようになっていればと思います。

というか、なんか色々骨抜きなブログだ！！！！！

他にも、「名前空間の使い方」とか「composerをなぜ使うのか」とか、「migrationをなぜ使うのか」とか、伝えたいことは非常にたくさんあるのですが、本日は時間もないですしこのあたりで筆を置きます。

酔っ払ってるしね。

次回はk-motoyanによる「FWに依存しないDBマイグレーションツール」ですね。楽しみですね

• Send to Kindle
• ツイート
• 

PHP書きが久しぶりにRubyの言語仕様を詳しく思い出して抱いた感想たち

by @dekokun on 2013/12/15 20:47

Tagged as: Ruby.

どうも、パーフェクトRuby Advent Calendar 2013の15日目の記事です。

昨日は@Shindo200の-> { “Perfect Ruby Advent Calendar” }.callでしたね。

昨日はPHPのアドベントカレンダーを書き、今日はRuby系のアドベントカレンダーを書く、因果なものですね。

私とパーフェクトRubyの因縁

すがさんと一緒に合コンした身としては、パーフェクトRubyは買わなくてはいけないなと思っているわけですよ。まだ買ってないけど。

— でこくん (@dekokun) 2013, 8月 30

上記のようなツイートをしておきながらずっとパーフェクトRubyを買ってなかったのですが、パーフェクトRubyアドベントカレンダーが存在すると聞いて買ってみたのでした。

アドベントカレンダー登録したのでパーフェクトRubyを購入した。RubyはChefのレシピ作成に使っているのでもっと深く知りたいですね☆ パーフェクトRuby Advent Calendar 2013 http://t.co/VA8ZleGSer #adventar

— でこくん (@dekokun) 2013, 11月 27

その後、会社の行き帰りで頭から読んでいたのですが、残念ながら全部読み終われませんでした。具体的には、5章まで(1/3もいってない!!!)しか読めませんでした。ですので、5章までで、普段書いているPHPとくらべて、面白いなぁと思ったところを記載します。

本題

なお、以下にはパーフェクトRubyのページ数も記載していますが、これは初版の際のページ数です。

定数の再代入(p49)

• 再代入可能というのは面白いんですが、なぜそんな設計にしたんでしたっけ。再代入可能なことによってどのような利点があるんですかね。

モジュール(p57)

• PHPでいうところの、traitと名前空間を組み合わせたようなものですね
• 昔はPHPにはtraitも名前空間もなく、単一継承のみ可能な言語であったためRubyのモジュールがうらやましかったのですが、最近はtraitや名前空間が出てきて、PHPもいい感じですね

%記法(p62)

• 純粋に便利。Chefのレシピ書く際にも非常にお世話になっています
• PHPでは、PHP5.4で「配列がRubyみたいに“[]”で宣言できるようになった！マジ便利！」と言っている感じで、%記法の存在するRubyと比べると、配列の初期化の容易さでは一歩負けているなと思う次第

擬似変数たち(p70)

• true, false, nilって擬似変数っていうものだったのか。それぞれがTrueClass, FalseClass, NilClassの唯一のインスタンス。

インスタンスつくろうとしたら怒られた。

[1] pry(main)> true_val = TrueClass.new
NoMethodError: undefined method `new' for TrueClass:Class
from (pry):1:in `__pry__'

• PHPでは__DIR__は__FILE__と同じ、「自動的に定義される定数」なのですが、Rubyでは__dir__はKernelモジュールのメソッドであり、__FILE__は擬似変数であるという違いがある

数々の組み込み変数(p71)

• Perlやシェルスクリプトもそうだけど、これらのググらビリティの低さは異常であり、ちょっとどうにかしてほしい
• でも、便利なことは間違いない。いいですね

演算子がメソッドとして定義！！！(p74)

• これは昔からRubyの羨ましかったところ
• 1+1が 1.+(1)のシンタックスシュガーであるとか、やばい
• 全てがオブジェクトであるRuby(注：Rubyでは、すべてがオブジェクト。じゃないよ！)だからこそこういうことがしやすいんですよねと思いました。関係ないですが、このブログを書いて以下名言が生まれました。

  Ruby 「なんでもはオブジェクトじゃないわよ。オブジェクトであるものだけ。」

  — でこくん (@dekokun) 2013, 12月 15

• ただ、一つ疑問なのは、Rubyはオープンクラスであることもあり、こういう基本的な演算子系をモンキーパッチとして書き換えたりもできるわけだ。Ruby書き達はその誘惑にどのように打ち勝っているのだろうか。(まぁ、この辺りの問題と我々がどうすればいいかはMatzの「Rubyは君を信頼する。Rubyは君を分別のあるプログラマとして扱う。Rubyはメタプログラミングのような強力な力を与える。ただし、大いなる力には、大いなる責任が伴うことを忘れてはいけない」という言葉が端的に表してますね)

case .. when(p77)

• 一般的な他の言語のswitchと違い、fall throughできないのがとても良い。fall throughはバグの温床
• 一方で、明示的にfall throughしたい場面は存在すると思うので、Goのように明示的にfall throughを指定できる感じだとより嬉しかったとは思う
• なお、全く関係ないがPythonにはswitch系の構文が存在しない
• これも特に関係ないが、昔読んだブログを思い出した Rubyのcaseを〇〇(言語名)のswitch文だと思っている人たちにぼくから一言ガツンと申し上げたい

メソッドやクラス/モジュール定義で例外を捕捉(p88)

• なんだこれ便利すぎる。知らなかった。
• いつも、PHPを書く際にメソッドごとtry{}でくくってネストが1段階下がるのにイライラしていたのでとても嬉しい感じですね
• ついでに言うと、retryも便利すぎるんだが。えっbeginからもう一回やり直してくれるのなにそれ。

そろそろ時間もきているのでこれ以上列挙するのはやめておこう。

ところで

なんか、Rubyをひたすら褒めているだけな感じがしてきて、PHP書きとして面白くなくなってきたので、最後にPHPがRubyに対して圧倒的に優れていると思う点を書いておこう

PHPのインターフェース及びタイプヒンティングはとても優れています！！！！！！

いえ、まぁ、Rubyはダックタイピングな言語ですもんね。

最後に

私とRuby

私のプログラミングの歴史はRubyから始まっております(大学の講義でRubyを習い、その後Project Eulerの問題をひたすらRubyで解いていた記憶が)。そして、会社でPHPを書きながら「PHPのようなクソ言語は好かん。やはり全てがオブジェクトであるRubyかっこいいよRuby」といって、たまにあるバッチ処理をちょろっとRubyで書いたりRailsで忘年会用のWebサイトを作成するくらいで「俺は時代の先端のRubyを使いこなすプログラマだぜ」と言っているような痛い感じのプログラマでした。

そんな私が、今では毎日PHPを書いてすっかりPHPの魅力に魅せられ、Rubyのことは完全に忘れて今ではChefのレシピをRuby上のDSLで書いているだけになっていました。

今後

昔の私は所詮Rubyを手慰み程度でしか触っていなかったし、もっと何かRubyで作りたいですね。

ただ、現在PHPばかり書いているので、Rubyのような動的型付け言語ではなくもっとPHPと離れた言語を触りたいと思う今日このごろ。やはりこの前某氏にオススメされたAgdaか。証明！！！

• Send to Kindle
• ツイート
• 

Nodeの複数バージョン管理のお供にnをどうぞ

by @dekokun on 2014/01/01 16:13

Tagged as: Node.js.

新年早々、去年全く使っていなかったNodeのブログを。

初めに

2年ほど前にNodeを使っていた時は、複数バージョン管理にはnpm及びnaveが二大巨頭だった感じがありますが、調べたらnというのがあったので使ってみました

(2014/01/02 追記 nは、半年ほど前に開発が止まっているようだし、ちょっとイマイチなのかな…)

雰囲気

以下Readmeのトップにある動画を見ればわかるのではないかと。この、対話的にバージョンを選択する感じ、素敵ですね。

• Readme.md

作者はexpressやjadeを作っている安心のvisionmediaさん。

インストール

• なんらかの方法によってNode.js及びnpmをインストールし、npm install n -g
  • これが、Nodeなしでインストール可能なnvmやnaveと違う点なのですね。
  • 右記質問がイカしている。Install Node.js to install n to install Node.js?
  • ただ、そもそもnpm install nでインストールされるのはシェルスクリプト1個だけであるため、別にnpm installを行うのが必須であるわけではありません。
  • リポジトリにはMakefile(これも、シェルスクリプトを/usr/local/下に展開しているだけというお手軽実装)も存在しますので、そっちでのインストールも可能

以上、終わりです。内部の実装が、/usr/local/下のファイルをごそっと置き換えるという驚きの実装であるため、PATHの設定も必要ありません。

上記のような/usr/local下ファイルをごそっと入れ替える(正確には/usr/local/n/versions/バージョン番号下ファイルの全てを/usr/local下にコピーする)という驚きの実装が嫌な場合は環境変数N_PREFIXに、インストールしたいディレクトリを指定し、${N_PREFIX}/bin下にPATHを通してあげた後に、nを使ってください

使い方

n latestやn stableやn 0.11.10のようにバージョンを指定して切り替えます。(もしくは、上記動画のように、nコマンドの後に対話的に選択。

対象のバージョンが存在しない場合は勝手にインストールしてくれます。

注意点

• 上記記載しましたように、初期設定では/usr/local/n/versions/バージョン番号/*を全て/usr/local/下に展開するという強烈な作りをしているため、ちゃんとその挙動を理解して使いましょう。
  • 嫌な場合は、上記あるように環境変数N_PREFIXを設定して使いましょう
• 上記のような動きをするため、1台のサーバ上で動くのは1台のバージョンのみです。ですので、rbenvのように、「1台のサーバでも複数のアプリケーションで別バージョン使えるよ！」というような売りはありません。

利点

• PATHの切り替えなどではなく、実行ファイルが直接上書きされるという仕様であるため、nodeを使う側はnの存在を全く気にすることなく使うことができます(例えば、nvmなどを使っている時のように“cronで使うにはゴニョゴニョしなくちゃいけない”とか、そういうことを考える必要がありません。)
• 新しいバージョンのインストールが素早くていいですね。バイナリを落としているだけなのか。
  • 昔、nvm installを行う際は、コンパイルを行うため結構な時間を覚悟しなくてはいけないものだったが。
  • 今調べたら、nvmも、オプションによってバイナリを直接落とすことができるようになっていますね。いいですね。

あとがき

サーバ上のバイナリを直接書き換えることによってバージョンを切り替えているため、1台のサーバ上では常に1つのバージョンを使うことしかできず、nvmの求めている用途とは少し異なるねと思いました。 開発環境ではnvmを使い、商用サーバでのバージョンアップにnを使うなどの使い分けが必要ですね。

先ほど、Dat – データ版Git。データを分散管理、解析という、Node製のソフトウェアのブログを読み、試してみようと思ったのですが、最近新調したMacにはNode環境が整っておらず、まずNode環境を整えることからスタートしたのでした。

Dat、面白いですね。

• Send to Kindle
• ツイート
• 

Zabbixで「○回のうち○回失敗したら」というトリガー設定

by @dekokun on 2014/01/30 00:45

Tagged as: Zabbix.

忘れがちなので

アイテム名.count(直近何回から取得するか, 値, "gtとかeqとか")>回数

例：
{Template OS Linux:system.cpu.util[,iowait].count(#5, 30, "gt")}>3

上記は、直近5回の計測でiowaitが30よりも大きい場合が3回より多くあったらトリガー発動

それだけ。

• Send to Kindle
• ツイート
• 

Lang-8はiOSエンジニアを募集しているとのことです！ #lang8_sushi_karaage 及びささたつさんとお話しした技術的なこと

by @dekokun on 2014/02/12 22:51

Tagged as: Lang-8.

本日は、Lang-8がオフィス移転をした記念ということで、Lang-8 Sushi Karaageが開かれました。私は参加してきました！！

最初に、Lang-8はiOSエンジニアを募集しているそうですよ！wantedly 本当にグローバルなアプリを作りたいiOSエンジニア募集!

お話ししたこと

KitchHikeというサービスを運営している方とお話をしました。 旅行客(主に外国人？)に向けたサービスで、家庭料理を有償で振る舞っていいよという人とをマッチングするサービスとのことでした。こういう、料理をシェアする系のサービスはいいなぁと思いました。ちょっとこのサービスの文脈とは外れてしまうかもしれませんが、料理を提供できる人たち(子どもと一緒に住んでいない親とか！)と、料理を欲する人たち(私とその妻のような、地方出身のワーカホリック気味な家庭とか！)のマッチングとかあるととても幸せだなと思いました。

@2celebさんとそのお知り合い（Lang-8で働いているとのことでしたがアカウントがわからない>< 追記：@suginoyさんとのことでした！Twitterでフォローしていた！）の方と、Ruby及びRails周りのバージョンアップやMongoDBなどに関して話を聞きました！ hogehoge.rbなどでRailsの低いバージョンを使っているとガンガンdisられるみたいな話を聞いて、Ruby界隈は楽しげだなぁという感想をいだきました。

そして、私的に一番うれしかったのは、@sasata299さんとたくさん話せたことです！！！！！！

sasata299さんのブログとか読んでて、すごいなーと思っていたので、とても嬉しかった！ちゃんと個人的に話せたのは初めてですし！！！！

sasata299さんと話したこと達

pt-online-schema-changeの失敗の件

• sasata299さんの書いたブログを参考にpt-online-schema-changeを使ったら盛大に失敗したという話
• 同じレコードを使ったテスト環境では成功したのになー
• こういう失敗談を共有できるような文化があんまり無いですよねーというお話をしました。
  • 「失敗談は、原因を追求しないと公表しづらい」
  • 「有識者に『そんなことも知らなかったのかカスが』と言われそうで怖い」
  • というわけで、匿名で失敗談を共有するようなもの欲しいねという話でした。

テストの文化を醸成するのが難しいとのこと

• 結構話したけど比較的忘れた
• まぁ、チーム全体でテストを書くのは非常に難しいですよねという感じの話をしました
• Lang-8では、ブラウザ側のテストもガリガリ書いているようで、ブラウザ側のようなテストが比較的もろくなりがちな環境でも頑張っているんだなぁという感じがありました。APIのテストで「仕様変更でガンガンテストが落ちていきます！！！」という感じで音を上げがちなうちのチームは(というか私は)まだまだですね。

migrationどうよという話

• 主に以前ツイートした以下のような話

実際に開発者全員がmigrationを駆使して開発するとカオスになるということがよくわかってきているところ。事前に設計をすりあわせたとしても。

— でこくん (@dekokun) 2014, 1月 29

そもそも、migrationについては、git checkoutに追従できない(downのSQLを発行するためのファイル自体が消滅する)ため、まぁ、最初に設計して共有しなくちゃいけませんねという話ですね。

— でこくん (@dekokun) 2014, 1月 29

migrationとrollbackを行い、DBが元の形に戻っているかを検出するというCIが求められている。

— でこくん (@dekokun) 2014, 1月 29

pull requestを1人でさばくことのアンチパターン感

• pull requestをさばく（≒レビューをする）のを一人でやるのってかなり時間がかかってアンチパターン感ありますよね！！！！！！！
• でもある程度しかたない側面もあって難しいところ

最後に

なお、私とLang-8の関わりは、大学時代にインターンとして携帯サイト(ガラケーですよ！ガラケー！！！)の画面遷移図を作成していたことにさかのぼります。当時はLang-8も京都にありましたし、私も京都にいました。そこから、私もLang-8も東京にきて、更にLang-8はオフィス移転なんですね！ おめでとうございます！！！

そして昔は社会人になってもガラケー担当だった気がする私もいつの間にかスマートフォンアプリのサーバサイド開発担当になっているわけです。時代は変わるものなのですねぇ。

先日送った透明な感じのデスクと電源タップをがんがん使い倒していっていただけたらと思います！！！

最後に、Lang-8はiOSエンジニアを募集しているとのことでした！！！！！われこそはと思うエンジニアは是非！！！

wantedly 本当にグローバルなアプリを作りたいiOSエンジニア募集!

• Send to Kindle
• ツイート
• 

PHPのMockeryでメソッドが特定の引数を受け取った時のみ動作を変えるモック作成方法

by @dekokun on 2014/03/08 11:55

Tagged as: PHP, Mockery.

テスト、モック使用が重要ですね。

DIとモックで快適なテストライフを送りましょう。

さて、現在、モックライブラリとしてMockeryを使っております。

先日、ある引数が渡ってきた時だけ動作を変更するようなモックを作りたかったのですが軽く調べただけでは出てこないような情報だったためこちらに記載しておきます。

具体的には、withで引数指定してshouldReturnで返り値を決定し、その後passthruを指定することにより、それ以外の引数の際は元のメソッドの動作を行わせることができます。

ただし、以下でテストしているようにpassthruの後にwithで引数指定を行った場合は指定が効きませんのでご注意。

ただ、一点、上記のようなテストはテストが実装の内部に依存しすぎた脆いテストになりがちであり、そもそも上記のようなモックが必要だと思った時点で設計に敗北している可能性が高いのでそこだけ注意。

<?php

use \Mockery as m;

class MockeryTest extends PHPUnit_Framework_TestCase
{
    private $mock;

    public function setUp()
    {
        $mock = m::mock('\HOGE', ['a', 'b']);
        // 引数がhogeだったら"mock : hoge"を返す
        $mock->shouldReceive('get')->with('hoge')->andReturn('mock : hoge');
        // 引数がfugaだったら"mock : fuga"を返す
        $mock->shouldReceive('get')->with('fuga')->andReturn('mock : fuga');
        // それ以外の引数の場合は元のクラスの動作をさせる
        $mock->shouldReceive('get')->passthru();
        // 引数がfooだったら"mock : foo"を返す ?
        $mock->shouldReceive('get')->with('foo')->andReturn('mock : foo');
        $this->mock = $mock;
    }

    /**
    * @test
    */
    public function Mockeryが特定の引数の時だけちゃんと動く()
    {
        $this->assertEquals('mock : hoge', $this->mock->get('hoge'));
    }

    /**
    * @test
    */
    public function withでの指定が2個目でも成功する()
    {
        $this->assertEquals('mock : fuga', $this->mock->get('fuga'));
    }

    /**
    * @test
    */
    public function withで指定されていなかった場合は元のメソッドと同じ動きをする()
    {
        $this->assertEquals('original : piyoab', $this->mock->get('piyo'));
    }

    /**
    * @test
    */
    public function passthruの後の指定は無効()
    {
        // with('foo')->andReturn('mock : foo') としたはずだが…
        $this->assertEquals('original : fooab', $this->mock->get('foo'));
    }
}

class HOGE
{

    protected $a;
    protected $b;

    public function __construct($a, $b)
    {
        $this->a = $a;
        $this->b = $b;
    }
    public function get($str)
    {
        return 'original : ' . $str . $this->a . $this->b;
    }
}

上記を実行すると、テストは全部通ります。めでたしめでたし。

$ vendor/bin/phpunit test.php
PHPUnit 4.0.3 by Sebastian Bergmann.

....

Time: 36 ms, Memory: 3.25Mb

OK (4 tests, 4 assertions)

まとめ

• mockeryを使った際に、メソッドがある引数を受け取った時だけモックの動きを変え、それ以外の引数の時は元のメソッドの動きをさせる場合はwithとpassthruを組み合わせて使いましょう

• Send to Kindle
• ツイート
• 

PHPのarray_searchが全く見当違い(に見える)値を出力する件について(ちゃんとstrictフラグ立てよう)

by @dekokun on 2014/04/26 20:40

Tagged as: PHP.

どうも。来月結婚する@dekokunです。タイトルで言いたいことは全て言っているのですが、まぁ詳細書きます。

導入 array_searchとは

指定した値を配列で検索し、見つかった場合に対応するキーを返す

参照：array_search

<?php
array_search(1, [2, 3, 4, 1]); // => 3
// インデックス3の値が1なので、3が返ってきた
array_search(1, [2, 1, 4, 1]); // => 1
// 複数マッチした場合は最初にマッチした値を返す

という感じですね。

本題

では、タイトルにあるように“array_searchが全く見当違い(に見える)値を出力する”というのはどういうことか見て行きましょう。

<?php

function test() {
  // 'hoge'なんて引数の配列の中に存在しないのでfalseが返るよね！
  if (array_search('hoge', [1, 2, 3, 0])) {
    echo 'match!';
    return;
  }
  echo 'not match!';
}

test();
// => "match!"が出力される！！！

何が起きているかわかりますかね。私は最初わかりませんでしたよ。ま、そもそも上記のように配列の中に値があるかどうか調べたい場合はin_arrayを使うべきではありますが、まぁ。

REPLを使ってもう少し詳しく確かめてみましょう(余談ですが、PHPのREPLとしては私はpsyshを使ってます。便利ですね。他の人のPC上で実施するときはphp -a使いますが、結構だるいですよね。)

$ psysh
>>> array_search('hoge', [1, 2, 3, 0])
=> 3

上記、なぜか3が出力されてますね。配列の中のインデックスが3の値は…0 !!!

はい、PHPによく慣れている方はもうわかったかもしれませんね。array_searchはデフォルトでは“==”による比較を行うため、‘hoge’ == 0の比較を行ってtrueになってしまったということだったのでした。ちょっとぎょっとしますよねこれは。

解決策

array_searchにはstrictフラグという、値の比較の際に型の一致(及びオブジェクトの一致)をチェックするフラグがあるのでそちらを使いましょう。

$ psysh
// strictモードfalse(デフォルト値)版
>>> array_search('hoge', [1, 2, 3, 0])
=> 3
// strictモードfalseを明示的に指定版
>>> array_search('hoge', [1, 2, 3, 0], false)
=> 3
// strictモードtrue版
>>> array_search('hoge', [1, 2, 3, 0], true)
=> false
// やった！これからはちゃんとstrictにしよう！！！

めでたしめでたしなのでしたー！！！

本題とは関係ないけどarray_searchについて

array_searchについて学んだついでに、上記の他に「array_searchのバグじゃないか」としてよく言われる挙動を見ておきましょう。

<?php

function test() {
  // 1は引数の配列の中に存在するし"match"が出力されるよね
  if (array_search(1, [1, 2, 3])) {
    echo 'match!';
    return;
  }
  echo 'not match!';
}

test();
// => "not match!"が出力される！！！

上記、PHPによく慣れている方は、すぐに「あ、検索する値が配列の0番目にあったのでarray_searchの返り値が0になりfalse判定されたんですね」とわかるかと思います。 まぁ、こちらはわかりやすいですかね。PHPを書いていればあまりにも普通のことです。

ま、上記のようにマッチしているかどうかを取りたいだけなら問答無用でin_arrayを使えという話ではありますが(なお、in_arrayもstrictフラグを使わないとarray_searchと同様文字列が0にマッチしたりするので要注意です。)

あとがき

PHPの曖昧さとうまく付き合っていく方法が未だによくわかっていない。というか、‘hoge’ == 0というのはあまりにも直感的じゃなさすぎてさすがに無理がある。‘1a’ == 1とかも まぁ、とにかく厳密にできるところは一歩ずつ厳密にしていきましょう。

あ、「来月結婚する」って書いたけど正確には入籍は一年くらい前に終わっていて、来月あるのは挙式です。

1年半前から毎月1記事は書こうと頑張っていたが結婚準備でかなりバタバタしており、「4月は頑張らないと」と思っていたのですが、まぁブログは予定通り書けてよかったです。

このブログを140文字で伝えると

以下私のツイート

PHPの array_searchですが、返り値が0になりうるのでfalseと判定されて云々という話ばかりでてくるが本当にやばいのはheystackの中に0などが入っている時にneedleが文字列の場合ですよね。0でマッチしちゃう。strictフラグ立てましょう。

— でこくん (@dekokun) 2014, 4月 26

• Send to Kindle
• ツイート
• 

MySQL5.6.5からDATETIME型で行生成時刻と更新時刻を自動でセットすることができるようになりましたよ

by @dekokun on 2014/05/31 20:46

Tagged as: MySQL.

どうも。先日結婚式を挙げました。二次会のために手作りの巨大くす玉を作るノウハウを手に入れましたのでそのあたりもいずれブログに書きたいですね。

概説

MySQL5.6.5から、DATETIME型でも行の生成時刻と更新時刻を自動更新できるようになりましたよ。

方法

作成時刻は DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP で

更新時刻は DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP で宣言しましょう

参照：How do you set a default value for a MySQL Datetime column?

以下、MySQL5.6.17で検証

テーブル生成

mysql> CREATE TABLE foo (
         `id` INT(11),
         `creation_time` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
         `modification_time` DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
         PRIMARY KEY (id)
       );
Query OK, 0 rows affected (0.12 sec)

生成時刻自動挿入のテスト

mysql> insert into foo (id) VALUES (1);
Query OK, 1 row affected (0.00 sec)

mysql> select * from foo;
+----+---------------------+---------------------+
| id | creation_time       | modification_time   |
+----+---------------------+---------------------+
|  1 | 2014-05-31 21:25:09 | 2014-05-31 21:25:09 |
+----+---------------------+---------------------+
1 row in set (0.00 sec)

更新時刻自動挿入のテスト

mysql> update foo set id = 2;
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select * from foo;
+----+---------------------+---------------------+
| id | creation_time       | modification_time   |
+----+---------------------+---------------------+
|  2 | 2014-05-31 21:25:09 | 2014-05-31 21:25:59 |
+----+---------------------+---------------------+
1 row in set (0.00 sec)

注意

この設定が性能面にどのような影響をあたえるかは検証しておりません。

あれ、以前MySQL5.6.13くらいで検証した時はDEFAULT CURRENT_TIMESTAMPを2カラムに設定できなかったような記憶があるが5.6.17ではできているな。

• Send to Kindle
• ツイート
• 

composer installをproduct環境で使う際はoptimize-autoloaderオプションを使おう

by @dekokun on 2014/06/22 23:34

Tagged as: PHP, composer.

概要

composer installには–optimize-autoloaderオプションつけたほうが若干アプリケーションの性能が上がるよ。 もしくは、composer installした後にcomposer dumpautoload -oするか。

なぜか

composerが自動生成するautoloaderは、以下の順番でクラスファイルを探していくんですね。

1. vendor/composer/autoload_classmap.php(以下、classmapファイルと記載)ファイルの中にクラス及びそのファイルの定義があればそのファイルをinclude
2. 上記なければそのファイルをまぁいろいろ検索してファイルの存在まで確認して存在すればinclude

というわけでclassmapファイルにいろいろ書いてあるとファイルの検索部分が省略され基本的に高速化される模様なのですが、classmapファイルは、普通にcomposer installを行っただけでは空の配列を返す感じになっているのです。

以下のような感じです。

<?php

// autoload_classmap.php @generated by Composer

$vendorDir = dirname(dirname(__FILE__));
$baseDir = dirname($vendorDir);

return array(
);

ではどうすればいいかというと、表題のようにcomposer install時に –optimize-autoloaderオプションをつければいいのです。つけると以下のように、クラス名とファイル名を対応させる記述が増えます。

<?php

// autoload_classmap.php @generated by Composer

$vendorDir = dirname(dirname(__FILE__));
$baseDir = dirname($vendorDir);

return array(
    'Acme\\DemoBundle\\AcmeDemoBundle' => $baseDir . '/src/Acme/DemoBundle/AcmeDemoBundle.php',
    'Acme\\DemoBundle\\Command\\HelloWorldCommand' => $baseDir . '/src/Acme/DemoBundle/Command/HelloWorldCommand.php',
    'Acme\\DemoBundle\\Controller\\DemoController' => $baseDir . '/src/Acme/DemoBundle/Controller/DemoController.php',
    'Acme\\DemoBundle\\Controller\\SecuredController' => $baseDir . '/src/Acme/DemoBundle/Controller/SecuredController.php',
    'Acme\\DemoBundle\\Controller\\WelcomeController' => $baseDir . '/src/Acme/DemoBundle/Controller/WelcomeController.php',
    'Acme\\DemoBundle\\DependencyInjection\\AcmeDemoExtension' => $baseDir . '/src/Acme/DemoBundle/DependencyInjection/AcmeDemoExtension.php',

    ...以下略 なお、こちらはSymfonyの初期状態でテストしています

実際の効果

• 上記最適化を行うことでMoufというフレームワークでhello worldするWebアプリのレスポンスが37%早くなったという話
  • Optimizing Composer’s autoloader performance

実際に自分でもやってみました。

• OS: Mac
• 言語: PHP5.5
• Web server: PHPのビルトインサーバ
• Apache Bench: Mac上から自分自身に対してApache Bench実施

クラスファイルを1万ほど生成し(参考までに、素のSymfonyをインストールした際にvendorディレクトリ以下は6000ファイルほどとなっています)、そのクラスのスタティックメソッドをひたすら呼び出すアプリケーションを作ってApache Benchをかけてみました。 (もろもろキャッシュに載せた結果を確認するため、2回同じことを行い、2回目の結果を採用しています)

composer install 
Time per request:       788.825 [ms] (mean)

composer install --optimize-autoloader
Time per request:       731.721 [ms] (mean)

はい、少し早くなりましたね。

何回かやりましたが全部こんなかんじでしたので、まぁある程度正しいんでしょうが、かなり適当に計測しているというのはご了承ください。

なお、2014/06/23時点で、Composerが生成するautoloaderにおいてクラス名の最初の一文字というのは非常に重要(クラス名の一文字目を検索の最初のフィルタリングのキーとして使っている)なのですが、今回全てTestから始まるクラス名だったため、あまりにもこの計測は実態から乖離しまくっているなとは思いました。

結論

composer install –optimize-autoloader をしよう ただ、まぁ、若干composer installにかかる時間が長くなる

自分が行ったテストについて

Apache Benchとサーバを同じPC上で行っていたり、100リクエスト程度しかしてなかったり、まぁかなり適当な感じのテストではある。

アプリケーションは以下。

<?php

require_once __DIR__ . '/../vendor/autoload.php';

for($i = 1; $i < 10000; $i++) {
  $className = "Test" . $i;
  $a = $className::hoge();
}

echo 'hoge';

composer.json

{
    "name": "dekokun/hoge",
    "description": "hoge demo",
    "repositories": [
    ],
    "autoload": {
        "psr-0": {"": "lib"}
    }
}

libディレクトリの下は以下

$ ll | more
total 80016
-rw-r--r--  1 dekokun  staff    71B  6 22 23:14 Test1.php
-rw-r--r--  1 dekokun  staff    72B  6 22 23:14 Test10.php
-rw-r--r--  1 dekokun  staff    73B  6 22 23:14 Test100.php
-rw-r--r--  1 dekokun  staff    74B  6 22 23:14 Test1000.php
…以下略

各クラスファイルは以下

<?php

class Test1 {
  static function hoge()
  {
    return 1;
  }
}

• Send to Kindle
• ツイート
• 

xhprofって実行時間だけじゃなくてメモリとかCPU使用率のプロファイリングとかもしてくれるんだね知らなかった

by @dekokun on 2014/07/01 00:28

Tagged as: PHP, xhprof.

概要

xhprof_enable関数の引数にいろいろ指定できた

詳細

xhprof_enableの引数に、XHPROF_FLAGS_NO_BUILTINS | XHPROF_FLAGS_CPU | XHPROF_FLAGS_MEMORYとか指定してあげて色々動きが変わる

• XHPROF_FLAGS_NO_BUILTINSは、ビルトイン関数がプロファイルに出力されない
• XHPROF_FLAGS_CPUは、CPU使用率のプロファイルが出力される
  • どうやって計測しているんだろうか
  • DBにクエリを投げたりするメソッドはやはりTimeが高くてもこの値は低くなったりするんだろうなぁ。検証が必要
• XHPROF_FLAGS_MEMORYは、メモリ使用率のプロファイルが出力される
  • こちらは、メソッド呼び出し前後のメモリ使用量を測定して計算しているということかな？

なお、第二引数で、無視する関数を指定したりできるらしい。

詳細は以下

xhprof_enable

XHPROF_FLAGS_NO_BUILTINSの効果

before (ビルトイン関数のfile_existsがグラフに出てきていますね)

XHPROF_FLAGS_NO_BUILTINS前

after(ビルトイン関数のfile_existsがグラフに出てこなくなりました)

XHPROF_FLAGS_NO_BUILTINS後

XHPROF_FLAGS_CPU | XHPROF_FLAGS_MEMORYの効果

before(まぁ、よく見る普通の光景)

XHPROF_FLAGS_CPU | XHPROF_FLAGS_MEMORY前

after(カラムがゴサっと色々増えた！！)

XHPROF_FLAGS_CPU | XHPROF_FLAGS_MEMORY後

雑談

これまでxhprofは実行時間の計測のためだけに使っていた(というか、他も計測できるの知らなかった)のですが、マニュアル見たらそれだけじゃなかったのでビビってやってみたらいろいろでてきた。ビビった。

ただ、CPUのプロファイルの部分など、もうちょっと検証は必要。

getrusageで使用するユーザー時間がとれるからそこからCPUの部分を取得している感じなのかな。

— でこくん (@dekokun) 2014, 6月 30

このブログで画像をちゃんと管理するために久しぶりにHaskell書いた(コピペ)

• Send to Kindle
• ツイート
• 

PHPにおけるタイプヒンティングでのClosureとcallableの違い

by @dekokun on 2014/07/25 00:26

Tagged as: PHP, タイプヒンティング.

概要

Closureとcallable、どちらも無名関数に使えるタイプヒンティングなのですが、callableは無名関数以外でも関数名とかでもいけるけどClosureはそういうのいけないよという話。

@do_aki氏に感謝

詳細

PHPのタイプヒンティングで。

— でこくん (@dekokun) 2014, 7月 22

@dekokun 5.5 あたりから、Closure ベースで良いよって事になってたはず。

— どぅーあき (@do_aki) 2014, 7月 22

@dekokun http://t.co/mZdkKiY3EH

— どぅーあき (@do_aki) 2014, 7月 22

@dekokun うんにゃ。 callable だと、文字列(関数名)や array (クラス名/インスタンスとメソッド名) も受け付けるよ。

— どぅーあき (@do_aki) 2014, 7月 22

<?php

function callableTest(callable $func) {
}
function closureTest(\Closure $func) {
}

callableTest('printf'); // 問題なし
// closureTest('printf'); // PHP Catchable fatal error:  Argument 1 passed to closureTest() must be an instance of Closure, string given

class Hoge {
  public function hoge() {
  }
}

$hoge = new Hoge();

callableTest([$hoge, 'hoge']); // 問題なし
// closureTest([$hoge, 'hoge']); // PHP Catchable fatal error:  Argument 1 passed to closureTest() must be an instance of Closure, array given,

callableTest(function() {}); // 問題なし
closureTest(function() {}); // 問題なし

あとがき

@do_akiさんありがとう

Twitterさんありがとう

• Send to Kindle
• ツイート
• 

FuelPHPの脆弱性への攻撃を再現出来たけど公開していいものなんだっけ

by @dekokun on 2014/07/25 00:11

Tagged as: PHP, FuelPHP.

概要

FuelPHPの脆弱性への攻撃を再現出来て嬉しいんだけど、こういうのって公開していいものなの？

詳細

JVN#94791545 FuelPHP において任意のコードが実行される脆弱性に書かれている脆弱性を突く攻撃を再現できそうだったので再現に努めた。

無事再現出来たんだけど、こういう攻撃方法って、あんまり外に出しちゃいけないんですか。どうなんですか。

1. 公開したら攻撃したい人が喜ぶだろ
2. 公開して危険さを広めることで皆のバージョンアップを促そう

という２つの立ち位置がある感じがする。

まぁ、そもそも今回の脆弱性への攻撃はやり方を公開したところで普通の人はどうにもできない感はある。攻撃相手サーバの通信先に、攻撃コードを埋め込む必要があるので…

結論

serializeされて渡された文字列をデフォルトでunserializeするような実装にしているのはさすがにもっとちゃんとしてくださいという気持ち。まぁ、私もちゃんと気をつけたいです。

FuelPHP、この脆弱性対応で、1.7.1と1.7.2というマイナーバージョンアップにもかかわらずRequest系クラスのインターフェースが結構変わってしまった感あるのだが大丈夫なのだろうかという気持ち。

• Send to Kindle
• ツイート
• 

CEDEC AI CHALLENGE 決勝に参加して来ます

by @dekokun on 2014/08/31 12:56

Tagged as: PHP.

概要

• 日本最大のゲーム開発者向けカンファレンスであるところのCEDECにて、AIコンテストが開かれる
• インターネット予選を勝ち抜いた16名で争われる
• インターネット予選、19位だったので決勝出場の16位に入れなかったと思ってたけど、決勝に参加できない人が何名かいたようで繰り上がり参加できるようになった模様

使ってる言語や作戦など

• 決勝については詳しくはまだ明かさないが、予選はPHP + モンテカルロシミュレーションを使用して戦った
• 上記組み合わせだと、動的言語PHPの弱点(実行速度の遅さ)をもろに晒す戦い方になるので、決勝では言語か戦略をガラッと変えていく予定。多分
  • まぁ、9/1日中にAIを提出しなくてはいけなくてあまり時間ないですが
• 詳しくは決勝終わってから解説します

モンテカルロシミュレーションについて

人生初のモンテカルロシミュレーションだったが、以下学びがあった

• なぜ強いのかわからんけど強い、みたいな不思議な気分に包まれる。AIって多分全体的にそんな感じなのだろうが
• バグなくちゃんと動いているかを検証するのが極めて難しい

その他作戦

• AI開発の集中力を高めるためにアイソレーションタンクとやらに行って来た
  • プカプカ浮かんできた
  • 実にクリアな気分になれた。これならAI CHALLNGE、いけそう
• ついでに、HHKBを購入した
  • 実に素晴らしい。これならいけそう
  • という予定だったのだが、近くのヤマダ電機にはHHKBがなかった。普通にあるものだと思っていたが違った

• Send to Kindle
• ツイート
• 

PHPを使ったり4000円課金したりしてCEDEC AI CHALLENGE 準優勝に至るまでの軌跡

by @dekokun on 2014/09/08 00:07

Tagged as: PHP, contest.

概要

日本で最大のゲーム開発者向けカンファレンスであるところのCEDECにて、AIのプログラミングコンテストが開かれました。

その名もCEDEC AI CHELLENGE。

そこで、PHPを使って参戦したら見事準優勝したので何を行ったかを書きます

なお、この大会はオンラインで行われる予選と、実際にCEDECの会場で行われる本選の2段階で行われました。 上記「見事準優勝」等と言っておりますが、予選はともかく本選の方はほとんど運によって全てが支配されていたため、準優勝ってなんぼのもんなのかと言われると、「最低限瞬殺されないくらいの強さ」というくらいの話でしかないです。はい。

参加者は、去年は11人だったようですが今年は5倍以上の60人。来年はもっと増えるんですかね。来年も参加したいですね。

なお、タイトルに「PHP」と付けたのは、日々disられがちなPHP使いへのエールを込めてです(去年のISUCONブログでも同じ事を書いたよね ISUCON予選にPHP実装で参加して3位になりましたーやったことなどまとめ)

簡単なルール

• 詳細はこちら Game Rules
• 一回の対戦は4人で行われます。8人のバーチャルな女の子がいて、平日は5回、休日は2回、それぞれ誰かとデートをします
• 平日に誰が誰とデートをしたかの情報は開示されるのですが、休日は、どの女の子がデートをしたかだけが開示され、誰とデートしかかは不明です
• それらの情報を元により多くの女の子の好感度をあげよう！
• 女の子には一人ひとりに情熱度が付与され公開されていて、情熱度が高い女の子の好感度を上げるほど勝利は近いぞ！
• さて、他の人の情報が中途半端にわかっている状態で君は誰とデートする？！
• みたいなざっくりとしたルールはそんな感じです
• 使用言語は、C, C++, Java, C#, Scala, Ruby, Python, Perl, PHP, Haskell, JavaScriptです
  • 今回私はPHPを使いました。最近disられがちなPHPの復権を望んでそんなことをしましたが、動的言語が遅いのはわかりきった話ではあるので、次はScalaで戦います
  • 多分、今回本選に参加したメンバーの中でPHP使ってたの私だけだろうなぁ
  • 別のところでGoが使わせてもらえるのならGoで書く

戦略概要

• ルールベースAIとモンテカルロなAIの組み合わせ
• 最初は「ただのルールベースAIで行くぞ」と思ってルールベースの土台を作ったが、結局「基本ははモンテカルロ法ルール。前半と後半でちょっとパラメータを変化させるためにルールベースAIを使った」という感じだったため、ルールベースAIを導入した意味はほとんどなかった
• どのようにモンテカルロ法を使ったか
  • 自分の取りうる全ての手に対して、その後自分と相手がランダムに全ての手を打ったと仮定した際に誰が勝つかを計算し、その中で自分の勝率が最も良かった手を打つ
  • 情報の不完全性を最大限利用して頭のいいAIに情報を与えないためにために、前半は休日の際は1ターンの中では2日とも同じ相手に点を入れるようにしてある
  • 上記を前半だけにしたのは、前半に混乱させれば後々それが効いてくるだろうというのと、後半はお互いの今後の可能性が減りより精緻なよみができるようになるのでその中でちゃんと最善の手を打たせたかったから

なぜモンテカルロ？

意思決定の流れを時系列順に

• 「このAI,モンテカルロが向いているんちゃいますか？」という後輩の進言によってモンテカルロ法のAIについて調べる
• 調べたところ「どのような手を打っても確実にゲームは終了する」というゲームの特徴がモンテカルロ法にぴったりだった
• 唯一の懸念点は、PHPを選択していることで「Scala等のコンパイル型の言語を選んだ参加者と比べて計算量が圧倒的に少なく試行回数が稼げない」ところ
• 以下『工夫したところ』『反省点』にあるように、今回の問題はモンテカルロ法を選択した際に収束を早める工夫が色々できそうだったのでまぁ、他の参加者を出し抜くことも可能だろう
• モンテカルロに決定
• 私はこの時まで、モンテカルロに対して「なんか確率的な手法なんでしょーよく知らんけど」みたいな感じだったため、後輩がいなかったら「AIにモンテカルロ法を使用する」という発想が出てくることは絶対になかったと思われる。後輩に感謝

AIで工夫したところ

• 自分が取りうる手は状況によって変わらないためプログラム内に自分の打ち得る手を最初に列挙しておいたところ
  • こちら、実は手打ちでやっており、やばかった。700超通りの配列を延々手打ちで作成したのはものすごくプログラマとしてダメなことしてるなと思いながら延々手打ちをした
• 過去のデート回数については、1ターン毎の各ヒロインのデート回数を、そのターンでの全デート回数で割った数を、自分以外の各プレイヤが取得した好感度として計算 <- この考えを入れることで明らかに勝率が上がった
• 今回、「敵がランダムに行動する」という仮定をとった際、自分がとった手は全く相手の手に影響を与えないため（例えば囲碁の場合、自分が打った場所には敵は打てないが、今回はそのような制約はない）、ランダムな、全プレイヤーが取りうる手の中で、自分がとる手を入れ替えていくことで計算量を減らすという戦略をとった
• このゲームでは、「敵がランダムに行動する」という仮定をとった際、「ある手を打つことが決まっているのであれば、それがどのタイミングだとしても最終結果は変わらない」ため、あるプレイヤーが今後取りうる手を計算する際に、「全45ポイントをどのヒロインに割り振るか」だけを計算することで、収束を早めることができた
  • これによって、一人のプレイヤーが取りうる手の組み合わせ結果が 8^45(ものすごくたくさん) から 52C8(752538150) まで減った(と思う。計算が間違っていなければ)
  • ただ、この方法での敵のポイント分布は実際にランダムに敵が行動した場合のポイント分布と異なるという欠点はあるが収束を早めるためにやってよかったと思っている

AIの中身以外で良かった点

• Jenkinsを構築しGithubにコードがPUSHされたタイミングで、過去の自分と300回ほど対戦して極端に勝率が低くなっていないかを確認するCIを回していた
  • これを実現するためにはCPUぶんまわしの並列実行バリバリできるサーバが必要であり、AWSのc3.8xlargeというかなり最強に近いインスタンスを使用し、2日で4000円ほどが吹き飛んだ
  • 勝率のグラフ化、plotプラグインが便利だった
  • 提出直前は、「ある施策を打つ」「JenkinsのCIで極端に勝率が落ちる」「revertする」の繰り返しで、弱いAIを提出しちゃわなかったという点で圧倒的に役に立った
• ライバルと一緒に参加したこと
  • まぁ、ライバルというか会社の後輩なんだけど、二人で励まし合ったり情報交換したりして頑張れた
  • なお、彼は予選の「最後に提出したAIが採用される」というルールを把握しておらずそんなに強くないAIで戦い死んだ
• 予選終了後にライバルとの反省会
  • 予選が終わった後すぐにお互いがどのような戦略をとっていたのかをまじえつつ反省会を行った
  • その結果は決勝のAIにフィードバックされております
• プロファイラでボトルネックを測定した
  • PHPには、最強のプロファイリングツールであるxhprofがありまして、こいつのお陰でボトルネックらくらく特定でしたね

行おうとしたけどしなかった施策達

邪悪なものから、普通に実現できなかったものまで

並列実行

• そもそもPHPでは並列実行周り非常に弱いのだが、新しいプロセスを起動し自分自身を実行して標準出力でデータを受け渡すなどしてなんとかすれば並列実行できるしそちら頑張ってみようかなと思った
  • そもそもコア数が1だったら意味が無いので計測した。具体的には、 予選サーバの/proc/cpuinfoファイルの中身をAI実行ファイルから覗き見た
  • 結果、コア数が1だとわかったため並列実行は断念
  • 後で運営の方に確認したところ、DigitalOceanの一番安いインスタンスを使用していたとのことだった
  • 事前にインスタンス情報も与えられていなかったし計測するのは本当に大切なことだ！

外部のサーバに頑張らせる

• 外部の超いいインスタンスを用意し、そのAPIを叩くことで高性能な外部のサーバに計算させることを考えた
  • が、PHPから外部のサーバを叩こうとしたらエラーだったため「さすがに運営が止めているか。そりゃそうだよな」とすぐに諦めた
  • 運営によると「外部への通信は制限していなかったはず」と言っていたので何か間違えたかも

事前に計算結果を持っておく

• 今回PHPを使ったわけだが最大の弱点として「遅い」という問題があるため、それを事前計算で解決しようとした
• 具体的には、試行回数を増やしたモンテカルロ法で、事前にあらゆる手に対しての最善手を計算してファイルに格納しておき、実際の戦いでは現状から答えを読み取るだけで済むようにする
• ファイルアップロードの容量制限があるのは知っていたため、前半の手だけでも格納できないかなと考えていた
• 実装時間がたりなさすぎてできなかった

複数AIの協調動作(邪悪)

• 複数アカウントを作成し、序盤はそれぞれのAIがある法則にしたがって自分の手を打ち他のAIにメッセージを投げる
• それぞれのAIが、序盤のメッセージを受け戦いの中に味方がいることを察すると、後はそれぞれが事前に決められたあるAIを勝たせるために協調動作する
  • 具体的には、勝たせるAIが狙っている女の子に対しては自分は一位の好感度を得ないようにし、他のAIが勝ちそうな女の子の好感度を上げて他のAIにポイントをとらせないみたいな
• この方法は予選突破にしか使えず、そもそも実装がかなり複雑になるため予選突破するためなら普通に頑張ったほうが早いと思ってやめた。そもそも発想が邪悪すぎる

感想

• アイデアをくれた後輩に感謝
• モンテカルロ法、実行結果をみても正しく動いているかがよくわからないためデバッグが著しく困難
  • その反省を活かして決勝にJenkinsを導入したのはとてもよかった
• PHPの「division by zero エラーでもプログラムが止まらない」という特性を知った
  • 予選では上記エラーが出まくるプログラムを提出していました。動いていたから気付かなかった。恐ろしいですね
• 懇親会の中華、おいしかったです

最後に

• 運営の方が、この対戦に使用される絵(スクリーンショット)を描いていただける絵師さんを募集しているそうです
• コードはこちら https://github.com/dekokun/CEDECAI
• このブログ、めちゃ長いな

• Send to Kindle
• ツイート
• 

PHPカンファレンス2014でLTしてきました

by @dekokun on 2014/10/14 7:54

Tagged as: PHP.

概要

国内最大のPHPイベントであるPHPカンファレンス2014でLTしてきました。

プログラムの最後のLT無差別級の中でも一番最後のLTということで緊張しましたが、結構いい感じに発表できたと思います。ウケて良かった。

発表資料

発表内容について

• 当日手元の資料を見なおしたらデグれっており、慌ててそれを修正したのだが発表の時に更に前のバージョンまでデグれっていることに気付いてバイナリのバージョン管理のできて無さに驚いたのであった
  • 例えば、17ページ目の外部サーバに計算させようとしていたところなどは、時間の都合上抜かしていたのだが入っていた
  • まぁ、デグれったバージョンでも特に問題なく発表できたのでよかった。早口になっていたのか、特に時間が足りなくなることもなかった
  • iCloudをiCloud DriveにほいほいバージョンアップしたらMarvericsからアクセスできなくなったのが辛かったです
• 8ページ目「PHPの立ち位置」の中の「並列実行が苦手」については、あくまで1プロセスの中の話しであり、もちろんApache等の力を借りれば並列処理は特に問題ない感じではある
  • 「並行処理」という記述のほうが適切だったかなと思っている
• 「PHPの立ち位置」の中の「柔軟な配列」については、プログラムを書く上で便利ではあるが、AIプログラミングという観点からは、むしろデータ構造を選べる方がいいよねという話は確実にある

LTについて

• 当日は後輩2人も発表し、それぞれ新卒1年目、2年目にしては非常に堂々とした発表でとてもよかった
• 社内で定期的にLTイベントが開かれているのが良かったよねという思い
  • もちろん、本人たちのもともとの素養が優れているというのは間違いないが

PHP愛について

• タイプヒンティングは本当に素晴らしいと思う
• それなら静的片付け言語を使えばいいのではと言われそうだが、まぁ、ある程度そのとおりなんだけど、動的言語の中に一部だけ混ぜられるというのがいいと思う
• まぁ、タイプヒンティング以外は、特筆すべきところはあまりないかなという感じはあるが…
  • xhprofは便利だけど

• Send to Kindle
• ツイート
• 

#isucon 2014で11位でした

by @dekokun on 2014/11/08 23:48

Tagged as: contest.

概要

第4回 ISUCONの本選に、参加しました。去年に引き続き予選突破しての本選出場でした。去年の本選は0点での敗北だったのですが、今年は30組中11位で、まぁ、去年よりは良かったよねという感じになりました。

@ikemonn と@MiuraKatsuの3人チームでの出場でした。

やったこと

• フロントのサーバを2台にして、redisに突っ込んでいた動画ファイルはフロントのファイルとして起き、nginxに直接配信させる
• 残り1台(1コアだったやつ)を、動画以外のデータを保存するためのredisサーバとして使用
• 他にもいろいろやって、そのおかげでアプリケーション内の遅い部分はどんどん移り変わっていったのですが、何しろボトルネックは別に存在したため、ただ単にどんどんCPUを食わなくなっていっただけでした
  • クライアント側のキャッシュについては全く気付かず、まぁ、なんというか…1位の1/80ほどの得点だったのでした…

思ったこと

• ベンチマークにキャッシュさせてリクエスト自体を発生させなくしないとスコアが全然伸びない件、意識の外側から刈り取られた感じがすごかった
  • まさかベンチマークツールがブラウザ同様にキャッシュ機構を持っているとは…
• 思考に枠をはめていたなぁと強く思わされた
• 非常に悔しくて悔しくて…
• AMI公開されたら、自分のやった変更をあてた状態でクライアント側のキャッシュ部分だけ書きなおしてどれだけ変わるのか試してみます

PHPの復権を賭けた戦い

チーム名は「PHPに花束を」です。

PHPに花束を、暫定一位をとってます！！！！キテマスキテマス！！！！！！！！！ ドローンゲットだぜ！！！！！ #isucon

— でこくん (@dekokun) 2014, 11月 8

まだ暫定一位だ！！！PHPに花束を捧げたい！！！！ #isucon

— でこくん (@dekokun) 2014, 11月 8

よっしゃーなんか知らんが一位に返り咲いた！！！ #isucon

— でこくん (@dekokun) 2014, 11月 8

暫定一位が「PHPに花束を」だ…これはもしやPHPの復権の時？ #isucon

— Mr. Fiber (@repeatedly) 2014, 11月 8

我々のチーム、PHP復権を狙っております。 #isucon

— でこくん (@dekokun) 2014, 11月 8

PHPの復権ならず…！！

— でこくん (@dekokun) 2014, 11月 8

辛すぎてレゴで名前を作った。 pic.twitter.com/IYo0MdLrZj

— でこくん (@dekokun) 2014, 11月 8

次回

• 次こそは優勝したいです

まぁ、去年の本戦の結果は0点だったし、無限倍の成長をしたということでここはひとつ…

— でこくん (@dekokun) 2014, 11月 8

• Send to Kindle
• ツイート
• 

宣言すればコンピューターがいい感じに解決してくれる未来を目指して~理想の世界と現実の壁~

by @dekokun on 2014/12/25 00:00

Tagged as: ポエム.

CYBIRDエンジニア Advent Calendar 2014最終日の@dekokunです。 昨日は@gotyooooくんのサーバ障害時のトラブルシューティング ~クリスマスイブでも早く帰ろう~でしたね。彼は新卒2年目なんですけど、新卒2年目でこんな感じで障害要因の絞りこみできているのを見ると、私の若いころとくらべてモノが違うなって思いますね。すごいですね。

今日の内容

人間は「◯◯がしたい」って願うだけで後は全てコンピュータに任せたい。その未来はどんどん迫ってきている。以下、その例をいくつか挙げます。

ルンバ系の掃除機

• ルンバみたいなの買いました。東芝製のトルネオロボっていう名前です。可愛いです。

• 電源を入れてリモコンで「自動で掃除」ボタンを押すだけで部屋全体を勝手にいい感じに掃除してくれます。
• もちろん、「どのように動け」みたいなプログラミングを行う必要はないです。ただ「自動で掃除して」とお願いするだけで部屋全体がいい感じに掃除されるのでとてもいいかんじです。
• 「隅から隅まで圧倒的に綺麗な部屋じゃないとやばい」みたいな人以外は、こいつがいれば基本的にあんまり掃除しなくていいんだろうなと思いました。

SQL

• SQLは「どんな方法でデータをとってきて」って言わなくても「どんなデータが欲しい」っていうだけでデータをくれます。
• 上記のように作られているのに「インデックスはってないカラムにクエリ投げるな」とか「どっちが駆動表だと意識しろ」とか、結局DBMSがどのようにデータをとってきているのかを考えなくちゃいけないの完全に人類の知性の敗北っぽいと思います。
  • と言っても実際のところは「小さいデータであればどのようにデータをとってきているかを意識する必要はないが大きいデータではそれは難しかったりして、まぁ程度問題」というのが正しい話ではありますね。
  • まぁ、Oracleとかの賢いDBMS使って「程度問題の『程度』」のレベルをあげたらいいんじゃないっすか〜みたいな話でもあります。
• 多分普通の人が(普通の人って何？という話はあるが)普通にDBを使う分には、十分にいい感じに「どんなデータが欲しい」に答えてくれているようです
  • 弊社でSQL書いたりORMでDBアクセスする際は、ちゃんと「どのようにデータを取ってきているか」を意識してくださいね

ライブラリとかそういうの

コードの速度は本当に遅いと分かるまで最適化しないみたいなの、理想論ではそういう世界であるべきなんだが結局ORMを適切に使わずN+1問題大量発生とかforの中でinnerHTML変更しまくるとかそういうのはやはり事前に潰さないとねと思うわけですよ。

— でこくん (@dekokun) 2014, 8月 21

ライブラリやフレームワークをより賢くしていく方向で「素直に書くと勝手にその辺りが潰される」という理想の世界を我々が作っていかなくてはいけないとは思っている。

— でこくん (@dekokun) 2014, 8月 21

宣言型がまさに宣言型として動く世の中を。

— でこくん (@dekokun) 2014, 8月 21

• 上記で言っているようなことは、まだまだ人間が頑張らないといけないところ多めだよねって思いますね。ただ、ORMがDBへのアクセスからその結果をオブジェクトに突っ込むまでやってくれてるの、やっぱすごいですよねって思います。
• 最初の「innerHTML変更しまくるとかそういうのはやはり事前に潰さないとね」とかも、Virtual DOM等の流れや、そもそものブラウザのDOM操作の最適化、高速化などによってそういうことをそこまで考えなくても良い世界が一歩ずつ近づいているなぁとは感じますね。

宣言型プログラミング

• 手続き型プログラミングと対比されるやつですね
• 「どのように行うか」ではなく、「何をしたいか」を記述する感じのプログラミングスタイルです。
• 宣言型プログラミングのスタイル及びそのプログラミングスタイルを支援するためのライブラリやら言語やらが最近熱いようです
  • ただ、例えばfoldlとfoldrとfoldl’の使い分けは？どういう時にfoldl’使うの？え？foldlを使ったほうがいい場面はほぼないって？なんで？「どう動くかを考えれば当然だろ！」みたいな話を考えるにつけ、人生ってのは私が思っていたよりも圧倒的に複雑なものだなぁという思いを新たにしますね。
  • 上記はHaskellを例に出しちゃいましたが、別にHaskellだからどうこうという話ではなく、どのような実装でもある程度のレベルだと何がどう動いているかは考えないといかんよね〜みたいな話でした。
  • 遅延評価の思想とか、初めて知った時には本当に感動したし、その分理想と現実の落差を(どこで何が起きているか全然わからんぞ。みたいな。どこで何が起きているのかも全然わからなくても問題ないようにするのが一番の理想なのだろうが)どう埋めるかの絶望感も高い

結論

• 今でもある程度理想の世界は現世に現れてきている
  • 現代の私達は、たいていの場合においてマシン語が見えたりCPUの歓声が聞こえたりしなくてもほぼ問題なくプログラミングができる時代に生きているし、ルンバは勝手にある程度綺麗に掃除をしてくれるし、SQLは小さいデータなら中を知らなくてもいい感じに欲しいデータをくれるし、etcetc
• ただ、改良の余地はどれだけでもあるので、我々はそれを更に改良していかなくては！って思います。人間の判断で色々指示を出すとどうしても間違えちゃうので、指示出しは極限までコンピュータに任せたいです。

最終的に我々のしごとが全てコンピュータに奪われてくれないかな〜って思います。

CYBIRD Advent Calendar

• 「やりたい」って言ったらみんな賛同してくれて、いい感じにできました。嬉しいです
• ブログ書く人、25人集まるかなっていうのもすごく不安だったんだけど、みんな書いてくれて嬉しいです
  • 集まらなかったら、「しょうがないから自分たちでブログ書きまくるしかないよね〜」っていう話をしていたけどそんな必要は全くなくて嬉しかったです
  • 私が2回書いてますが、メンバーが集まらなかったというよりは、私が2回書きたかったってだけですね
• たくさんの人が自分の書いたものを世に出す経験をしたっていうのが死ぬほど重要なんだろうなぁと思っている。が、実際のところ、これが弊社にとってどれくらいいい影響を与えるかはよくわかっていないです
  • このブログ群をみて、弊社を知っている人が少しでも増えたのであれば嬉しいです
• 弊社CYBIRDは、一緒に働く仲間、コンピュータに人間の仕事をどんどん奪わせたい仲間を絶賛募集しています！！
  • http://www.cybird.co.jp/recruit/
  • せっかく会社の名前出してブログ書いてるし、どうせなら宣伝入れてみようと思って宣伝入れてみました
    • PHPカンファレンス2014で社名を出して発表してから、なんかもうひたすら社名とアカウントを紐付けまくる感じになっている。いいことも悪いこともたくさんあるだろうなって思います

• Send to Kindle
• ツイート
• 

2014年振り返り

by @dekokun on 2014/12/31 20:15

Tagged as: ポエム.

紅白見ながら今年をまとめてみた

2014年の抱負

得に何も決めていなかったので、明日(2015/1/1)はちゃんと新年の抱負をブログに書こうと思います。

仕事

社内のLTイベント

• 参考(後輩が書いてくれたブログ)：CYBIRDの技術者社内交流イベントについて
• 去年から社内で始めたLTイベントの運営トップ的な立場を後輩に禅譲した(禅譲したの、去年の話だったかもしれない)
  • なかなか続かない社内イベント達の中で、継続的に続ける素地を作れてたらいいなと思う
  • 継続的に続くための第一歩として、運営トップ的な立場を後輩に移していくような環境ができたというのは非常に良かったんじゃないかと勝手に自画自賛している
  • 後輩たちが積極的に運営に絡んできてくれたの嬉しかった
• っていうか、そのLTイベント自体、後輩達が最初に盛り上がっていて、その勢いにおされて始まった感じが強いと思っている。弊社の後輩たち、勢いもすごいしエンジニアリング的にもすごいし全体的にすごすぎると思う。私はすぐに負けそう(ってか負けてる部分も多々あると感じる)なので私も頑張ろうと思う

去年からやってたプロジェクト

• ひたすらPHPでAPIを作っていた
• 使用するDBMSの決定、DB設計や使用フレームワークの決定、サーバの自動構築機構等、最初の最初から全て設計をしていった感じで学びが多かった
• まぁ、プロジェクトがいろいろあっていろいろあったのだが、いい経験だった

今年中盤からやってるプロジェクト

• 初めて仕事でブラウザサイドJSを扱うプロジェクトだった
• 使用するフレームワーク選定等から携わり、いきなり学びばかりであった
  • Backbone.Marionetteを使っている
    • AngularとVueとBackbone.Marionetteをメインに他のもろもろも併せて比較して選んだ
• なぜBackbone.Modelのchangeイベントが発火しないかについての2つの陥っていがちなパターンのポエム部分に詳しく書いているんだけど、人生初のGUIプログラミングとなり、非常に学びが多い
  • 状態管理の複雑さが激しい
• 10人ほどの開発要員がいるプロジェクトで設計するというのが初めての経験で、これについての学びが多い。設計とはなにかを考えさせられるいい契機となった
• 現在進行中のプロジェクトなので、来年も頑張りたいです
• このプロジェクトによってJSのもろもろに強く興味が出て、React.jsを触ったりするきっかけもなり、ブログを書いたりもできたので非常に良かったと思う
  • PHPでReact.jsのサーバサイドレンダリング
• なお、CSS周りの設計は後輩が全てやっており、私はCSSはほぼ書くことができない

会社のAdvent Calendar

• CYBIRDエンジニア Advent Calendar 2014
• やりたいって言ったらいい感じに周りの皆さんも賛同してくれて、やることができた
• お祭り感あって良かった
• 普段技術ブログを書いていないメンバーがたくさんブログ書いてくれたのがすごく嬉しかった
• 弊社、最近外に発表したりしていく人が増えてきているけど、その勢いをよりつけることができてたらいいなと思う
  • 来年は、皆で色々なAdvent Calendarに出陣しくメンバーがたくさん出るといいな〜
• 非常に様々なテーマについてのブログが集まり、バラエティ豊かで面白かった

仕事以外の技術的な対外活動

• 今年は去年ほどは勉強会等に参加しなかった感じがある
  • 結婚式周り、プロジェクトが忙しいのもあって精神的に廃人に近かったというのもあったな…
• 思い入れの強いものだけ紹介

CEDEC AI CHALLENGE

• AIコンテストなんだけど、なんか準優勝して嬉しかった。決勝はかなりの運ゲーだった感じはあるが、まぁ、結果は結果ということで、今後もこういう方面でも頑張って行きたい
• PHPを使ったり4000円課金したりしてCEDEC AI CHALLENGE 準優勝に至るまでの軌跡
• 似たようなAIプログラミングコンテストが始まっているので、PHP以外の言語で参加したい
  • SamurAI Coding 2014-15
  • 決勝進出して我が母校であるところの京大に久しぶりに行きたいですね

ISUCON2014

• 決勝には進出できたけど11位だった
• 去年も決勝進出したんだけど、決勝では0点だった。今年はそれよりは進歩を感じる
• 悔しいし来年こそは勝つ
  • 100万円欲しい
• 「優勝してDisられがちなPHP使いへのエールにしたい」とかそんなことばかり言っていたがエールはおくれなかった

PHPカンファレンス2014

• LTした
• slide: PHPでAIプログラミングコンテスト準優勝するまでの軌跡
• youtube: LT無差別級 - PHPカンファレンス2014 (メイントラック) 最後の5分間が私
• 予想外にウケが良くて嬉しかった。社内のLTイベントのおかげで、LTがうまくなっているんだなぁと感じた
• 妻に見せたら、「普段と比べて早口で普段の良さが出てない」って言われたし、ゆっくり話すのも意識してみてどっちがいいか比べてみたい

AWS Summit Tokyo 2014

• 私はなにかをしたわけじゃないんだけど弊社後輩2人が発表してた。すごいなと思った
• AutoScale×ゲーム ~運用効率化への取り組み
• そういえば最近Immutable Infrastructureって聞かないなって思います

CTMCP勉強会

• http://www.zusaar.com/event/7517008
  • 輪読形式の読書会
• 初期に何回かと、中期に何回か参加したのだが、一瞬仕事のプロジェクトが大変なことになって半分以上参加できなかった
• 一旦仕事は一瞬一段落ついたのでまた来年から参加する。発表もする

日々の思い

• 人間が何かを宣言したらコンピュータがなんとかしてくれる世界を目指したい
  • 宣言すればコンピューターがいい感じに解決してくれる未来を目指して_{理想の世界と現実の壁}
• 設計の力で人間を動かしていかなくてはいけない
  • プログラミングとかチームビルディングとかもそうだし、それ以外に、管理会計の力とかそういうのも含めて、人類の目指すべき道だ

私事

• 5月に結婚式
  • 直径50センチほどのくす玉を作るノウハウが身についた。素晴らしい
• 5月に新婚旅行でモルディブへ
  • 良すぎた。2年に1度くらいは行けるような環境を整えなくてはいけないなという感じがした。金銭的、仕事の休み的に

思い

• 今年の中頃まで、PHP芸人っぽくなってた
  • 来年は別の言語をもっと頑張りたいです
• なんか色々あったけど全体的にいい感じだったと思う
  • 年初に「どうしたい」というのを決めていなかったのでこんな適当な振り返りしかできない感
• 来年(明日)は抱負を決めよう

紅白のゴールデンボンバー、すごかった

• Send to Kindle
• ツイート
• 

2015年の抱負

by @dekokun on 2014/01/04 11:37

Tagged as: ポエム.

12/31に紅白見ながら書いたブログに「明日(2015/1/1)はちゃんと新年の抱負をブログに書こうと思います」などと書きましたが1/2になってしまいました。お正月っていろいろな行事が多いですね。頑張って書きます。 その後、1/4になってしまいました。仕事が始まる前には書き上げる

仕事

去年からやってるプロジェクト

• リリースする

みんなが情報共有するように頑張る

• チームメンバーが日報の良さを認識して日報を書くようになる
• 外を通じての情報共有も皆がすると楽しいので、そっちでも積極的にいい感じになるようやっていきたい。去年のAdvent Calendarみたいな

収入を増やす

今後子どもを産んだりすることを考えると収入の重要さを痛感するので収入は増やす

• 幸い、最近は会社から求められているものと自分が行いたい方向が一致している感じがするし、とにかく時間はかけずに頑張る
• 具体的には、社内で勉強会を開いたりする
  • 技術への感度も忘れずに
• あと、下にも書いているが、会計への興味が強くなってきていて、これもそのうち役に立つかもなぁと思っている

自由な時間を増やす(仕事時間を減らす)

最近、かなり仕事一辺倒な生活をしていて、こんなんじゃ人生ダメだという思いが強いのでなんとかする

• まずは、早起きをして早く会社に行って決まった時間に早く帰るというのを繰り返して早く帰る癖をつけながら徐々に出社時間を遅くしていって勤務時間を減らしていきたい
• ポモドーロ・テクニックを使う(ただ、これ、使っているときは非常に調子がいいのに1~2ヶ月経つといつの間にか使わなくなっていっちゃっていて、その理由がまだ良くつかめていないんだよな…何を変えればポモドーロを何ヶ月も続けられるのか…)

その他、技術とか学びとか系

SamurAI Coding 2014-15

• 決勝進出して我が母校であるところの京大に久しぶりに行きたいですね

ISUCON

• 今年こそ優勝
• ISUCONは優勝するために具体的に何をやるっていうのはあんまりないですが、まぁ、いろいろなものの積み重ねとして優勝したい

CTMCP勉強会

• http://www.zusaar.com/event/7517008
• 前に立って解説する人やる

その他外部発表

• 3回くらいは外部の勉強会で発表したいです
• 回数は適当に決めた

会計

• 「設計の力で人間の意思判断を正しくしていく」というのを強く意識し始めた私にとって、管理会計の考え方は非常に強く「学びたい」と思わせるものであった
• ものすごい長い歴史を持つ会計学の一旦に触れることは今後の私にとっていい影響を与えるだろうと思われる
• 手始めに、妻が持っていた「経理以外の人のための日本一やさしくて使える会計の本」を読んだ。門外漢でも非常にわかりやすくて良かった
• 簿記3級を少し学んでみて、良さそうだったら取得したいと思っている

新しい言語

• goかscalaで何かを作る

OSSへのコミット

• なんでもいいから30コミットがなんらかのOSSに取り込まれることを目標とする
  • 30という数字はなんの根拠もない
• 自分で適当にソフトウェア作れば30コミットなんて一瞬やんという話はあるが、まぁそれはそれでいいか…

私事

実家を大切にする

去年結婚して、「隔年でお互いの実家に帰る」みたいにしたけど、なんかそれだと実家が寂しい気がしたので、以下をしたいなと思いました

• 妻は出張などで実家に帰るタイミングが結構あり、そのタイミングで私も実家に帰る
• 実家は兼業農家なのだが、稲刈りやら田植えの人が必要なタイミングで実家に帰る
• 父の日、母の日にプレゼントを送る

旅行

妻が行きたがっているのに去年は私が出不精でそんなに行っていなかったので今年は行く

• 台湾
• 九州

漠然とした思い

• 設計の力で人間を正しい判断に導いていかなくてはならない
  • プログラミングの設計とかチームビルディングとかもそうだし、それ以外に、管理会計の力とかそういうのも含めて、人類の目指すべき道だ
  • 正しい設計というのは、常に変化していくという、設計の設計に関する考えも忘れてはいけない(というかそっちのほうが大切)
• 人間が何かを宣言したらコンピュータがなんとかしてくれる世界を目指したい
  • 宣言すればコンピューターがいい感じに解決してくれる未来を目指して_{理想の世界と現実の壁}
• ただ、Web系で現在必要なソフトウェアについての知識を得てるだけだと悲しいので、なんかWeb以外の何かにも取り組みたい感じはあるが…何か一つくらいWeb系以外の何かに取り組みたいなぁという思い

最後に

なんかモリモリ多すぎる気はするが、来年の振り返りがどうなるかですね

やらないこと

2015/05/28 追記

• Tumblrをみる
• アプリゲームをする

• Send to Kindle
• ツイート
• 

Erlang書きはじめた

by @dekokun on 2015/04/26 22:26

Tagged as: Erlang.

すごいErlang本を1ヶ月くらいかけてひと通り読み終わったので、何か作らにゃいかんと思っていたら社内でWebSocketのリアルタイムほげほげ系開発ツールの話が出てきたため、一旦作ってみるかという感じでまずはWebSocketを使って云々なやつをさっきから作り始めた。

まだ1時間くらいの進捗だけ(というよりは、ほとんど何も進んでいない)だが、かなり雑にハマったことを以下に記述する。

参考にしたもの

• すごいErlangゆかいに学ぼう!
• Erlang WebサーバCowboy - WebSocket編

すごいErlang本、すごいHaskell本と比べても非常に情報量が多く、実践的な内容が大量にあって素敵だった。

ハマった点

初めてのErlangなのですが、なんかよくわからんところでよくコケている

参考URL(Erlang WebサーバCowboy - WebSocket編)にweb socketのサンプルの作り方があったのでそれ通りプログラムを作成したんだけど、makeしても参考URLに記載の実行コマンド、./_rel/message_wall_release/bin/message_wall_releaseなぞというファイルは存在しない。何が起きているのかよくわからんかったのですが、しょうがないので以下のように起動していた。 erl -pa message_wall/ebin message_wall/deps/*/ebin -> {ok, _} = application:ensure_all_started(message_wall).

なお、最初はmessage_wallディレクトリ内で上記erlコマンドを実行したりしていたんだけど、“priv_dirが存在しねぇぜ”エラー(Can’t resolve the priv_dir of application message_wall)が出てて、そういえばディレクトリ構造大切だったねと思い出して一つ上のディレクトリで起動したらうまくいった。デバッグの過程でcode:priv_dir/1を覚えた。

後でMakefile(erlang.mk)みてたらbootstrap-relターゲットがあったのでmake bootstrap-rel打ってみたらmakeで./_rel/message_wall_release/bin/message_wall_release ができてた。めでたい。

感想

この雑な記事、感想も何もないのですが、まぁ、上記「WebSocketのリアルタイムほげほげ系開発ツールの話」が続く限りは今後も制作過程を書いていけたらと思います。多分。

ここ数週間は、は会社でひたすらChefのcookbookを書いてはサーバを構築していて、それも非常に楽しいのですがプログラムを書くのも好きです(まだこの段階では写経をして動く段階まで持っていっただけだけど)

• Send to Kindle
• ツイート
• 

Erlangで一旦何か作ってみた

by @dekokun on 2015/05/10 15:46

Tagged as: Erlang, WebSocket, Heroku.

前回のブログ「Erlang書きはじめた」で何か作っていたと思いますが、一旦雑ながらもそれっぽいものができたので公開します。

何作ったの？

Markdownを入力するとそれをレンダリングしたものが表示され、同じページを開いている他の人のところにも反映されて、同時編集っぽいことが出来る感じです。 まぁ、よくあるやつの超機能劣化バージョンっていう感じです。

• 動いてるやつ: erlang editor

2つのタブで上記ページを開いて適当に編集するともうひとつのタブに即時反映されていくのが見えるはずです

• github: dekokun/erl_editor

サーバサイドはErlang + Cowboyで静的ページ配信及びWebsocketサーバとして動いており、クライアントサイドはReact.jsでマークダウン変換する感じです

使っているもの ライブラリとか言語とかPaaSとか

サーバサイド

• Erlang
  • Cowboy
• Heroku

クライアントサイド

• JavaScript
  • React
  • md2react
    • md2reactのplaygroundをほぼそのまま使わせてもらっています
  • browserify
  • CoffeeScript
    • md2reactのplaygroundがcoffeeで書かれていたので全部をそのままcoffeeで書きました
    • 久しぶりに三項演算子の罠にハマった。coffeeには三項演算子はないのにエラーにならない。恐ろしい。if then elseを使おう
  • licensify
    • 後から追加。browserifyで結合されたファイルの先頭にnpmでインストールされたライブラリのライセンスを埋め込んでくれる

大変だったところ

• HerokuでErlang動かすの、少し詰まると一気にどうやればいいのか全然わからなくなって大変だった。code:priv_dir/1が{error, bad_name}返すなぁとか、そもそもcompileできないなぁとか
  • 結果、依存ライブラリの情報がrebar.configとMakefileに重複している…
  • erlang.mkファイルを使っていて、そもそもErlangがどうやってcompileされてリリースまで行っているのかもよくわからず、すごいErlang本のリリースの章を読みなおしたりしていた
  • 手元のforemanでは動くのにherokuでは動かんなぁとかもあって厳しかった。
  • heroku-erlang-exampleやHeroku 上で WebMachine (Erlang) を動かすを参考にさせていただきました。安心のvoluntasさんブログ
• erlang自体は、何も考えずに「とにかく動けばいい」というスタンスで全く以って大したことを行っていないためそんなに大変なことはなかった
  • コードをupdateする際にプロセスを殺さずにupdateするとかそういうことは一切やっていないため、まぁ、なんでErlang使っているのみたいなところはある
  • あと、負荷試験なども全くやっていないのでどんな問題が起き得るかも分かっていない

Herokuでの学び

• Procfileのデバッグにはforemanを使おう
• 複数のbuildpackを使用したいときはbuildpack-multiを使おう

雑なところ

• 編集対象のルーム的なやつが1つしかない
• Markdownを複数人で同時に編集した場合、他の人の編集内容を適用するアルゴリズムが「全てを送り、送られてきた全てをそのまま上書きする」というもののため、盛大に変更内容がバッティングしすぐにめちゃくちゃになる。ちゃんと差分を送るようにしないとダメだ
  • 差分、せっかくReact使っているんだし、実はReactの差分DOMをおくればいいんじゃないかという気もしたがそれをちゃんと動かすとするとhtmlからmarkdownに変換するやつも必要になったりするよねー
    • そもそも差分を外から取り出せるのかとか、差分がJSONで表せるのかとかもまだ調べてないですが
• 他の人の編集によってMarkdownが変更された際にキャレット位置を保持するように少し頑張りましたが、雑なのでイマイチな動きをします。textareaの先頭からなん文字目かを保持してその位置に戻しているため、キャレット位置より手前を編集されると死ぬ
• データはETSがメモリ上に保持しているだけなのでいとも簡単にデータが消える
• あと、妻のAndroid端末で試してみたら動かなかった

感想

作っているものの先にはそんなに可能性が感じられないので、このプログラムはこれからは特に進展はないと思う。 差分解決アルゴリズムだけちょっとなんとかしたい感じはある

今日は結婚一年目です。八芳園で結婚式を挙げたのですが、アニュアルレターっていう、毎年夫婦がそれぞれお互いへのメッセージを書いていく本をもらったので今年も書きました。 50年分あります。50歳まで、いやもっと仲良く過ごせるといいですね。

これから、八芳園で夕ごはん食べていきます。

• Send to Kindle
• ツイート
• 

ここ半年の振り返り

by @dekokun on 2015/06/01 15:46

Tagged as: ポエム.

1月に2015年の豊富というブログを書いてからほぼ半年が経ちました。ので、半年たった現状を、目標と照らし合わせながらザクっと振り返ってみます。

仕事

去年からやってたプロジェクト

• リリースできました。めでたい
• ただ、その過程で、あまりにも心身をすり減らしすぎたみたいなのはありますね

みんなが情報共有するように頑張る

• チームの皆の協力もあり、チームの皆が日報を書くようになりました。めでたい
• 対外的な発表等については、去年のAdvent Calendar以降は特に私は何も働きかけてはいないですが、皆さんAWS Summitに登壇するなど、いろいろと発表されていましたね

収入を増やす

• 上司の方が頑張ってくれて、収入も増えました。めでたい。

自由な時間を増やす(仕事時間を減らす)

• 前半は自由時間らしきものがほとんどなかったですが、後半はその分たくさん休みをもらうなど、自由な時間が増えて良かったです
• Tasukumaが結構時間管理に活躍している

その他、技術とか学びとか系

SamurAI Coding 2014-15

• 決勝進出できず。決勝進出できるのは確か上位12名で、私は19位でした…
  • http://arena.ai-comp.net/contests/11

ISUCON

• 今年こそは優勝する

CTMCP勉強会

• 前半、仕事で精神及び生活がめちゃくちゃな状態になって、全く参加しなくなってしまったんですよね…残念…

その他外部発表

• まだ外部の勉強会、1度も発表してないな。やばいな

会計

• 結局、「経理以外の人のための　日本一やさしくて使える会計の本 (ディスカヴァー携書)」以外の本を読んでない。
• 会計オンチのはてな達へによれば、次はスッキリわかる 日商簿記2級 商業簿記 第7版 [テキスト&問題集] (スッキリわかるシリーズ)なのかな

新しい言語

• 目標には「scalaかgo」と書いていたが、まさかErlang, Elixirを触ることになるとは。
• 作ったもの： http://erl-editor.herokuapp.com/

OSSへのコミット

• 少なくとも他の人が作った何かに対してpull requestを投げるなどしておらず、これは30コミット厳しいのではないか説がある
• 自分でOSSのライブラリを作るなどが必要
• まぁ、上記erlangで作ったエディタもオープンソースではあるが、何か違う感

私事

実家を大切にする

• 結構実家に帰っている。ただ、稲刈りに行こうかと提案したら、稲刈りは実際のところ特に人出が不要らしいのでいいと言われたので、今回は行かない
• 母の日、何も送っていないけど、その近くの、母の誕生日にはプレゼントした

旅行

• 日光行った。花粉すごすぎた

漠然とした思い

• 目標のところでは「設計の力で人間を正しい判断に導いていかなくてはならない 」という非常にかっこいいことを言っているが、最近の私は

やらないことリスト

• Tumblrはしなかった
• アプリゲームも、消しまくってそれからはしなくなった。良い
  • まぁ、仕事がアプリゲーム開発なので、やらないのもどうかとは思うが…

最後に

いろいろありましたね

• Send to Kindle
• ツイート
• 

TCP_NODELAYによるNagleアルゴリズム封じとTCP_CORKについて

by @dekokun on 2015/06/03 8:17

Tagged as: TCP.

こんな理解でいいんですか。教えてください。あと、Nagleアルゴリズムについて詳細は後で書く

NagleアルゴリズムとTCP遅延ACKとTCP CORK覚えた。 / “nginxのパフォーマンスチューニング // Speaker Deck” http://t.co/HbOKeoNQc8

— でこくん (@dekokun) 2015, 6月 2

さっきの資料にも載ってたけど、TCP_NODELAYとTCP_CORKの組み合わせ、コルクの抜くタイミングをいい感じにしながら、コルクを抜いてしまえば一気にフラッシュできますよってことだよね。コルクを抜くタイミングはどう制御されてる？

— でこくん (@dekokun) 2015, 6月 2

まぁ、そこはnginxがよしなにやってくれるわけなのかな。TCP_NODELAYとTCP_CORKの組み合わせは、パケット送信タイミングの最適化をカーネルに任せずにアプリケーション(今回はnginx)に任せるってことという理解でいいのかな。

— でこくん (@dekokun) 2015, 6月 2

Nagleアルゴリズム

非常に雑に書いている。後でちゃんと書きたい

• なるべく複数のTCP通信を1回にまとめちゃおうというアルゴリズム
• パケット数の減少によるヘッダ容量の削減及び輻輳の回避を狙っている模様

• Send to Kindle
• ツイート
• 

バックエンドにAWS Lambdaを使ってサーバレスな動的サイトを作った

by @dekokun on 2015/07/05 8:17

Tagged as: AWS.

どうも。もう一つのブログの方に書いていたのですが、東京から京都まで歩いて行くことになりまして、私の位置情報が把握しやすいようにサイトを作りました。なお、明日(7/6)出発します

• 京都まで歩こう

このためだけにサーバを構築しサーバ代を払うのは馬鹿らしいと思いまして、なんとかサーバを構築せずにある程度安く済ませることはできないかと考えた結果、バックエンドをAWS Lambdaに任せてサイト自体はS3上に構築するという形にしました。

なお、「バックエンドをAWS Lambdaに任せた」といった場合、普通はクライアントのAWS SDKからLambda関数をキックするようなものになるかと思いますが、今回はLambda関数を無限ループのバッチ的に使い、クライアントはS3を経由してその結果を取得するような作りにしています。詳しくは以下。

あと、後述しますが「結局何かしらでLambdaを使いたかったネタ設計」みたいなところはありますのでご了承ください。

構成

以下図をみてもらったほうが早いかもしれませんが、以下のとおりです。

バックエンド

AWS Lambdaをcronの代わりに使ってみるよを参考にしています。

1. AWS Lambdaを最初に手動でキックする
2. 登録してあるLambda関数が動きtwitterのAPIから私のtweetを取得、Web用のS3 bucketにjson形式でアップロードする
3. 上記Lambda関数が最後にLambda用のS3 bucketにファイルをアップロードする
4. Lambda用のS3 bucketへのファイルアップロードイベントがLambdaに通知される (2. に戻る。無限ループ)

フロントエンド

1. ブラウザがS3からindex.htmlを取得
2. index.htmlのJSから定期的にLambdaによってアップデートされたjsonファイルを取得して地図に反映

構成図

料金

大雑把に言うとS3のデータ転送量及びデータへのリクエスト数と、Route53のクエリ数、Lambda関数の実行回数と実行時間に対して料金がかかっていますが、Lambda関数は月の無料枠に収まるレベルになっておりまして、これからの転送量にもよりますが、現在はだいたい1日あたり0.05ドルな感じです。月に1.5ドルくらいでこんな環境ができるなんて嬉しいですね。

S3へのPUTリクエスト数による課金が比較的高いです。現在、tweets.jsonは以前と内容が同じでも毎回S3にtweets.jsonをPUTしているのですがそれをなくせば更に安くなる模様。もう明日の朝には京都に向けて出発するのでそちらを修正するのはやめておきます。

Lambdaで良かったこと

テストが結構簡単

例えばindex.jsのhandlerを登録しているような環境のテストがしたい場合は、手元の環境でLambda関数に渡しているロールとと同じ権限を付与して、以下みたいな形で簡単にテストできます。いいね！

var main = require('./index');
var context = {done: function(var1, var2) {console.log(var1), console.log(var2)}}
main.handler('イベントデータ', context);

デプロイが結構簡単

以下のコマンドを実行するだけでデプロイできちまうので非常に簡単でした。

rm -f lamda.zip && zip -r lambda.zip index.js node_modules && aws lambda update-function-code --function-name 関数名どうぞ --zip-file fileb://./lambda.zip --region ap-northeast-1 | jq '.'

npm run deployで実行できるようにして超楽だった。npmのscripts便利。

Lambdaでハマったところ

結構ハマりどころは多かったです。まぁ、一度わかると超便利ではあるのですが…なかなか…

sourceを指定してなかった

Lambda関数を登録するだけ登録して、event sourceを追加せず、「自分でinvokeするとうまくうごくけどS3にファイルをアップロードしても動かないなぁ」「ってか、全てのS3へのイベントが全部通知されるのか！やばいな！！」と悩みました。そんなわけありませんでした。

Management ConsoleのLambdaのところからAction -> Add event source で必要なイベントソース(今回だと、S3のlambda用bucketへのPUTの通知)を追加することで動くようになりました。

zipにする際にフォルダごとzipにしてて怒られた

Lambda関数はzipをアップロードして登録することができるのですが、その際に、最初はindex.jsが存在しているディレクトリごとzipコマンドにかけてアップロード(例： zip -r lambda.zip lambda_dir)していたのですがそれではダメで、zip -r lambda.zip index.js node_modulesみたいに、直接index.jsをzipしてあげる必要があります。

まぁ、そりゃ、アップロードされる側もzipされたディレクトリの名前なんて知らねぇでしょうし当然といえば当然なのですが、少し悩んだ。

S3にputobjectする際にACLをいじろうとしたら失敗した

Lambda関数、登録する時にその関数が動く際の権限をroleで付与するのですが、結構賢くて「S3に何かするならいい感じにロールを作ってやるよ」みたいな感じでロールを作ってくれます。

S3へのPUTとGETが行える権限(s3:PutObject及びs3:GetObject)はついてくるのですが、PUTする際にACLを付与する権限(s3:PutObjectAcl)はついてきません。

ですので、PUTする際にACLを指定する際は、ロールにs3:PutObjectAclを付与してあげる必要があります。

注意

実際のところ、この無限ループによる擬似cronは信頼性が死ぬほど低い(変なところでcrashしたら最後、一生起動しない)ので、商用環境などでは絶対に使えません。というか、今回の私の目的に合致したものだったかどうかも怪しい。というか、合致していない。ま、楽しかったしいっか。

想定される質問

これは本当に「動的サイト」と言えるものなのか

答：まぁ、静的サイトじゃないし…動的サイトなんじゃないかな！！！！

こんなまわりくどいことしなくてもJSから直接@dekokunのツイートを取得しにいけばいいのではないか

答：東京から京都までの旅はだいたい15日〜20日くらい、その間にツイートする件数は何件になるか想像もつかない状態でJSからtwitterに問い合わせまくるよりも、こっちで一旦保持しておいたほうがいろいろと便利だろうと思ってこちらの構成にしております！！！

tweetが累積した場合かつ上記サイトがたくさんの人に見られた場合、定期的にそれをクロールされると通信料やばくなるんじゃ…

答：その通り！せめて、tweets.jsonはIDだけ保持して、それが変化したらさらに別の所に問い合わせるとかしたほうがよかった！！！が、まぁ、実際通信料が増大してきたらクロールの間隔を下げる方向で対応するしかないね…もう明日には出発だもんね

CloudFront使わないの？

答：tweets.jsonが更新されたタイミングでinvalidationするっていうのさえちゃんとすればCloudFrontいいですね！！！！！！今回は時間がなくてやってないけど！！！！

擬似cronって…AWS Data Pipelineは使わないの？

答：Data Pipelineはcron的に使おうとすると15分に1回しか動かせないし、EC2経由で実行されるため結構お金がかかる

この構成、やろうとしていることに対してクソな構成なのでは？

答：そのとおりですね！！JSONをS3を介して渡しているためWebSocketも使えず、前時代的なポーリングによる解決になってしまいましたし、上記あるようにcronの信頼性は著しく低いですし、無駄に構成が複雑になっている感ありますし…ま、仕事じゃないし、とにかくLambdaを使いたかったって感じですね！

感想

明日から京都に向けて歩き始めるから早く寝ようと思っていたが結構遅くなりつつある。いかんいかん。

以下のブログで実況中継しているので、皆さん応援してね！！

でこらいふろぐ http://dekolife.hatenablog.com/

応援してね！！応援してね！！！！

• Send to Kindle
• ツイート
• 

ブログ移設してた

by @dekokun on 2015/09/09 22:17

Tagged as: .

どうも。ブログ移設していたのでご連絡です。

移設先：でこてっくろぐ ねお

どうぞ今後もよろしう

• Send to Kindle
• ツイート
•