Alligator Swamp

技術メモ

YAPC::Asia 2014に参加してきた #yapcasia

去年初めて参加したYAPC::Asia。2回目の参加です。
ちゃんと感想を書いて、今年のYAPCを終えようと思います。

印象に残ったセッション

Releasing perl

ドキュメントの充実や開発プロセスの簡略化にかなり力を入れていて、 長く続けていくにはこういった地道な努力が必要なんだと思わされました。

お待たせしました。Perl で BDD を簡単に実践する最高にクールなフレームワークができました

Test::More 2.0が開発中止になっていたとは...。Test::Kantan使ってみます!

Perl::Lint - Yet Another Perl Source Code Linter

トークンとはどういうものなのか、どういった処理でチェックを行っているかの説明が理解しやすかったです。プロジェクトごとのポリシーも作れる(作りやすい)とのことなので(複雑でなければ)、業務に活かせそうで楽しみです!

WHERE狙いのキー、ORDER BY狙いのキー

何故クエリが遅くなるのか早くなるのかをPerlのコードを用いて説明されていて、Perl使いにはありがたいです。Indexはソート済みなのでそれを狙ってクエリの高速化を行うなど、具体的なやり方を説明しているのがとても良かった。
理解する前に進んでしまったところが一部あったので、スライドを見直そうと思います!

オープンソースの開発現場 - Perl 5.20 のSubroutine Signaturesが来るまでの奮闘の軌跡

Peter Martini氏がいい男過ぎてもう......。最終的に全部書きなおされたのに、入った事自体がいい事なんだ、なんて俺は言えないだろうな......。
海外のこういった事例が聞けるのは本当に貴重でありがたいセッションでした。

半端なPHPDisでPHPerに陰で笑われないためのPerl Monger向け最新PHP事情(5.6対応)

トークが抜群に上手く、聴衆が一気に引きこまれてました...!ネタ(闇)も交えてPHPの魅力が語られていて、やってみようかなという気にさせてくれるとても素晴らしい内容でした。
ベストトーク賞1位おめでとうございます!

Perlあるある

憧れのハッカーの方々についての、普段聞けないようなことが聞ける貴重なトークでしたw 時間の都合で答えられていなかった質問の回答がとても気になります!

YAPC::Europe 2014 に行ってきました

ビール天国に行きたい!そしてOAuth認証のLTが面白いw
Google翻訳でも何とかなるというお話は、躊躇している人にとってはとても良い情報だと思いました。

Perlの静的解析入門とPerlリファクタリングツールApp::PRTのご紹介

独特なテンポのトークがとても面白かった!
しかも内容はかなり実用的で、これは実践せねばと思いました!

キーノート

「一度の人生楽しまなきゃ損!」
最高でした。

設備など

コーヒー、ジュース、お菓子、レッドブル、かき氷が無料で提供され、懇親会は無料、HUBは貸し切りで1000杯までフリードリンクという至れり尽くせりで、正直このチケット価格で大丈夫かな...と心配になります。

イベントホールでは書籍の販売やイベントトラックがあったり、とても賑やかな感じでお祭りのようでした。

会場のネットワークは快適過ぎて最高でした。

その他

懇親会で出身地が同じ方と偶然出会い、地元トークや、色々共通点がある過去の(ヤバイ)プロジェクト話で大いに盛り上がり、とても楽しい時間を過ごすことが出来ました。こういった出会いもあるYAPCは本当に素晴らしいですね。

まとめ

運営の方々、本当にお疲れ様でした!最高です!
次回は登壇する側に立ってみたいです!

Vimでヤンクした内容を複数行にペーストする

参考にさせていただいた記事

検索・置換に便利なヤンク(レジスタ)【Vimコマンド】にさん追加7/3 - YKMbPP

やりかた

Ctrl+rを押した後"を入力すると、入力モードやコマンドラインモードでもヤンクした内容をペースト出来るようなので、以下の手順で複数行ペーストが可能です。

  1. Ctrl+vで矩形選択モードにする
  2. 範囲選択したあとにCtrl+Iで入力モードにする
  3. Ctrl+rを押して"入力でヤンクした内容をペースト
  4. ESCで抜けて複数行に反映

文字だと分かりづらいのでGIFアニメ

f:id:waniji:20140827181543g:plain

HerokuにHubotをデプロイしてSlackと連携&Travis CIで自動デプロイ

やること

  • Heroku上でHubotを動かす
  • SlackとHubotを連携する
  • Hubotリポジトリに変更があればTravis CIに検知させて自動デプロイ
  • デプロイ完了したらSlackに通知

以上を無料枠で

前提

  • Mac OSX
    • 開発環境として使用
  • 以下のアカウントは作成済み
  • HerokuのBillingは設定済み
    • Add-onsを使用するために必要
  • GitHub上にHubot用のリポジトリを作成済み

Hubotを作成

必要なアプリケーションをインストール

brew install node redis
npm install -g hubot coffee-script

Hubotの雛形を作成 (名前はお好みで)

hubot --create foobar-hubot
cd foobar-hubot

Slack用のアダプターを追加

npm install hubot-slack --save

Slack用のアダプターを使うようにProcfileを書き換え

vim Procfile
web: bin/hubot --adapter slack

GitHubにpush

git init
git add .
git commit -m "create"
git remote add origin (リポジトリURL)
git push -u origin master

Herokuにデプロイ

HerokuのCLIツールをインストール

brew install heroku

CLIツールの初期設定

heroku login

Herokuアプリの作成

heroku create --stack cedar (アプリ名)

ワーカプロセス数の設定とアドオンの追加

heroku ps:scale web=1
heroku addons:add redistogo:nano

HerokuアプリのURLを設定

heroku config:add HEROKU_URL=*****

SlackのIntegrationsでHubotを追加

f:id:waniji:20140826003419p:plain:w150

Setup Instructionsに表示された設定をHerokuに追加

heroku config:add HUBOT_SLACK_TOKEN=*****
heroku config:add HUBOT_SLACK_TEAM=*****
heroku config:add HUBOT_SLACK_BOTNAME=(ここは任意)

HerokuにHubotをデプロイ

git push heroku master

SlackにHubotのURLを追加して完了

f:id:waniji:20140826003808p:plain

Travis CIを使って自動デプロイ

Travis CIのProfileでHubotのリポジトリを有効化

f:id:waniji:20140826003927p:plain

Travis CIのCLIツールをインストール

gem install travis

リポジトリにHeroku用の設定

travis setup heroku

.travis.ymlの先頭にnode.js用の設定を追記

vim .travis.yml
language: node_js
node_js:
    - '0.10'

.travis.ymlをGitHubにpush

git add .
git commit -m "add .travis.yml"
git push origin master 

HubotがデプロイされたらSlackに通知

SlackのIntegrationsでHerokuを追加

f:id:waniji:20140826004052p:plain:w150

通知させるチャンネルを指定

f:id:waniji:20140826004120p:plain

Setup Instructionsに表示されているコマンドを実行する

heroku addons:add deployhooks:http --url=*****

参考にさせていただいた記事

Capture::Tinyを使ってSTDERRに何も出力されていないことをテストする

経緯

  1. 数千万行あるファイルに対して1行ごとに処理するようなバッチを書く
  2. utf8フラグ付きの文字列をencode_utf8せずに処理してしまう
  3. 大量のWide character in ...という警告がログに出力される
  4. 気付かずに本番リリースされ、それが原因で障害発生
  5. 悲しみに閉ざされる

対策

あれ以来、テストでSTDERRのチェックを行うようにしている。
あと、テストデータにマルチバイト文字列を忘れずに入れる。

my ($stdout, $stderr, $exit) = capture { MyApp->new->run(@argv) };
is $stderr, '', '標準エラー出力には何も出力されていない';

Path::ClassからPath::Tinyに移行した時に書き換えた処理

バージョン

  • Path::Class 0.33
  • Path::Tiny 0.056

オブジェクト生成

Path::Classで生成したオブジェクトは、ファイルはPath::Class::File、ディレクトリはPath::Class::Dirとなる。Path::TinyはどちらもPath::Tinyとなる。

# Path::Class
$file = file($path);
$dir  = dir($path);

# Path::Tiny
$file = path($path);
$dir  = path($path);

ディレクトリ配下のファイルオブジェクト生成

# Path::Class
$file = $dir->file($name);

# Path::Tiny
$file = $dir->child($name);

ディレクトリ配下のディレクトリオブジェクト生成

# Path::Class
$dir = $dir->subdir($name);

# Path::Tiny
$dir = $dir->child($name);

ディレクトリ削除(配下ファイルごと)

# Path::Class
$dir->rmtree;

# Path::Tiny
$dir->remove_tree;

ファイルオープン

# Path::Class
$read = $file->openr;
$read = $file->open('<:encoding(cp932)') or die "Can't read $file: $!";
$read = $file->open('<:utf8') or die "Can't read $file: $!";

# Path::Tiny
$read = $file->openr;
$read = $file->openr(':encoding(cp932)');
$read = $file->openr_utf8;

ファイルの内容を配列に読み込み

# Path::Class
@lines = $file->slurp( chomp => 1 );

# Path::Tiny
@lines = $file->lines( { chomp => 1 } );

ファイルにまとめて書き込み

# Path::Class
$file->spew( iomode => ':utf8', $data );

# Path::Tiny
$file->spew( { binmode => ':utf8' }, $data );

親ディレクトリ名でファイルを作成

# Path::Class
file($file->parent)->touch;

# Path::Tiny
$file->parent->touch;

ファイルをコピー

# Path::Class
$file->copy_to($path);

# Path::Tiny
$file->copy($path);

ファイルをリネーム

# Path::Class
$file->move_to($file_path);

# Path::Tiny
$file->move($file_path);

ファイルを指定ディレクトリに移動

Path::Tinyのmoveはrenameと同等の機能なので注意が必要。

# Path::Class
$file->move_to($dir_path);

# Path::Tiny
use File::Copy 'move';
move $file, $dir_path;

ディレクトリ配下のファイルを処理

# Path::Class
$dir->recurse( callback => sub {
    my $file = shift;
    return unless -f $file;
    print $file, "\n";
});

# Path::Tiny
my $iterator = $dir->iterator( { recurse => 1 } );
while( my $file = $iterator->() ) {
    next unless $file->is_file;
    print $file, "\n";
}

ディレクトリ構成を保ったままn日以前のファイルを移動する

移動先のディレクトリ作成

find /from -type f -mtime +31 | xargs -I {} dirname {} | sort | uniq | sed 's!/from!/to!g' | xargs mkdir -pv

ファイルを移動

find /from -type f -mtime +31 | sed 's!\(/from\)\(.*\)!\1\2 /to\2!g' | xargs --max-args=2 mv -v

rsyncとか使ってコピーした後に削除とかやりたかったけど、n日以前のファイルコピー方法が分からなかった。

xargsが引数を複数取ることが出来るのを初めて知った。便利。

Perl 5.10.0以前だとFile::Spec 3.40以降のインストールに失敗する

Perl 5.8.8で試してみた。

waniji@localhost:~$ plenv versions
  system
  5.18.2
* 5.8.8 (set by /home/waniji/.plenv/version)

waniji@localhost:~$ cpanm -lextlib File::Spec
--> Working on File::Spec
Fetching http://www.cpan.org/authors/id/S/SM/SMUELLER/PathTools-3.47.tar.gz ... OK
Configuring PathTools-3.47 ... OK
Building and testing PathTools-3.47 ... FAIL
! Installing File::Spec failed. See /home/waniji/.cpanm/work/1404224796.5765/build.log for details. Retry with --force to force install it.

原因

File::Spec 3.40以降はTest::More 0.88以上に依存しているが、Makefile.PLにその記述がない。
Perlが5.10.0以前の場合はコアモジュールとして入ってるTest::Moreのバージョンが0.88より古いため、上記のようにテストに失敗してしまう。

回避策

File::Specをインストールする前に、Test::Moreを0.88以上にすれば良い。

waniji@localhost:~$ cpanm -lextlib Test::More
--> Working on Test::More
Fetching http://www.cpan.org/authors/id/E/EX/EXODIST/Test-Simple-1.001003.tar.gz ... OK
Configuring Test-Simple-1.001003 ... OK
Building and testing Test-Simple-1.001003 ... OK
Successfully installed Test-Simple-1.001003 (upgraded from 0.62)
1 distribution installed

waniji@localhost:~$ cpanm -lextlib File::Spec
--> Working on File::Spec
Fetching http://www.cpan.org/authors/id/S/SM/SMUELLER/PathTools-3.47.tar.gz ... OK
Configuring PathTools-3.47 ... OK
Building and testing PathTools-3.47 ... OK
Successfully installed PathTools-3.47 (upgraded from 3.12)
1 distribution installed

その他

この問題は既に報告されていた。

英語に自信が無いけど、多分、「"blead perl"では修正されているけど、安定版としてリリースされてないから、CPANのモジュールにはまだ適応されないよ!」って書いてる...はず。
最近、この修正が適応されたPerl 5.20.0がリリースされたから、CPANのモジュールもそろそろ修正されるんじゃないかなーと予想。