Itamaeセットアップ on CentOS7

Rubyなどをインストール。Rubyはrbenvで入れた方がいろいろできるが、今回は手軽なyumで。

# yum install ruby-devel gcc-c++
gemでItamaeなどをインストール。

# gem install itamae io-console --no-document
パスワードも生成するならこれも必要

# gem install unix-crypt --no-document
参考
floatingdays: Itamaeセットアップメモ
Itamae自分メモ[1]　userとかsshとかportの初期設定

PDFの一部のページを別の PDFとして保存する方法

PDFファイルの一部のページだけ保存する。 - Yahoo!知恵袋

Google Chromeの印刷機能で出力をプリンターでなくPDFにできることを利用する。
なるほど。

クラウドN (cloudn)でのサーバ構築

クラウドといえばAWSしか使ったことがないので、主にAWSと比較しながら備忘録的にメモ。
FLATタイプでCentOS 7の場合。


AWSと同じようなところ

• セキュリティグループの受信規則は、記述されていないものはDENYなので（デフォルトは設定なし＝全て拒否）、許可するものを設定する。
• セキュリティグループの送信規則は逆にデフォルトALLOWなので、禁止したい場合のみ設定する。
• サーバ（Compute）を起動すると、サーバに対してグローバルIPが与えられる。
• サーバにはデフォルトでPython 2.7が入っていた。

AWSと違うところ
（良いところ）

• データ転送量についての課金が無い。
• サービスが少ないので管理コンソールがシンプル。
• 接続元IPアドレスによる管理コンソールのアクセス制限が簡単。
• サーバ起動時に指定したhost名がサーバ内にも適用される。
• 一番小さいインスタンスでもデフォルトでswapがある。

（悪いところ）

• サーバ停止中でも課金される。（稼働中よりは安いが。）
• サーバ削除のプロテクト設定が無いのがちょっと怖い。
• 管理コンソール等のタイムゾーンがUTC。
• 管理コンソールで意味不明な部分がある。（OpenStackの仕様をしらべればいいのか...？）
• サーバ起動後にセキュリティグループを変更できない。
• サーバはデフォルトでrootのSSHログインが可能。鍵ファイルではなくパスワード認証。
  ※パスワードはサーバ登録時に生成され、管理コンソール上で1度だけ表示される。管理コンソールからリセットもできる。リセットするとsshdの設定（SSHのrootログイン禁止、パスワード認証禁止、鍵ファイルによる認証の許可など）も初期化される。
• サーバのテンプレート（AWSでいうところのAMI）を作る前に、手動でサーバを停止しないといけない。

（その他）

• サーバのSELinuxはデフォルトで有効。
• SMTPはpostfixが入っている。

本番用テンプレートを作る時にまずやることのメモ
CentOS 7のコマンドがCentOS 6から色々変わってるので慣れないと...。

• タイムゾーンの設定（/root/tzconfigurator.shという対話形式の設定ツールが用意されているが、itamaeと相性が悪い？）
• yum update
• Linuxユーザーの追加（SSH用公開鍵のセットも）
• rootのSSHログイン禁止
• SSHのパスワード認証の禁止と、鍵認証の許可
• メール送信先の変更（/etc/aliasesの編集）

以下は必要に応じて

• 言語の設定（参考 [CentOS]CentOS7でのロケール(locale)の確認及び変更 | Zero Configuration 英語のままの方が何かと無難？調べ物するときとか）

参考

• SSHを通すまで | Exfield
• 「cloudn （クラウド・エヌ）」を使ってみました - HDE BLOG
• 6.1. セキュリティグループを設定する — Cloudn Compute FLATタイプ 操作マニュアル v2.20.5
• パブリッククラウドサービスCloudn 見積シミュレーター｜NTT Com

CentOS 7に NginXをインストール

ダウンロード・インストール
CentOS7.1でnginxを用いたウェブサーバの構築 - Qiita

Webのルートのディレクトリは下記になる
（SELinuxが有効な場合は変更しない方が面倒が無い？）

/usr/share/nginx/html/

設定
/etc/nginx/nginx.conf

worker_processesはautoで良さそう。
参考 nginx の worker_processes を auto にしたときの挙動 - やまぶろぐ


サービス開始

systemctl start nginx.service

起動時にサービス開始するようにする

systemctl enable nginx.service

HTTPS（TLS）対応
既存の/etc/nginx/conf.d/default.confのserver{}内に下記を追加したらできた。
（公開サーバの場合はセキュリティ設定をもっと絞り上げたほうが良い。）

listen 443 ssl;
ssl_certificate     /path/to/server.crt;
ssl_certificate_key /path/to/server.key;

参考 はてなブックマーク - Bマイナー志向 - 2016年1月30日


リバースプロキシ
同じく/etc/nginx/conf.d/default.confのserver{}内に下記を追加。

location /foo/ {
    proxy_pass https://example.jp/test/;
}

参考
nginx.confが読めるようになる - 魔法使いの卵
Nginx設定のまとめ - Qiita

chalice お試しメモ

chalice (Python Serverless Microframework for AWS)をAmazon Linuxに入れてHello Worldしたのでメモ。


1. aws configure

Amazon Linuxならaws（AWS CLI）は最初からインストールされている。
configureで認証情報を登録する。

参考 【AWS】CLIの初期設定について（認証情報とコマンド補完） - TASK NOTES


2. chalice

参考 GitHub - awslabs/chalice: Python Serverless Microframework for AWS

必要に応じてrootで作業する。


マネジメントコンソールから確認したところ、下記が登録されていた。

• API Gateway
• CloudWatch（のメトリックス）
• IAM（のロール）
• Lambda（大きすぎてマネジメントコンソール上では参照・編集できない）

また、実行後にCloudWatchにログが登録された。


アクセス制限はAPI GatewayはAPIキー認証しかできないので、前にCloudFront＋AWS WAFを置くか、アプリケーション側でやるか。（ちょっとめんどくさい。EC2くらい手軽にできるとよいのだが。）

不明点

• API Gatewayのステージを指定してデプロイする方法（設定ファイルを書き換えるしか無い？deployコマンドの引数で指定したいが…）
• LambdaのVersionかAliasを指定する方法。これができないと、API Gatewayでステージを分けても、みんなLATESTのLambdaに行ってしまってステージを分けた意味がない…

負荷テストツール調査 2016

Goadがおもしろそう。


【ツール】

ab (Apache Bench)
参考 Apache Benchでサクッと性能テスト - Qiita

JMeter
要Java。
参考 JMeter | TECHSCORE(テックスコア)

Goad
EC2からAWS Lambdaを使う。Golang製。
参考 Lambda を利用した分散 Web 負荷テストツール Goad を使ってみた - Qiita

LOCUST
Python製。

Tsung
Erlang製。
参考 Tsung で負荷試験 - Qiita


【サービス】

Shift社の負荷テストサービス

無料。テスト対象と同じドメインのメールアドレスを登録する必要あり。
参考 SHIFTの負荷テストサービス

Load Impactまともに使うなら有料。
参考 ロードテストサービスの Load Impact を使ってみた : まだプログラマーですが何か？

MySQLへの接続の暗号化

基本
MySQLでSSLクライアント証明書を使う - Qiita

※MySQL側のCommon Nameはサーバのホスト名にする


暗号化されていることを確認するSQL

show status like'Ssl_cipher';
MySQL5.6での注意点
MySQL 5.6でSSL接続が有効にならない・クライアントからSSL接続できない。 - ah-2


WindowsのMySQL Query Browserでは、caだけでなく、下記の全てを指定しないと接続できないようだ。

USE_SSL => "Yes"
SSL_CA => ca.crtのファイルパス
SSL_CERT => client.crtのファイルパス
SSL_KEY => client.keyのファイルパス
ファイルパスのバックスラッシュ（￥）はバックスラッシュのままでも、スラッシュにしてもどちらでもOK。
ファイルパスのスペースが含まれていてもOK。
ca.crtは、server.crtとclient.crtの中身を合わせる必要はないようだ。

参考：MySQL :: MySQL Administrator :: 21.4.1 SSL Connections


REQUIRE SSLなユーザーだと、MySQL Query Browserの上部メニューからのMySQL Administratorの起動や、逆にMySQL AdministratorからMySQL Query Browserの起動ができない。（直接起動すれば起動できる。）

Amazon RDS Auroraの参考サイトメモ

参考記事
Amazon Aurora/MariaDB/MySQLの違いを整理してみる #reinvent ｜ Developers.IO
エンタープライズワークロードにおけるAmazon Auroraの活用
Amazon Auroraについての簡単なメモ - Qiita
11/10 Amazon RDS for Aurora 東京ローンチ記念セミナーに行ってきました - 駆け出しアクアテラリストのIT奮闘記
ちょっと待って！Auroraを使う時にMulti-AZが本当に必要ですか？ ｜ Developers.IO


問題点
Amazon Auroraへの移行 - inFablic
AWS RDSのAuroraをパブリックから繋いだ時のパフォーマンス - イフブロ


メンテナンスウィンドウ
Amazon RDS のメンテナンス期間 - Amazon Relational Database Service


可用性
Amazon Web Services ブログ: 【AWS発表】Amazon Auroraをご利用頂けるようになりました！
Amazon Aurora東京ローンチ記念セミナー参加レポート - 其未来
Auroraの可用性は99.99％ → 1年間で52.56分止まる計算になる
SLAは99.95％


料金
料金 - Amazon RDS | AWS
2016年現在、オンデマンドインスタンスで、$0.35/H～（最安のr3.large）→ ストレージやI/Oも含めて3万円弱/月～くらいか
Multi-AZにするなら倍だから6万円弱/月か

Itamaeセットアップメモ

EC2のAmazon LinuxにItamaeのサーバを構築し、リモートサーバもEC2のAmazon Linuxの場合


セットアップ
参考：Itamae on AWS - Itamae の EC2 へのインストールとレシピ適用 - - Qiita

sudo gem install itamae

sudo yum install ruby-devel gcc-c++

sudo gem install io-console

ローカルで実行する場合

sudo /usr/local/bin/itamae local path/to/recipe.rb

yamlのnodeを読み込む場合

sudo /usr/local/bin/itamae local --node-yaml path/to/node.yaml path/to/recipe.rb

リモートサーバに実行する場合
EC2へのSSHログインで使う秘密鍵をItamaeサーバ上にコピー（取り扱い注意？）
例：/home/ec2-user/.ssh/your-pair.pem

itamae ssh -h 対象のIP -i path/to/your-pair.pem path/to/recipe.rb

Ansibleや Itamaeで LAMP環境を作る

参考サイトのメモ。
Itamaeの方がいいかな。


Ansible

Ansibleのインストールと、ごく簡単なplaybook
VagrantとAnsibleでCentOSの環境を用意してみる - yk5656 diary

LAMP環境を作成
AnsibleでとりあえずのLAMP環境してみる - yk5656 diary

PHPをインストール
Ansible でインストール (php 5.6) - Qiita



Itamae

Itamaeのインストール、ごく簡単なレシピ、リモートサーバへの適用
Itamae on AWS - Itamae の EC2 へのインストールとレシピ適用 - - Qiita

レシピの書き方など
Chef脱落者が、Itamaeで快適インフラ生活する話 - Qiita
itamae 入門 - Qiita
Itamaeチートシート - Qiita
vagrantとitamaeによるLAMP環境構築 - Qiita
EC2 のインスタンスを Itamae でプロビジョニングした | mizoguche.info

設定値をJSONまたはYAMLに切り出す
第3回　ノード属性で汎用的なレシピを書く：Itamaeが構成管理を仕込みます！ ～新進気鋭の国産・構成管理ツール～｜gihyo.jp … 技術評論社

公式ドキュメント（英語。詳細は載ってない）
Home · itamae-kitchen/itamae Wiki · GitHub

公式ドキュメントが想像よりそっけないので、詳細は他のブログ等やQiitaで調べながら...。まあシェルコマンドが使えるから汚い書き方でいいならどうにでもなるけど。

Let's Encryptの cronによる実行が動かなくなった時の対策

certbot (Let's Encrypt)を Amazon Linuxにインストールの後日談。
OSはAmazon linux。

cronの結果がメールで送られてきた。

Checking for new version...
Upgrading certbot-auto 0.6.0 to 0.7.0...
Replacing certbot-auto...
Creating virtual environment...
./certbot/certbot-auto: line 530: virtualenv: command not found

↓
cronを再実行してみる。

WARNING: Amazon Linux support is very experimental at present...
if you would like to work on improving it, please ensure you have backups
and then run this script again with the --debug flag!

↓
言われた通りにコマンドを変更。

./certbot/certbot-auto renew --debug && sudo service httpd reload

再実行。

Bootstrapping dependencies via Amazon Linux...
yum is /usr/bin/yum
Loaded plugins: priorities, update-motd, upgrade-helper
Package gcc-4.8.3-3.20.amzn1.noarch already installed and latest version
Package dialog-1.1-9.20080819.1.5.amzn1.x86_64 already installed and latest version
Package augeas-libs-1.0.0-5.7.amzn1.x86_64 already installed and latest version
Package 1:openssl-1.0.1k-14.91.amzn1.x86_64 already installed and latest version
Package 1:openssl-devel-1.0.1k-14.91.amzn1.x86_64 already installed and latest version
Package libffi-devel-3.0.13-11.4.amzn1.x86_64 already installed and latest version
Package system-rpm-config-9.0.3-42.27.amzn1.noarch already installed and latest version
Package ca-certificates-2015.2.6-65.0.1.15.amzn1.noarch already installed and latest version
Package python27-2.7.10-4.120.amzn1.x86_64 already installed and latest version
Package python27-devel-2.7.10-4.120.amzn1.x86_64 already installed and latest version
Resolving Dependencies
--> Running transaction check
---> Package python27-pip.noarch 0:6.1.1-1.21.amzn1 will be installed
---> Package python27-tools.x86_64 0:2.7.10-4.120.amzn1 will be installed
---> Package python27-virtualenv.noarch 0:12.0.7-1.12.amzn1 will be installed
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================
 Package                 Arch       Version                 Repository     Size
================================================================================
Installing:
 python27-pip            noarch     6.1.1-1.21.amzn1        amzn-main     1.9 M
 python27-tools          x86_64     2.7.10-4.120.amzn1      amzn-main     706 k
 python27-virtualenv     noarch     12.0.7-1.12.amzn1       amzn-main     2.0 M
Transaction Summary
================================================================================
Install  3 Packages
Total download size: 4.6 M
Installed size: 11 M
Is this ok [y/d/N]: Exiting on user command
Your transaction was saved, rerun it with:
 yum load-transaction /tmp/yum_save_tx.2016-06-22.11-17.hYs7z_.yumtx
Could not install OS dependencies. Aborting bootstrap!

↓
cronでなく手動で実行し、パッケージをインストール

./certbot/certbot-auto renew --debug

↓
正常終了。
以降はcronでも"--debug"無しでも大丈夫になったが、"--debug"を付けておいた方が無難？

Qualys SSL Server Testでレートを Aプラスにする

Qualys SSL LabsのSSL Server Testで、A評価を得てみる。


環境

• OS: Amazon Linux 2016.03
• Webサーバ: Apache 2.4.18
• OpenSSL: 1.0.1k
• サーバ証明書: Let's Encrypt（certbot）

デフォルト設定

SSLProtocol all -SSLv3
SSLHonorCipherOrder on

↓
B

This server accepts RC4 cipher, but only with older protocol versions. Grade capped to B.

SSLCipherSuiteも指定（コメントアウトされている推奨？設定＋RC4も禁止）

SSLCipherSuite HIGH:MEDIUM:!RC4:!aNULL:!MD5

↓
A


HSTSを追加

Header always set Strict-Transport-Security "max-age=15768000"

↓
A+

HTTP Strict Transport Security (HSTS) with long duration deployed on this server.

さらにProtocol Supportを満点にするには、TLS1.2のみにすればOK。
Key ExchangeとCipher Strengthを満点にするには？SSLCipherSuiteをきちんと指定する？？



参考

• 安全なWebサイトの構築方法（SSL編）　～Qualys SSL LABSでA評価を目指して～ - SHANON　Engineer's　Blog
• Generate Mozilla Security Recommended Web Server Configuration Files

certbot (Let's Encrypt)を Amazon Linuxにインストール

以前一度挫折した（古いAmazon Linuxをアップデートして使っているためだと思われる）が、certbotに改名後に試してみたら、できた。


前提

• gitはインストール済み
• WebサーバはApache

手順

1. sudo easy_install pip
2. sudo pip install --upgrade pip
3. sudo /usr/local/bin/pip install --upgrade virtualenv
4. （作業用ディレクトリで）
   git clone https://github.com/certbot/certbot
5. cd certbot
6. ./certbot-auto certonly --webroot -w /var/www/html -d ドメイン名 --agree-tos -m メールアドレス --debug
7. /etc/httpd/conf.d/ssl.confの下記箇所を変更する。（Apache2.4.8より前のバージョン場合は微妙に違うので参考サイト参照。）
   SSLCertificateFile /etc/letsencrypt/live/ドメイン名/fullchain.pem
   SSLCertificateKeyFile /etc/letsencrypt/live/ドメイン名/privkey.pem
8. httpdを再起動

証明書の自動更新
証明書の期限は90日なので、cronで定期更新させる。cronがメールを飛ばすように設定してあれば結果がメールで来る。

（例：月に1回更新する場合。日時は月初にすると混雑しそうなので、適当にずらした方がよいかも。）

45 3 12 * * ./certbot/certbot-auto renew && sudo service httpd reload

（2016/6/25 追記）
--debugも付けた方がよいかも？参考→Let's Encryptの cronによる実行が動かなくなった時の対策
（追記終わり）

期限まで30日以上ある場合は更新されない。それでも更新したい場合は--force-renewオプションを付ける。
上記例を試した時はまだ更新されなかったので、本当にこれでよいかはその日が来てから確認する。（--debug無しとか大丈夫か？タイミングによっては、月イチだと期限切れになるケースがあるかも？）


備考的な

• Aapcheは停止しなくても大丈夫。（ｗebrootオプションを使う場合はいいらしい。）
• 証明書生成時にポート443は開いてなくても大丈夫。
• /var/www/htmlに.well-knownディレクトリが残る。消してもいいのかな？

さよなら自己署名！さよならオレオレ証明書！


参考

• Let's Encrypt の使い方 - Let's Encrypt 総合ポータル
• Amazon Linux で certbot(letsencrypt) を使って SSL 証明書を取得する - tkuchikiの日記
• Let’s Encrypt サーバー証明書の取得と自動更新設定メモ | あぱーブログ
• 無料SSL証明書 Let's Encrypt の発行と自動更新をWebサーバー無停止で行う - 9mのパソコン日記

シマンテックのクロスルートなサーバ証明書が使えなくなる？

2016年4月のマイクロソフト社のルート証明書情報更新の影響と対策に関するご案内（続報） | Symantec

意訳
Microsoftが2016年4月19～20日（日本時間）に配信するルート証明書情報の更新により、シマンテックのクロスルートを付けているサーバ証明書を使っている場合にWindows上の（Firefox以外の）ブラウザで警告が出るようになる。
回避するにはクロスルートを外す。


このMicrosoftの更新はWindows Updateとは別らしい。
なお、4/19～20となっているが4/20になってMicrosoftが更新を延期したらしい。（結局、4/26～27に実施。）


クロスルートを外すと、ガラケー等で使えなくなるのでは？
↓
クロスルート設定用証明書の設定について、どのような対応が必要でしょうか？ | Symantec のPDFによると、ガラケーへの影響は2機種のみ。スマホでもいくつか影響があるが、発売が2010年以前なので影響は少なそう。SHA-1を切り捨てたことにより、既に古いガラケーの多くはSSL/TLSの対象外になっていた。

ちなみに、 Windowsが遂にSymantecG1ルートを捨てるらしい - 情緒不安定。 によるとクロスルート証明書のIssuerが問題なので、中間CA証明書（クロスルートを含む）自体がG1でなくても影響がある。（シマンテックがクロスルート証明書として配布している VeriSign Class 3 Public Primary Certification Authority - G5 のIssuerがG1なので。）


クロスルートを付けている場合に問題が発生するクライアントPC（Windows）の条件を見ると、

条件3 : クライアント環境のルート証明書ストア（Windows Trusted Root Store）に、G5ルート証明書*2が含まれていない場合
*2「VeriSign Class 3 Public Primary Certification Authority - G5」

とある。

おのれSSL！謀ったな・・！！ | ツチノコブログ によると、

最近のブラウザではPC/スマフォ問わずにG5証明書が予めインポートされています。ですがwindowsXPのSP2以前やフィーチャーフォンの一部端末はG5証明書がインポートされておらず、『VeriSign Class 3 Public Primary CA』(通称：G1証明書)がインポートされています。

【追記有(2016.04.22)】Windowsが遂にSymantecG1ルートを捨てるらしい - 情緒不安定。 でも、

SymantecG5ルート証明書が入っていないパソコン。
つまり、レガシーなパソコンです。(WindowsXP以前、WindowsUpdateなどを定期的に行ってないと怪しいです。)

とあるので、Windows Vista以降は大丈夫？

でも 2016年4月のマイクロソフト社のルート証明書情報更新の影響と対策に関するご案内（続報） | Symantec によると、XP以降はG5証明書が初期状態ではインストールされていなくて、必要になったらインストールされるらしい。インストールされていない状態でシマンテックのクロスルートに当たると、G1の方を読んでしまうのでエラーになってしまう。


HTTPS セキュリティ証明書における SHA-1 から SHA-256 へのハッシュアルゴリズムの変更について によると、クロスルート無しでクライアント（接続元）がJavaの場合、

1.4.2 より前 → 接続できない
1.4.2 ～ 1.6.0_18 → ごにょごにょしてG5をCAストアに追加すれば接続できる
1.6.0_19 以上 → 接続できる

Java SE 6 Update 19 Release Notes. から Bug ID: JDK-6904162 Add new VeriSign root CA certificates to JRE and remove some old/unused ones を見ても、「verisignclass3g5ca」とあるので6u19でG5が追加されたようだ。


シマンテックによるG5のテストサイトは Symantec SSL test （中間CAがクロスルート無しの「Symantec Class 3 EV SSL CA - G3 」で、そのIssuerがG5。）

EC2の MySQLを S3にバックアップする方法（世代管理付き）

S3への送信はaws-cliが良さそう。
参考：aws-cli - AWS CLIでS3を操作する - Qiita


aws-cliはAmazon Linuxなら最初から入っているが、手元のインスタンスはconfigure等をするにはバージョンアップが必要だった。
yumでもバージョンアップできるが、今回は諸事情により依存関係のある諸々をそっとしておきたかったので、下記を参考にyumを使わずにaws-cliをバージョンアップ。

参考：AWSCLIで運用検討中の人必見！ AWSCLIを使用したS3へのファイルコピー | クラウド工房 Powered by Amazon Web Services

sudo easy_install pip
sudo pip install awscli -U

IAMでS3のみに権限を絞り込んだユーザーを作り、その認証情報をconfigure。（もう少し権限を絞っても良いかも。）

aws configure

↓

AWS Access Key ID [None]: （アクセスキーを入力）
AWS Secret Access Key [None]: （シークレットアクセスキーを入力）
Default region name [None]:
Default output format [None]:

世代管理はS3の機能であるバージョニングとライフサイクルを使う。
S3でバケットを作成し、バージョニングを有効化。
ライフサイクルでルールを追加。（例「以前のバージョン」を30日後に削除）


後は適当にダンプとS3へのコピーのスクリプトを作ってcronに登録する。
分かりやすいようにディレクトリを作成し、そこにスクリプトを作った。

バックアップ用スクリプト作成。

vi backup.sh

↓

#!/bin/sh
echo "START " `date +'%Y/%m/%d %H:%M:%S'`
MYSQL_PWD='MySQLのパスワード' mysqldump -u MySQLのユーザー 対象DB > data.dump
aws s3 cp data.dump s3://バケット名/
echo "E N D " `date +'%Y/%m/%d %H:%M:%S'

（パスワード直書きにしたが、きちんとやるならMySQLのパスワードは隠したい。）

スクリプトのファイルに実行権限を付ける。

chmod 700 backup.sh

cronに登録。

crontab -e

↓

0 1 * * * cd /スクリプトのディレクトリ; ./backup.sh >> history.log

aws-cliを使うと、AWSのサービス間の通信はSSL（TLS？）で暗号化されるようだ。
参考
aws — AWS CLI 1.9.17 Command Reference

By default, the AWS CLI uses SSL when communicating with AWS services.

Amazon Web Service aws cliはデフォルトで暗号化通信されるのか？ - なぜか数学者にはワイン好きが多い



S3を使わずにサーバ上で世代管理するだけなら、下記が一番分かりやすかった。
mysqldumpをcronで1日1回取得し、バックアップ用ファイルを保存する - サイト制作の豆知識