ソースコードから理解する技術－ＵｎｄｅｒＳｏｕｒｃｅＣｏｄｅ

手を動かす(プログラムを組む)ことで技術を理解するブログ

Windows Subsystem for Linux上にAWS SAMの実行環境を構築する + Golangの開発環境を用意する

aws golang

タイトルにあるように、Windows Subsystem for Linux上でAWS SAMを実行する環境を構築してみました。
単純にLinux上にAWS SAMの実行環境を構築するだけと思いきや、細々と調べながら進めることになったので
その結果をメモ代わりに書いておきます。

Windows Subsystem for Linux

こちらについては特にはまるようなポイントはないです。
今回はUbuntu 18.04で用意しました。

AWS SAM

https://docs.aws.amazon.com/ja_jp/serverless-application-model/latest/developerguide/serverless-sam-cli-install.html
こちらの公式のガイドを見ればわかるのですが、AWS SAMのCLIの実行には

が必要となります。

Windows Subsystem for LinuxでDockerを動かすのが結構癖がありました。
結論から書いてしまうと

  • Dockerは17.09.0を使った
  • Windows Subsystem for Linuxを起動するコマンドプロンプト（やパワーシェルのターミナルなど）は管理者権限で起動しておく必要がある
  • 管理者権限で起動したターミナル上でdockerを起動しておいたうえで、AWS SAMのコマンドを実行する必要がある

ということになります。

詳細については既に詳しく書かれている方がいたので、そちらを参考にしてください。
どうしても Docker on Ubuntu 18.04 on WSL したかった - Qiita
Windows10 Home の WSL で Docker を使う - Qiita

Golangの開発環境

Windows Subsystem for LinuxでAWS SAMを実行するにあたり、

を実現したいと思いました。

結果

ことになりました。

詳細については既に詳しく書かれている方がいたので、そちらを参考にしてください。
WSLENVでWSLとWindowsの環境変数を共有する(Go開発環境編) | re-imagine

まとめ

こんな感じで、一つ一つは簡単なのですが、結構色々と調べつつ環境の構築ができました。
最後に、今回参考にさせていただいたサイトのURLを載せておきたいと思います。

参考サイト

AWS SAM

https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/cli-chap-install.html

Docker

https://docs.docker.com/install/linux/docker-ce/ubuntu/
https://qiita.com/kogaH/items/534560dd1e4004e80df4
https://qiita.com/guchio/items/3eb0818df44fdbab3d14

Golang

https://torumakabe.github.io/post/wslenv_golang/

gbのテストで特定のものを実行する、結果を色付けする

Golang

タイトルにあるように、gbのテストで

  • 特定のパッケージ、メソッドを実行する
  • テストの結果の詳細を表示する、結果を色付けして分かりやすくする

方法についてです。
ただgbだけでなく、普通の「go test」でも使えるかと思います。
(go testの場合は「gb」を「go」に変えるだけです。）

パッケージ・メソッドを指定、詳細を表示する方法

まず、パッケージ・メソッドを指定、詳細を表示する方法についてです。
以下のようなコマンドとなります。

gb test パッケージ名 -run テスト対象メソッド -v

それぞれについて説明すると

  • パッケージ名 ・・・ gb test の後にテスト対象のパッケージ名を指定
  • -run ・・・ テスト対象のテストメソッド名を指定
  • -v ・・・ 詳細を出力するためのオプション

です。

結果を色づけする方法

次に結果を色づけする方法についてです。
testing - colorizing golang test run output - Stack Overflow
こちらのstackoverflowの記事を参考にし、今回はsedで特定のキーワードを色付けすることにしました。

先のコマンドの結果をパイプで繋げ、以下のように実行します。

gb test パッケージ名 -run テスト対象メソッド -v \
| sed ''/RUN/s//$(printf "\033[33mRUN\033[0m")/'' \
| sed ''/PASS/s//$(printf "\033[32mPASS\033[0m")/'' \
| sed ''/FAIL/s//$(printf "\033[31mFAIL\033[0m")/'' \
| sed ''/error/s//$(printf "\033[31merror\033[0m")/''
  • RUN ・・・ 黄色
  • PASS ・・・ 緑
  • FAIL ・・・ 赤
  • error ・・・ 赤

にそれぞれ色づけしています。
色の指定については以下のサイトを参考にしました。

http://yonchu.hatenablog.com/entry/2012/10/20/044603

これでGolangのテストについて、ターミナルから実行する場合に少しやり易くなるかと思います。
色を変えるsedコマンドについては、シェルスクリプトなどに書いておいて、パイプでシェルに渡してもいいかもです。

ビルドツールのgbをVisual Studio Codeで使ってみる

Golang VisualStudioCode

Golangのビルドツールのgbを試してみました。
私は普段Visual Studio Codeを使っているので、こちらでエラーとならないよう設定もしました。

gbを使うメリットとしては

  • 自分が作成したpackageをimportする際にGopathからのフルパスを書かなくていい
  • 使用する外部ライブラリを定義ファイルに記述できる

などです。

以下、私が使用したときの手順メモです。

プロジェクトについて

プロジェクト直下のsrcフォルダ内に自分で作成するソース、vendorフォルダ内に外部ライブラリを保存します。
今回はGitHub - fatih/gb-example: Example gb project with dependencies and CI integrationという、gbを使ったサンプルプロジェクトがあったので
こちらが動くかどうかを試してみました。

git cloneでプロジェクトをダウンロードしてきます。

git clone https://github.com/fatih/gb-example.git

Visual Studio Codeの設定

File - Preferences - Settings より設定を行います。
まだgbを使っているのはこのプロジェクトのみなので、今回はローカルプロジェクトのみ設定する
Workspace Settingsの方に以下の設定を行いました。

gbの使用について

  • vendor/manifestに使用するライブラリを記載される。
  • なのでvendor/manifest以外はGithub等に上げる必要はない。

外部ライブラリの取得、更新

$ gb vendor update -all

ビルド、テスト

$ gb build
$ gb test

参考サイト

https://github.com/fatih/gb-example
https://qiita.com/myohei/items/29857fc5a2535f17c0bd
https://text.baldanders.info/golang/project-based-development/

AWSのロードバランサーについて調べてチラシの裏書きw

aws

AWSのロードバランサーについて、今更ながら調べてみました。
とはいっても既に様々なサイトで情報が公開されているので、詳細についてはそれらを参考にした方がいいかと思います。
（公式のドキュメントもかなり充実しているし）

なのでここではチラシの裏書きレベルの纏めと、調べてみた際に参考にしたリンク集という形にしたいと思います。

AWSのロードバランサーについて

現時点で以下の3種類がある。

  • ELB(Clasic Load Balancer)
  • ALB(Application Load Balancer)
    • ネットワークのOSI参照モデルの第7層（アプリケーションレイヤー）で機能する。
    • 普通のHTTP関係のロードバランシングに使用する。
  • NLB(Network Load Balancer)

参考にしたサイト(ありがとうございました)

AWSのロードバランサーについて

ALB

NLB

OSI 7層

ALB、NLBの違い

「増補改訂Pythonによるスクレイピング＆機械学習開発テクニック」を読んだ

Python

増補改訂Pythonによるスクレイピング＆機械学習開発テクニック（クジラ飛行机） | 書籍 本 | ソシム
を読みました。以下、その短い感想になります。

本のタイトル通り、Pythonによるスクレイピングや機械学習の本なのですが

  • 開発環境の構築
  • 機械学習とはなんぞや
  • 数学がどのように使われるのか
  • 機械学習や深層学習の基礎的な例とサンプルソース
  • それらを使ったサンプルアプリケーションの例

あたりが網羅されていました。

かなり丁寧にプログラムについて解説されているため、ほぼ本を読み進めながら
実装について読み進めていくことが出来ました。
（自分の場合はローカルで実際に実行しないと理解できないことも多いのですが）

機械学習を始めるところ（つまり開発環境の構築）～機械学習の実例まで書かれているので

  • どのように始めるべきか
  • それを使って何ができるのか
  • 具体的なソースコードレベルでどのように実装しているのか

を知ることができたことが良かったというのが、読んでの感想です。

DockerにてPythonの開発環境を作成するためのコマンド

Docker Python

タイトルにあるように、DockerにてPythonの開発環境を作成するためのコマンドのメモです。
ホストOSはWindows 10、Docker for Windowsはインストール済という状態からです。

ローカルイメージ確認～イメージダウンロード～起動

Python3.6のイメージをダウンロードして起動するまでです。

$ docker images

# イメージ名:バージョン番号でダウンロードするイメージを指定。
# /bin/bashを入れることでコンテナのシェルに入れる
$ docker run -it python:3.6 /bin/bash

$ python --version

コンテナ内からapt getが出来ない場合

「Temporary failure resolving・・・」というエラーメッセージが出た場合の対応方法です。
Docker Desktopの「Settings」「Network」にて「DNS Server」を「Fixed」を選択します。

vimのインストール

作業をするのに便利なようにvimをインストールしておきます。
コンテナ内で以下のコマンドを実行するか、もしくはDockerfileに記述してコンテナ作成時にインストールしてもいいかと思います。

$ apt-get update
$ apt-get install -y vim

Dockerfileによるイメージの作成～アプリのデプロイ

こちらについては以下のサイトの内容を一通りやってみたら理解できました。ありがとうございました。
https://qiita.com/ksh-fthr/items/e914ff213791b7150008

ザックリとした作業内容は以下となります。

  • Dockerfileにベースとなるコンテナ、デプロイ処理、アプリ起動処理などを記述し、Dockerfileからコンテナを作成する。
  • (Pythonの場合) requirements.txtに必要なモジュールは記述する。
  • Webアプリの場合は以下のようにコンテナを起動してコンテナのポートとホストのポートを紐づける
# ホストポート番号:コンテナポート番号 イメージ名 を指定
$ docker run -d -p 4080:80 image_name

参考サイト

https://qiita.com/wakazooo/items/1e66f12ddc506836de33
https://qiita.com/ksh-fthr/items/e914ff213791b7150008
http://motty72.hatenablog.com/entry/2018/01/14/211258

cal-heatmapを使ってGithubの草を再現してみる

GitHub JavaScript

Githubの草、去年は結構話題だったかと思います（いや、Githubが出来てからずっとか？w）
遅ればせながら、あの「草」をどのようにすれば作れるのかを調べてみました。

結論としてはcal-heatmapというライブラリを使えば出来ることが分かりました。
https://cal-heatmap.com/

今回はこれを使い、以下のような草をhtmlファイル一つで作ってみました。
f:id:UnderSourceCode:20190103115740p:plain

htmlファイル一つで作ってみた理由としては

  • APIからデータを取得している例が多いが、cal-heatmapを試したいだけの場合はAPIは用意したくない
  • cal-heatmapをbowerなどでローカルに持ってきている例も多いが、これも試したいでだけの場合は面倒

といったところです。

今回作成したソース

今回作成したソースは以下になります。

<html>
    <head>
        <script type="text/javascript" src="https://d3js.org/d3.v3.min.js"></script>
        <script type="text/javascript" src="https://cdn.jsdelivr.net/cal-heatmap/3.3.10/cal-heatmap.min.js"></script>
        <link rel="stylesheet" href="https://cdn.jsdelivr.net/cal-heatmap/3.3.10/cal-heatmap.css" />
    </head>
    <body>
        <div id="sample-heatmap"></div>
    </body>
    <script type="text/javascript">
        var datas = {
            "1530370800" : 1, // 2018/07/01
            "1530457200" : 3, // 2018/07/02
            "1533049200" : 5, // 2018/08/01
            "1533135600" : 7, // 2018/08/02
            "1546268400" : 10 // 2019/01/01
        };
        var cal = new CalHeatMap();
        var now = new Date();
        cal.init({
            itemSelector: '#sample-heatmap',
            domain: "month",
            data: datas,
            domainLabelFormat: '%Y-%m',
            start: new Date(now.getFullYear(), now.getMonth() - 11),
            cellSize: 10,
            range: 12,
            legend: [1, 3, 5, 7, 10],
        });
    </script>
</html>

またGithubにも格納してあります。
https://github.com/SrcHndWng/cal-heatmap-sample

過去1年を表示するようになっているので、「datas」に格納しているデータの日付は任意の値に変えてください。
キーは日付のUnix Timestampですが、以下のサイトで算出できます。
https://url-c.com/tc/

少しソースについて解説すると

  • head部で必要なライブラリ、css等を参照
  • divタグで「草」を表示
  • JavaScriptの「datas」に表示するデータを固定値で設定
  • 「cal.init～」で草の設定

を行っています。

「datas」については先に書いたように、

  • キー = 日付のUnix Timestamp
  • 値 = commit（か何かの）回数

となります。
この値は、実運用ではAPIから取得することが多いかと思います。

「cal.init」で草のグラフの書式を設定します。

  • domainで月毎の表示
  • rangeで表示する期間（ここでは12カ月を設定）
  • legentで草の色の濃さを変えるレベルを指定

という感じです。

上記のソースで単純な「草」は実現できましたが、その他の機能を知りたければ
以下の公式ドキュメントを参考にしてみてください。
https://cal-heatmap.com/

参考サイト

http://webty.jp/staffblog/production/post-409/
https://cal-heatmap.com/