Hejdaの見る夢

一人前のエンジニアを目指して頑張ったこととかをつらつら書くブログ

Mercari meetup for SRE に行ってきた時の個人メモ

開催日 / 場所

  • 2018/07/25(水)
  • 19:30 〜 21:30
  • 株式会社メルカリ

connpass

https://mercari.connpass.com/event/92098/

Twitter hashtag

https://twitter.com/hashtag/mercari_sre?f=tweets&vertical=default&src=hash&lang=ja

オープニング&SREチームのご紹介

  • 登壇

    • @masartz
  • slackの使い方メモ

    • リモートの出勤
    • hello bot で出勤になる
  • task管理
    • add todo hogehoge でJIRAにチケット起票
    • slackのURLがチケットに入ってくるので、チケットからslackの流れに戻れる

Traffic Optimization @cubicdaiya

  • 登壇

    • @cubicdaiya
  • メルカリの特徴

    • ネットワーク回線は細い
      • Wifiを前提にしない
    • スマホで利用可能なデータ通信量は有限
    • 良いUI/UXを実現するには高速な動作が必要不可欠
      • 低速なネットワークでもストレスなく動作する必要がある
      • 端末一つあたりの画像配信量はなるべく抑えることが重要
  • API

    • JSON
      • gzip
        • 圧縮レベルは6に設定している。理由は後述。
    • バイナリデータ
      • これから主流
    • ネットワークレイテンシ >>> 圧縮にかかるオーバーヘッド
      • トレードオフだが、マクロな目線で見ると圧縮にかかるオーバーヘッドは今は無視出来る
      • メルカリにおいては、ネットワークはCPUより高い
  • 構成
    • アプリ --- akamai --- imageflux --- S3
  • 圧縮に関して
    • 圧縮
      • 10% ~ 20% 減
    • 圧縮 && WebP
      • 30% ~ 50% 減

Expanding World of Data @kazeburo

  • 登壇

    • @kazeburo
  • メルカリのデータセンター

    • 石狩DC
      • 空調のコストが低い
      • 災害のリスクが低い
    • GCP
      • cloud(東京リージョン)
  • データセンターの距離
    • 1,000 Km
  • 早く通信する施策
  • これから

    • 東京のどこかのDCにラックを確保して、GCPと石狩の真ん中として使用する
  • DataBaseについて

    • MySQL 5.6, 5.7系
    • 巨大なデータ && トラフィック
    • TBを超えるテーブルが複数
    • 高いIOPS
    • 次世代は東京のDCに作りたい

Ubuntu 18.04にDockerをインストールする(+docker-composeも)

アジェンダ

repositoryをアップデートする

  • apt パッケージのアップデート
sudo apt update
  • HTTPS経由でrepositoryをやりとり出来るようにするためのパッケージをインストール
sudo apt install -y \
     apt-transport-https \
     ca-certificates \
     curl \
     software-properties-common
  • Dockerの公式GPG keyを追加する
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
  • repository( stable ) を追加する
sudo add-apt-repository \
     "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
     $(lsb_release -cs) \
     stable"
  • 再度 apt パッケージのアップデート
sudo apt update

docker をインストールする

  • インストール・起動
sudo apt install -y docker-ce
  • 起動確認
$ sudo systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/lib/systemd/system/docker.service; enabled; vendor preset: enabled)
   Active: active (running) since Mon 2018-07-09 17:51:00 JST; 58s ago
     Docs: https://docs.docker.com
 Main PID: 3920 (dockerd)
    Tasks: 16
   CGroup: /system.slice/docker.service
           tq3920 /usr/bin/dockerd -H fd://
           mq3935 docker-containerd --config /var/run/docker/containerd/containerd.toml
  • プロセスの確認(sudo有)
$ sudo docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

指定の一般ユーザでも sudo 無しでdockerを使えるようにする

  • 初期設定では出来ない
$ whoami
iganari
$ docker ps
Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.37/containers/json: dial unix /var/run/docker.sock: connect: permission denied
  • 一般ユーザ( iganari )をDockerグループに追加する
### 確認
$ cat /etc/group | grep docker
docker:x:999:


### 追加
sudo gpasswd -a iganari docker


### 確認
$ cat /etc/group | grep docker
docker:x:999:iganari
  • dockerが使用するソケットを一般ユーザでも読み込み出来るようにする
sudo chmod 666 /var/run/docker.sock
  • プロセスの確認(sudo無)
$ docker ps
CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

docker-composeをインストール

  • /usr/local/bin/ 配下にダウンロード
sudo curl -L https://github.com/docker/compose/releases/download/1.6.2/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose
  • 実行権限の付与
sudo chmod 0777 /usr/local/bin/docker-compose
  • 確認(sodo無)
$ docker-compose -v
docker-compose version 1.6.2, build 4d72027

以上でやりたいことが出来ました 😉

Windows 7にVirtualBox 5.2.12を入れてUbuntu 18.04を入れる(2018/07) 後編

アジェンダ

前篇

  • VirtualBoxのインストール
  • Ubuntuのダウンロード
  • 仮想サーバ用のBoxを作成する
  • 最終的な状態

後編(今回)

  • Ubuntuの初期構築を行っていく

Ubuntuの初期構築を行っていく

通常モードで起動

f:id:nari_kyu:20180704140202p:plain

言語選択

f:id:nari_kyu:20180704140218p:plain

キーボードレイアウトの選択

f:id:nari_kyu:20180704140413p:plain

プラットフォームの選択

f:id:nari_kyu:20180704140532p:plain

ネットワークの確認

f:id:nari_kyu:20180704140553p:plain

Proxy Serverの設定

  • 今回は設定無し

f:id:nari_kyu:20180704140648p:plain

インストールするディスクの確認

f:id:nari_kyu:20180704140735p:plain f:id:nari_kyu:20180704140840p:plain f:id:nari_kyu:20180704140857p:plain f:id:nari_kyu:20180704140904p:plain

ユーザの作成

f:id:nari_kyu:20180704162129p:plain

インストール開始

f:id:nari_kyu:20180704162244p:plain

最後に設定反映のために再起動を求められるので再起動(reboot)を行う

起動とログインテスト

  • 先ほど作成したユーザネームとパスワードでログイン出来るか確認する

f:id:nari_kyu:20180704162657p:plain

f:id:nari_kyu:20180704162711p:plain

OSとバージョンの確認

  • コマンド
cat /etc/lsb-release
  • 結果
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04 LTS"

f:id:nari_kyu:20180704163214p:plain

今回はここまでです。

次回は初期設定を行っていきます。

Windows 7にVirtualBox 5.2.12を入れてUbuntu 18.04を入れる(2018/07) 前篇

アジェンダ

前篇(今回)

  • VirtualBoxのインストール
  • Ubuntuのダウンロード
  • 仮想サーバ用のBoxを作成する
  • 最終的な状態

後編

  • Ubuntuをセットアップしていく

VirtualBoxのインストール

公式ダウンロードページ

https://www.virtualbox.org/wiki/Downloads

上記からWindows用をダウンロードして、Windowsにインストールします。

インストールする場所は任意で構いませんが、Boxイメージを作成する関係上、ディスク残容量が多いディスクが良いでしょう。

以下、インストール出来ました。

f:id:nari_kyu:20180704104819p:plain f:id:nari_kyu:20180704104955p:plain

Ubuntuのダウンロード

https://www.ubuntu.com/download/server

上記から、 Ubuntu Server 18.04 LTS をダウンロードしておく

保存場所は任意で良いかと思います。

仮想サーバ用のVirtualBoxを作成する

Box自体を作成

「新規」を選択

  • 仮想マシンの作成
    • 名前とオペレーティングシステム
      • 名前 = workspace
      • タイプ = Linux
      • バージョン = Ubuntu (64bit)
    • モリーサイズ
      • 1024MB
    • ハードディスク
      • 仮想ハードディスクを作成する
    • ハードディスクのファイルタイプ
      • VDI
    • 物理ハードディスクにあるストレージ
      • 固定サイズ
    • ファイルの場所とサイズ
      • そのまま(10.00GB)

以下のように作成出来ました。

f:id:nari_kyu:20180704105849p:plain

ネットワークの作成

「ファイル」を選択

  • ホストネットワークマネージャー
  • 作成
  • アダプター
    • アダプターを手動で設定
      • IPv4 アドレス
        • 192.168.50.1
      • IPv4ネットマスク
        • 255.255.255.0
  • DHCPサーバ
    • サーバーを有効化
      • サーバアドレス
        • 192.168.50.100
      • サーバマスク
        • 255.255.255.0
      • アドレス下限
        • 192.168.50.101
      • アドレス上限
        • 192.168.50.254
  • 「マシンツール」でネットワークマネージャ終了

f:id:nari_kyu:20180704110701p:plain

作成したVirtualBoxにネットワークの設定をする

先ほど作成したworkspaceをクリックして「設定」

f:id:nari_kyu:20180704110825p:plain

  • 一般
    • 変更無し
  • システム
    • マザーボード
      • 起動順序
        • 「フロッピー」からチェックを外し、順序も下位へ移動
  • ディスプレイ
    • 変更無し 
  • オーディオ
    • 「オーディオを有効化」のチェックを外す
  • ネットワーク
    • アダプター2
  • ストレージ
    • 以下のように先にダウンロードしておいたUbuntuを指定しておきます

f:id:nari_kyu:20180704111642p:plain

最終的な状態

f:id:nari_kyu:20180704111758p:plain

次回からUbuntuをセットアップしていきます。