RubyonRails:herokuのDBを開発環境(ローカル)へリストア(復元)する。

はじめに

herokuで運営しているサービス(https://moook.herokuapp.com/)の本番環境のデータを開発環境に反映させたときの手順をメモφ(..)

前提

環境

今回の手順を行った環境は下記の通りです。

title	memo
Production環境	heroku
Rails	ver 5.1.2
DB	postgresql

手順

herokuでDBのバックアップを実行

herokuにログインした状態で下記コマンドを実行します。

rem バックアップ取得コマンド
$ heroku pg:backups:capture

Starting backup of postgresql-asymmetrical-20043... done

Use Ctrl-C at any time to stop monitoring progress; the backup will continue running.
Use heroku pg:backups:info to check progress.
Stop a running backup with heroku pg:backups:cancel.

Backing up DATABASE to b002... done

最後の行にある'b002'という文言が、バックアップの目印になります。

バックアップファイルをダウンロードする。

rem 先程取得したバックアップのURLを取得
$ heroku pg:backups:url b002

https://xfrtu.s3.amazonaws.com/6026beb4-c189-4732-b78b...

取得したURLにブラウザからアクセスするとバックアップファイルをダウンロード出来ます。

バックアップを開発環境のDBにリストア

下記コマンドを使って開発環境に本番環境DBのバックアップをリストアします。
下記のような実行結果になればOK。

$ pg_restore --verbose --clean --no-acl --no-owner -h localhost -U user_name -d db_name backup_file_path
省略
pg_restore: setting owner and privileges for INDEX "public.taggings_idx"
pg_restore: setting owner and privileges for INDEX "public.taggings_idy"
pg_restore: setting owner and privileges for FK CONSTRAINT "public.favorites fk_rails_72d9d9e5bf"
pg_restore: setting owner and privileges for FK CONSTRAINT "public.favorites fk_rails_d15744e438"

title	memo
user_name	DBのユーザー名※1
db_name	対象のDB名※2
backup_file_path	バックアップファイルのパス

※1:DBのユーザー名の確認方法 rails dbコマンドを実行し、posgresqlから下記コマンドを実行して確認

$ rails db
$ db_name=# SELECT usename FROM pg_user;
 usename
---------
 UserName
(1 row)

※2:DB名の確認方法 database.ymlでdatabaseの項目を確認

database.yml

development:
  <<: *default
  database: appname_development

参考

www.workabroad.jp

以上

Ruby on Rails:ファビコン(タイトルアイコン)の設定方法

はじめに

Ruby on Railsで作成したWebアプリケーションにファビコンを設定する方法をメモφ(..)

設定方法

app/assets/imagesフォルダにファビコン用の画像を配置し、application.html.erb内に下記を記述します。

application.html.erb

# favicon.pngは任意のファイル名に変更
<%= favicon_link_tag 'favicon.png'%>

ブラウザのタグにファビコンが設定されます。

以上

Googleの検索結果にページが表示されない場合の対処法

はじめに

最近作ったWebサービスが、全然googleの検索結果に乗らなくて悲しかったので、対処法をメモφ(..)

Google検索の仕組み

Google では、「ウェブ クローラ」と呼ばれるソフトウェアを使用して、公開されているウェブページをクロール（情報を取得）します。最もよく知られているクローラは「Googlebot」です。クローラは、ユーザーがウェブ上でコンテンツを閲覧する場合と同じように、ウェブページを見て、ページ上のリンクをたどります。リンクからリンクに移動し、これらのウェブページに関するデータを Google のサーバーに蓄積していきます。

クロールとインデックス – 検索サービス – Google

通常では、GoogleのWebクローラーがWebページを自動的に検知し、サーバー上に蓄積していくが、リンク等が貼られていない段階では中々見つけて貰えないようです。。。

Googleへ登録リクエストを送信

下記のページからgoogleへWebページの登録リクエストを送ることが出来ます。
私の場合は、登録リクエストの送信後、5分かからずに検索結果に反映されました…！ﾟﾟ( ﾟдﾟ )ｸﾜｯ!!

www.google.com

Googleへの登録有無の確認

対象のWebページがGoogleに登録されているかどうかは、site:Wenbページのurlで検索すれば確認できます。

検索結果にWebページが表示されてればOKです。

参考

officehit.biz

Ruby on Rails:メール送信処理の準備・実装内容について(開発・本番環境)

はじめに

Ruby on Railsでメール送信を行う際に必要となったツール及び実装を整理しましたφ(..)

目次

ActionMailerとは

Railsには、メールを送信するために、ActionMailerという仕組みがあります。 ActionMailerは、コントローラやーViewと同じような使い方でメールを送信させることができます。

railsguides.jp

用意するツール

SendGrid

SendGridを使うことで、自前でSMTPサーバ(メール送信用の端末)を 用意しなくてもRailsからメールを送付することが出来る。

SendGridはクラウドベースのメール配信サービスです。 アカウントを取得するだけですぐに利用を開始でき、簡単・確実にメールをお届けします。 面倒なメンテナンス作業や無駄なコストを削減し、ビジネスを加速させましょう！

sendgrid.kke.co.jp

使い方

herokuへプラグインを導入

rem SendGridのプラグインを導入
rem Herokuアカウントにクレジットカード情報を登録しないとエラーとなるため注意
heroku addons:create sendgrid:starter

設定用にSendgridの情報を取得

rem USER_NAMEの確認  
heroku config:get SENDGRID_USERNAME

rem PASSWORDの確認  
heroku config:get SENDGRID_PASSWORD

SendGridの情報を環境変数へ設定

rem USER_NAMEの環境変数設定  
heroku config:set SENDGRID_USERNAME=(調べたSENDGRID_USERNAME)

rem PASSWORDの環境変数設定  
heroku config:set SENDGRID_PASSWORD=(調べたSENDGRID_PASSWORD)

設定ファイルの編集

config/environments/production.rbに下記を追記

config.action_mailer.default_url_options = { host: '自分のHerokuアプリのドメイン' } #hoge.herokuapp.com
ActionMailer::Base.delivery_method = :smtp
ActionMailer::Base.smtp_settings =
{
 user_name: ENV['SENDGRID_USERNAME'],
 password: ENV['SENDGRID_PASSWORD'],
 domain: "heroku.com",
 address: "smtp.sendgrid.net",
 port: 587,
 authentication: :plain,
 enable_starttls_auto: true
}

※環境変数からユーザー名やパスワードを取得することによって、公開を防ぐ事ができる。

rem herokuのドメイン名確認
heroku domains

letter_opener_web

letter_opener_webはメールの送信結果をブラウザ上で確認出来るgem

github.com

使い方

gemのインストール

Gemfileへ下記を追記し、bundle install実施する。

省略
# 開発環境のみで使用
group :development do
  gem 'letter_opener_web'
end

lettor_opener_webのroutingを設定

config/routesに下記を追記する。

# 開発環境かどうかを判断
if Rails.env.development?
  mount LetterOpenerWeb::Engine, at: "/letter_opener"
end

開発環境の環境設定

config/environments/development.rbに下記を追記

# 省略
config.action_mailer.default_url_options = { host: 'localhost:3000' }
config.action_mailer.delivery_method = :letter_opener_web

メール送信処理を実装する

手順概要

1. Mailerの生成
2. Mailerの実装
3. Mail Viewの実装
4. 送信アクションの実装

メール送信処理概要

• 送信アクションの実行(Mailerの呼び出し)
• MailerがMail Viewを元に本文を生成し、送信

具体的な実装内容

Mailerの生成

rails g mailer "Mailer名"
rem rails g mailer "Mailer名" "メソッド名"で、メソッドをあわせて作成することも可能

Mailerの実装

Mailerでは宛先とメールのタイトル等を指定可能、引数も取ることが出来る。 app/mailers/notice_mailer.rb

class NoticeMailer < ApplicationMailer
省略
  def sendmail_blog(blog)
   @blog = blog
   mail to: "メールアドレス",  # 宛先
         subject: "メールタイトル" # メールのタイトル
  end
end

Mail Viewの実装

Mail Viewでは実装に送信するメールの文面を通常のViewのように記載可能
※MailerもControllerと同様にメソッド名と紐付いたViewを取得するため注意

app/views/notice_mailer/sendmail_blog.html.erb

<h1>新しくブログが投稿されました！</h1>

<h4>title: <%= @blog.title %></h4>
<p>content: <%= @blog.content %></p>

<p>
  <%= link_to '投稿されたブログはこちら', blogs_url %>
</p>

※テキスト形式のメール文面も作成する場合はapp/views/notice_mailer/sendmail_blog.text.erbも合わせて編集する。

送信アクションの実装

メールの送信にはdeliverメソッドを使用する。

app/controllers/blogs_controller.rb

 def create
    @blog = Blog.new(blogs_params)
    if @blog.save
      redirect_to blogs_path, notice: "ブログを作成しました！"
      NoticeMailer.sendmail_blog(@blog).deliver
    else
      render 'new'
    end
  end

以上

Ruby:nokogiriを使ったWebスクレイピングの基礎・入門

勉強がてらnokogiriを使ってwebスクレイピングをやってみたので、頭の整理を兼ねて色々とメモしてみたφ(..)

Webスクレイピングとは

ウェブスクレイピング - Wikipedia

ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。 通常このようなソフトウェアプログラムは低レベルのHTTPを実装することで、もしくはウェブブラウザを埋め込むことによって、WWWのコンテンツを取得する。

ようするにWebページにアクセスして、HTMLを取得すること = Webスクレイピング webスクレイピングによって、Web上に掲載された特定の情報を素早く・扱いやすい形で取得することが出来ます。

例) 特定のジャンルのニュース記事のタイトル一覧を作成する等

nokogiriとは

Rubyを使ったWebスクレイピングでよく使われるgemがnokogiriです。
nokogiriを使うことによって簡単にhtmlを解析し、必要な情報を抽出することが出来ます。

github.com

morizyun.github.io

Webスクレイピングをやってみる

nokogiriを使ったwebスクレイピングの練習として、yahoo newsにアクセスしタイトルを取得してみたいと思います。

# ==================
# gemの読み込み
# ==================
require 'nokogiri'
require 'open-uri'

# ==================
# 定数宣言
# ==================
URL = "https://news.yahoo.co.jp/"

# ==================
# スクレイピング処理
# ==================

# 変数宣言
charset = nil
# webページにアクセスし、HTMLを取得
html = open(URL) do |f|
  charset = f.charset # 文字種別を取得
  f.read              # htmlを読み込んで変数htmlに渡す
end

# nokogiriで扱えるように取得したHTMLを変換
doc = Nokogiri::HTML.parse(html, nil, charset)

# 取得したHTMLのタイトルを表示
p doc.title

nokogiriを使ったWebスクレイピングの流れは下記のように行っていきます。

1. open-uriを使ってWebページにアクセスし、HTMLを取得
2. Nokogiri::HTML.parseを使って扱いやすいように変換
3. css、xpathを使って必要な情報を抽出

今度は少し応用で、yahoo newsにアクセスしてトップニュースを取得してみましょう。 ちょっと試すだけだったら、paiza.ioが環境構築もいらないのでオススメです！

XpathとCSSセレクタ

nokogiriを使ったWebスクレイピングでは、二種類の抽出方法が主に使われます。

Xpath

HTMLを'//div/p[@class="text"]'というように要素の階層構造を指定し、抽出することが出来ます。

qiita.com

CSS

HTMLをjQueryで扱うように'div p.text'という形で要素を抽出することができます。

www.qoosky.io

教えてgoo!をスクレイピングしてみた

私は今回、教えてgoo！のスクレイピングツールを作ってみました(/･ω･)/
特定カテゴリの質問のタイトルと質問文、ベストアンサー、その他回答の一覧をjsonファイルで吐き出します。

おわりに

Webスクレイピングを使えば、必要な情報を素早く・扱いやすい形で取得できます。
画像の収集やニュースアプリの作成等、色々なことに使えるのではないかと思いましたφ(..)
私自身の学びの整理のために書きましたが、この記事がみなさんの学習の一助にも、なれば幸いです:D

Ruby on Rails:生のSQLを作成(直書き)して実行させる方法

はじめに

Railsのアプリを作ってて、複数TBLを結合した結果をGROUP BYで集計するような、ちょっと複雑な検索処理が必要となり生のSQLを実行したかったので、そのやり方をメモしましたφ(..)

やりかた

SELECT文の場合は、ActiveRecord::Base.connection.select_allの引数にSQLの文字列を与えてあげればOK(/･ω･)/
返り値をto_hashしてあげれば、[{"column1" => "hoge1","column2" => "hoge2"},{"column1" => "hoge1","column2" => "hoge2"}...]のような形で扱える。

# SQLを作成
sql = <<-"EOS"
SELECT
  pages.name,
  pages.url,
  COUNT(*)
FROM pages
INNER JOIN favorites
  ON pages.id = favorites.page_id
GROUP BY pages.name, pages.url
ORDER BY COUNT(*) DESC
EOS

# sqlを実行し、取得結果をhashに変換
ActiveRecord::Base.connection.select_all(sql).to_hash      

ちなみにUPDATEの場合は、ActiveRecord::Base.connection.executeを使うらしい。

sql = "UPDATE favorites SET read = true"
ActiveRecord::Base.connection.execute(sql)

参考リンク

morizyun.github.io

書いたあとに調べたけど、テーブル同士の結合とかは、ActiveRecordのメソッドを使っても実現出来たかもしれない。。。

qiita.com

おわりに

生のSQLを書くのは、DBを変更(posgresql -> mysql等)の際に不具合の元になったりしそうなので、あまり推奨されないと思いますが、どうしても必要なときもあると思いますので、参考になれば幸いです。

---

パーフェクト Ruby on Rails　【増補改訂版】

Ruby:初心者向け今すぐ使えるいい感じの書き方まとめ

はじめに

Rubyですぐに使えそうな見やすい書き方を自分のためにも整理してみました(/･ω･)/

書き方

複数行の代入

before

hoge.title = "hoge_name"
hoge.read = "hoge_name"
hoge.content = "hoge_content"

after

hoge.title   = "hoge_name"
hoge.read    = "hoge_name"
hoge.content = "hoge_content"

=の位置を合わせた方が見やすいです！

bool型の判定

before

if flg == true
  puts hoge
end

after

if flg
  puts hoge
end

bool型の場合は、そのままでOKです！

1行のdo…end

before

hoge.each do |h|
  puts h
end

after

hoge.each{ |h| puts h }

1行であれば{...}を使用した方が見やすいです！

1行のif分

before

if hoge 
  puts hoge
end

after

puts hoge if hoge 

実行したい処理が１行であれば、後ろにifをつけた方が見やすいです！

複数値の判定

before

if hoge == "a" || hoge == "b" || hoge == "c"
  puts hoge
end

after

if ["a", "b", "c"].include(hoge)
  puts hoge
end

対象を配列にいれてしまってinclude?で判定したほうが見やすいと思います！

範囲の判定

before

if 0 < hoge && hoge < 100
  puts hoge
end

after

if hoge.between?(1,99)
  puts hoge
end

between?(min, max)で判定したほうが見やすいと思います！

配列中で特定の条件に合致する要素のみを抽出

before

values = ["a", "a", "b", "c" ]
result = []
values.each |v| do
  result.push(v) if v == "a"
end

after

values = ["a", "a", "b", "c" ]
result = values.select{ |v| v == "a"}

select{条件}を使用すると見やすく書けると思います。

クラスの配列から特定のプロパティ値の配列を取得する

before

result = []
hoges.each { |h| result.push(h.name) }

after

reslut = hoges.map{ |h| h.name }

mapを使用すると見やすく書けると思います。

おわりに

とりあえず、思いついたものを書いてみました！ ソースコードが見やすくなると時間がたったあとでも処理が思い出しやすくなったり、 モチベーションがあがりますよね！

また思いついたら追記しようと思いますφ(..)