Python | コードラボJP

変数

変数はデータ値を保存するためのコンテナです。

変数の作成

Pythonには変数を宣言するコマンドはありません。

変数は最初に値を割り当てた瞬間に作成されます。

x = 5
y = "John"
print(x)
print(y)

変数は特定の型で宣言する必要はなく、設定された後に型を変更することもできます。

例

x = 4       # xはint型
x = "Sally"  # xは今やstr型
print(x)

キャスティング

変数のデータ型を指定したい場合は、キャスティングを使用できます。

例

x = str(3)    # xは'3'になります
y = int(3)    # yは3になります
z = float(3)  # zは3.0になります

型の取得

変数のデータ型は type() 関数で取得できます。

例

x = 5
y = "John"
print(type(x))
print(type(y))

シングルクォートかダブルクォートか

文字列変数はシングルクォートまたはダブルクォートで宣言できます:

例

x = "John"
# 以下と同じ
x = 'John'

大文字と小文字の区別

変数名は大文字と小文字を区別します。

例

これは2つの変数を作成します:

a = 4
A = "Sally"
# Aはaを上書きしません

コメントはPythonコードを説明するために使用できます。

コメントはコードをより読みやすくするために使用できます。

コメントはコードのテスト時に実行を防ぐために使用できます。

コメントの作成

コメントは # で始まり、Pythonはそれを無視します:

例

# This is a comment
print("Hello, World!")

コメントは行の末尾に置くこともでき、Pythonは行の残りを無視します:

例

print("Hello, World!") # This is a comment

コメントはコードを説明するテキストである必要はなく、Pythonがコードを実行しないようにするためにも使用できます:

例

# print("Hello, World!")
print("Cheers, Mate!")

複数行のコメント

Pythonには実際には複数行のコメントの構文がありません。

複数行のコメントを追加するには、各行に # を挿入することができます:

例

# This is a comment
# written in
# more than just one line
print("Hello, World!")

また、意図した使い方ではありませんが、複数行の文字列を使用することもできます。

Pythonは変数に割り当てられていない文字列リテラルを無視するので、コード内に複数行の文字列（トリプルクォート）を追加し、その中にコメントを置くことができます:

例

"""
This is a comment
written in
more than just one line
"""
print("Hello, World!")

文字列が変数に割り当てられていない限り、Pythonはそのコードを読みますが、その後無視します。これで複数行のコメントを作成できます。

Pythonの実行

前のページで学んだように、Python構文はコマンドラインで直接書くことで実行できます:

>>> print("Hello, World!")
Hello, World!

または、サーバー上に拡張子が.pyのPythonファイルを作成し、それをコマンドラインで実行することもできます:

C:\Users\Your Name>python myfile.py

Pythonのインデント

インデントとは、コード行の先頭にあるスペースのことを指します。

他のプログラミング言語では、インデントは読みやすさのためだけに使われますが、Pythonでは非常に重要です。

Pythonはインデントを使用してコードのブロックを示します。

例

if 5 > 2:
  print("Five is greater than two!")

インデントを省略するとPythonはエラーを出します:

例

構文エラー:

if 5 > 2:
print("Five is greater than two!")

スペースの数はプログラマー次第ですが、一般的には4つのスペースが使われます。ただし、少なくとも1つのスペースは必要です。

例

if 5 > 2:
    print("Five is greater than two!") 
if 5 > 2:
        print("Five is greater than two!")

同じコードブロック内では同じ数のスペースを使用する必要があります。そうしないとPythonはエラーを出します:

例

構文エラー:

if 5 > 2:
 print("Five is greater than two!")
        print("Five is greater than two!")

Pythonの変数

Pythonでは、値を代入することで変数が作成されます:

例

Pythonの変数:

x = 5
y = "Hello, World!"

Pythonには変数を宣言するためのコマンドはありません。

Pythonにはコード内ドキュメントのためのコメント機能があります。

コメントは # で始まり、Pythonは行の残りをコメントとして解釈します:

例

Pythonのコメント:

# This is a comment.
print("Hello, World!")

Pythonのインストール

多くのPCやMacにはPythonがすでにインストールされています。

Windows PCでPythonがインストールされているか確認するには、スタートバーでPythonを検索するか、コマンドライン（cmd.exe）で以下を実行します：

C:\Users\Your Name>python --version

LinuxやMacでPythonがインストールされているか確認するには、Linuxではコマンドラインを開き、Macではターミナルを開いて以下を入力します：

python --version

もしPythonがインストールされていない場合は、以下のウェブサイトから無料でダウンロードできます：https://www.python.org/

Pythonクイックスタート

Pythonはインタープリタ型のプログラミング言語です。つまり、開発者はテキストエディタでPython（.py）ファイルを書き、そのファイルをPythonインタープリタに投入して実行します。

コマンドラインでPythonファイルを実行する方法は以下の通りです：

C:\Users\Your Name>python helloworld.py

ここで、「helloworld.py」はPythonファイルの名前です。

最初のPythonファイル「helloworld.py」を作成しましょう。これは任意のテキストエディタで行えます。

helloworld.py

print("Hello, World!")

非常に簡単です。ファイルを保存し、コマンドラインを開いて、ファイルを保存したディレクトリに移動し、以下を実行します：

C:\Users\Your Name>python helloworld.py

出力は以下のようになります：

Hello, World!

おめでとうございます。これで最初のPythonプログラムを書いて実行できました。

Pythonコマンドライン

少量のコードをテストするために、ファイルにコードを書かない方が早くて簡単な場合があります。Pythonはコマンドラインとしても実行できるため、これが可能です。

Windows、Mac、Linuxのコマンドラインで以下を入力します：

C:\Users\Your Name>python

または、「python」コマンドが動作しない場合は「py」を試すこともできます：

C:\Users\Your Name>py

ここから、以前のチュートリアルの「Hello, World!」の例を含め、任意のPythonコードを書くことができます：

C:\Users\Your Name>python
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print("Hello, World!")

これにより、コマンドラインに「Hello, World!」と表示されます：

C:\Users\Your Name>python
Python 3.6.4 (v3.6.4:d48eceb, Dec 19 2017, 06:04:45) [MSC v.1900 32 bit (Intel)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> print("Hello, World!")
Hello, World!

Pythonコマンドラインでの作業を終了するには、以下を入力してPythonコマンドラインインターフェイスを終了できます：

exit()

Pythonについて

Pythonは人気のあるプログラミング言語です。Guido van Rossumによって作られ、1991年にリリースされました。

Pythonの使用用途:

ウェブ開発（サーバーサイド）
ソフトウェア開発
数学
システムスクリプティング

Pythonでできること

Pythonはサーバー上でウェブアプリケーションを作成するために使用できます。
Pythonはソフトウェアと一緒に使用してワークフローを作成するために使用できます。
Pythonはデータベースシステムに接続できます。また、ファイルの読み取りと変更もできます。
Pythonはビッグデータを処理し、複雑な数学を実行するために使用できます。
Pythonは迅速なプロトタイピングや、本番対応のソフトウェア開発に使用できます。

なぜPythonを選ぶのか？

Pythonは異なるプラットフォーム（Windows、Mac、Linux、Raspberry Piなど）で動作します。
Pythonは英語に似たシンプルな構文を持っています。
Pythonの構文は、他のプログラミング言語に比べて少ない行数でプログラムを書くことができます。
Pythonはインタープリターシステムで動作するため、コードは書かれるとすぐに実行できます。これにより、プロトタイピングが非常に迅速に行えます。
Pythonは手続き型、オブジェクト指向型、関数型のいずれの方法でも扱えます。

注目すべき点

Pythonの最新のメジャーバージョンはPython 3であり、このチュートリアルではこれを使用します。ただし、Python 2はセキュリティアップデート以外の更新は行われていませんが、依然として人気があります。

このチュートリアルではPythonをテキストエディタで書きます。Thonny、Pycharm、Netbeans、Eclipseなどの統合開発環境（IDE）でもPythonを書くことができ、特に大規模なPythonファイルを管理する場合に便利です。

他のプログラミング言語と比較したPythonの構文

Pythonは読みやすさを重視して設計されており、数学から影響を受けた英語に似た構文を持っています。

Pythonは他のプログラミング言語でよく使用されるセミコロンや括弧の代わりに、新しい行でコマンドを完了します。

Pythonはインデント（空白）を使用してスコープを定義します。例えばループ、関数、クラスのスコープです。他のプログラミング言語ではこの目的のために波括弧を使用することが多いです。

例

print("Hello, World!")

ローカルで作成したスクレイピングプログラムをHerokuでも動かしたい場合の方法を解説します。

前提

今回はスクレイピングについてではなく、HerokuでSelneiumを動かす方法について焦点を当てたいので、動かすプログラムは以下のようなごくシンプルなものと仮定します。また仮想環境やHerokuにアップロードする必要があるProcfileやrequirements.txtについては既に用意されているものとします。

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("https://codelabsjp.net")
print(driver.page_source)
driver.quit()
print("完了")

HerokuでSeleniumを動かすために必要なオプションを追加する

SeleniumをHerokuで動かしたい場合、ブラウザはヘッドレス（バックグラウンドで動くブラウザ）に設定しなければなりません。その他にもHerokuの要件を満たす必要があるので、以下のコードを追加します。

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--no-sandbox")

またローカルで動かす場合はdriverのパスを直接指定してやればよかったですが、Herokuでは環境変数を指定しておき、あとでHerokuの方でHerokuサーバー内の具体的なパスを指定します。

chrome_options.binary_location = os.environ.get("GOOGLE_CHROME_BIN")
driver = webdriver.Chrome(executable_path=os.environ.get("CHROMEDRIVER_PATH"), chrome_options=chrome_options)

os.environを使用していますので、必要なパッケージもインポートし、最終的なコードは以下のようになります。

from selenium import webdriver
import os
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--no-sandbox")
chrome_options.binary_location = os.environ.get("GOOGLE_CHROME_BIN")
driver = webdriver.Chrome(executable_path=os.environ.get("CHROMEDRIVER_PATH"), chrome_options=chrome_options)
driver.get("https://codelabsjp.net")
print(driver.page_source)
driver.quit()
print("完了")

Heroku側の設定

上記コード及び必要ファイルをHerokuにデプロイしたらHeroku側でSeleniumの動作に必要な設定をします。なおchrome.driverなどのドライバはHerokuサーバーに既にありますので、アップロードする必要はありません。

環境変数の設定

chrome_options.binary_location = os.environ.get("GOOGLE_CHROME_BIN")
driver = webdriver.Chrome(executable_path=os.environ.get("CHROMEDRIVER_PATH"),

上記コードで環境変数を設定していたので、環境変数に値を設定します。

Herokuで作成したアプリのSettingsにいき、Config VarsのReveal Config varsをクリックしてください。
そしたら以下のように設定します。（黒枠は無視してください。）

Key	Value
CHROMEDRIVER_PATH	/app/.chromedriver/bin/chromedriver
GOOGLE_CHROME_BIN	/app/.apt/usr/bin/google-chrome

KeyとValueの組み合わせは上記の通りです。コピーしてご利用ください。

Buildpacksの追加

引き続きSettingsを見るとConfig Varsの少し下にBuildpacksがあると思います。

Add buildpacksをクリックして以下のBuildpacksを追加してください。

heroku/python
https://github.com/heroku/heroku-buildpack-google-chrome
https://github.com/heroku/heroku-buildpack-chromedriver

デプロイする

以上でSeleniumを動かすための設定は完了です。

あとは通常通り、デプロイすればSelneiumが動きます。Herokuへのデプロイ方法についての詳しい説明はここでは行っていないので、わからない方はSelenium python デプロイ等で調べてください。

Python等で作成したLINE botを本番環境で動かしたいと思ったらサーバーにデプロイする必要があります。一番最初に選択肢にあがるのがHerokuだと思います。Herokuは2022年11月に無料枠を廃止したことで利用者はだいぶ減少したと言われていますが、それでも比較的安価なサーバーとして利用しやすいのも事実です。

また世界中のユーザーが利用しているので、フォーラムが充実しており、なにか問題があったときに比較的解決しやすいのもメリットです。

今回はそんなHerokuサーバーに自作したLINE botをデプロイ（アップロード）する手順を解説します。

LINE botの作り方については以下の記事で解説しておりますので、気になる方はどうぞ。

【LINEｘPython】初心者でもカンタン！LINE botを作成しよう

requirements.txtおよびProcfileの作成

この記事では以下のようなLINE botのソースコードがすでに完成している前提で進めていきます。

# app.py
from flask import Flask, request, abort

from linebot import (
    LineBotApi, WebhookHandler
)
from linebot.exceptions import (
    InvalidSignatureError
)
from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage,
)
from scrape import get_url
app = Flask(__name__)

line_bot_api = LineBotApi('アクセストークン')
handler = WebhookHandler('チャネルシークレット')


@app.route("/callback", methods=['POST'])
def callback():
    # get X-Line-Signature header value
    signature = request.headers['X-Line-Signature']

    # get request body as text
    body = request.get_data(as_text=True)
    app.logger.info("Request body: " + body)

    # handle webhook body
    try:
        handler.handle(body, signature)
    except InvalidSignatureError:
        print("Invalid signature. Please check your channel access token/channel secret.")
        abort(400)

    return 'OK'

@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
            event.reply_token,
            TextSendMessage(text=event.message.text))
        


if __name__ == "__main__":
    app.run()

Pythonで作られたLINE botは基本的にFlaskを利用しているので、HerokuでFlaskを実行させるためのgunicornというライブラリをインストールします。

pip install gunicorn

これまでにインストールしたライブラリをHerokuにデプロイした際にもインストールするように伝えるためのrequirements.txtを作成します。

pip freeze > requirements.txt

aiohttp==3.8.3
aiosignal==1.3.1
async-generator==1.10
async-timeout==4.0.2
attrs==22.2.0
certifi==2022.12.7
cffi==1.15.1
charset-normalizer==2.1.1
...
...

上記のようなファイルが出来上がるはずです。

続いて、app.py（メインのソースコード）と同じ階層にProcfileという名前のファイルを新規作成してください。

ProcfileはHerokuにデプロイした際に最初に実行する内容を指示するためのファイルです。先程インストールしたgunicornを用いてapp.pyを実行させたいので、以下のコードをコピペしてください。

web: gunicorn app:app

半角スペースが全角になっていたり、改行が入ったりするとエラーが発生するので、上のコードをそのまま貼り付けてください。

以上で下準備は完了です。

Herokuでの作業

https://www.heroku.comよりサインアップを済ませ、ログインしてください。

ログイン後、ダッシュボードにいくとNEW > Create new appというボタンがありますので、クリックして新規アプリを作成してください。

なんでも良いのでアプリ名を決めて、Create appをクリックします。名前は固有のものないといけないので、availableと表示されていることを確認してください。regionに関してはUnited Statesのままで問題ありません。

The Heroku CLI | Heroku Dev CenterよりHeroku CLIをダウンロード・インストールしてください。

macの場合は上記コマンド、Windowsの場合はインストーラーをダウンロードして実行します。

heroku --version

インストールが完了したら上記コマンドを実行し、下画像のようにバージョンが表示されれば正常にインストールされています。

インストールしたらターミナルからherokuにログインします。下記のコマンドを実行してください。

heroku login

実行後、なんでもいいのでキーを押すように求められるので、エンターキーなどを押すとログインするためにブラウザが起動しますので、通常通りログインしてください。

ログインが完了するとターミナルにログインが完了した旨が表示されるので、cdコマンドを利用してapp.pyがあるディレクトリまで移動してください。

cd my-project/

移動したら下記のコマンドで下記コマンドを順番に実行してください。

git init

heroku git:remote -a your-app-name

your-app-nameは最初に登録したアプリ名に置き換えてください。私の場合は以下のようになります。

heroku git:remote -a my-first-line-bot

引き続き以下のコマンドを実行してください。

git add .

git commit -am "make it better"

git push heroku master

以上でデプロイは完了です。

デプロイが完了したらLINE botのwebhook URLの設定を変更するのを忘れないようにしましょう。

問題なくデプロイが完了していればherokuのアプリ管理画面に以下のように表示されているはずです。

デフォルトではデプロイが完了しただけではアプリは実行されていないのでconfigure DynosをクリックしてDynosをONにしましょう。

以上で完了です。お疲れ様でした。

LINE botが正常に動くか確認してみてください。動かない場合はWebhook URLの変更を忘れているか、DynosがONになっていない可能性があります。

デプロイ時にエラーが出ている人はrequirements.txtかProcfileが正しく作成できていない可能性が高いですのでもう一度確認してみてください。

まとめ

HerokuにFlaskアプリ（LINE botなど）をデプロイするには

gunicornのインストール
requirements.txtの作成
Procfileの作成

をしてから、サーバーにアップロードします。最初はそれぞれのファイルやコマンドがなんの意味を持つのか知る必要はありません。とりあえず必要な手順として従いましょう。Webアプリを開発していくうちに嫌でもコマンドの意味やそれぞれのファイルの意味が自然と身についていくはずです。

今回はLINE botのデプロイというタイトルで解説しましたが、基本的に一連の流れはどのようなアプリでも変わりません。Procfileの中身や必要なライブラリが少し変わる程度です。

よく企業の公式アカウントである自動応答LINE botですが、実は個人でも意外と簡単に作ることができちゃいます。また個人で利用するくらいであればお金も一切かからずに楽しむことができるので、Pythonの基礎を一通り勉強した人には次のステップとしてオススメです。

この記事ではPython初心者でもわかるようにLINE botの作成手順を説明していきます。
自動応答botではなく、ある特定の条件になったらLINE通知を送ることができるLINE notifyというものもありますが、それについては以下の記事で紹介していますので、気になる方は参考にしてみてください。

【Python】LINE Notifyを活用してお気に入りのサイトの更新をLINEで自動通知させよう！

まずはLINE Developersに登録

LINE Developersに飛んでLINE Notifyに登録しましょう。

登録はLINEアカウントを持っていれば誰でも無料でできます。

すでにLINEアカウントを持っている方は右上のログインからログインしてください。

チャネルを作成する

ログインすると、以下のようなコンソール画面が表示されます。

サービスを提供し、利用者の情報を取得する個人の開発者、企業、または組織の名称を表すプロバイダーというものを作成する必要があります。個人の開発者であれば名称はなんでも構いませんので、お好きな名前のプロバイダーを作成ボタンから作成してください。

プロバイダーを作成するとプロバイダーごとの設定画面が表示されます。

LINE botはMessaging APIというLINEが提供しているAPIを利用することによって実装できますので、チャネル設定からMessaging APIをクリックしてください。

チャネル作成について必要な情報の入力が求められますので、必須項目を入力してください。アイコンやチャネル名は後から変更できますので、気軽に決めていただいて問題ありません。チャネルの説明にはBotが具体的に何をするのかについての説明を入力します。

大業種・小業種は必須項目ですが何かBotに影響を与えるものではないので、適当でも構いません。
プライバシーポリシーURLとサービス利用規約URLがある方は入力しますが、任意ですので特にない方はスキップできます。

必須項目の入力が完了したら利用規約に同意するを選択して作成を完了させます。

チャネルシークレットとアクセストークンを取得する

チャネルの作成が完了するとチャネル設定画面が表示されます。チャネル基本設定タブを下の方にスクロールしていくとチャネルシークレットが表示されています。後で使いますので、メモ帳などにコピーして保存しておいてください。

続いて、上に戻るとMessaging API設定というタブがありますので、クリックして下までスクロールするとチャネルアクセストークンがあります。「発行」ボタンをクリックして発行してください。

こちらもメモ帳などにコピーして保存しておきましょう。

webhookをオンにする

LINE botではユーザーがBotに対してメッセージを送ったときにwebhookURLというものに対してwebhookイベントを送ることで何かしらの処理をします。

簡単にいうと「～さんがこういうメッセージを送信したよー」ということを指定したサーバー(webhookURL)に伝えて、サーバーでは私たちがこれから作成するPythonコードの内容が処理されて、その結果がユーザーに返されるという仕組みです。普通のwebサイトと同じような仕組みですね。完璧に理解する必要はありませんが、そういうものなんだ程度に抑えておいてください。

webhookURLについては後で作成します。

先ほど取得したチャネルアクセストークンの少し上に応答メッセージの欄があります。

右端の編集をクリックしてください。
応答機能のwebhookがデフォルトではオフになっていると思いますので、こちらをクリックしてオンにしてください。応答メッセージはオフにしてください。設定を変更すると自動で変更内容が保存されますので、そのページは閉じていただいて大丈夫です。

（上画像では応答メッセージがオンなっていますが、オフで大丈夫です）

Pythonコードを作成する

いよいよBotの応答内容を支持するPythonコードを作成していきます。

作業用のフォルダを作成し、コードエディターで作業用フォルダを開いてください。名前はなんでも構いませんが、今回はLINE_botというフォルダにしています。

まずは仮想環境を作成します。Python3では標準で仮想環境作成用モジュールがインストールされていますので、ターミナルで以下のコマンドを実行してください。

python -m virtualenv env

続いて以下のコマンドで作成した仮想環境を有効にします。

./env/Scripts/activate.ps1

envという仮想環境名がコマンドラインの先頭に表示されていれば、正常に仮想環境が有効になっています。

必要なパッケージをインストールします。

LINE Bot SDK

pip install line-bot-sdk

flask

pip install flask

main.pyを作成し、以下のコードをコピペしてください。

from flask import Flask, request, abort

from linebot import (
    LineBotApi, WebhookHandler
)
from linebot.exceptions import (
    InvalidSignatureError
)
from linebot.models import (
    MessageEvent, TextMessage, TextSendMessage,
)

app = Flask(__name__)

line_bot_api = LineBotApi('アクセストークン')
handler = WebhookHandler('チャネルシークレット')


@app.route("/callback", methods=['POST'])
def callback():
    # get X-Line-Signature header value
    signature = request.headers['X-Line-Signature']

    # get request body as text
    body = request.get_data(as_text=True)
    app.logger.info("Request body: " + body)

    # handle webhook body
    try:
        handler.handle(body, signature)
    except InvalidSignatureError:
        print("Invalid signature. Please check your channel access token/channel secret.")
        abort(400)

    return 'OK'


@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
        event.reply_token,
        TextSendMessage(text=event.message.text))


if __name__ == "__main__":
    app.run()

アクセストークンとチャネルシークレットの部分に先ほど保存したアクセストークンとチャネルシークレットをペーストしてください。

Pythonコードはこれで完了ですが、先ほど説明したwebhook URLというLINEからユーザーのデータを送るためのURLがないので、これを作成するためにngrokというツールを利用してURLを作成します。

ngrokをダウンロードする

ngrokはhttp://127.0.0.1:5000といったローカルサーバーをグローバルなURLに変換するためのツールです。無料で利用できますので、以下のURLから自分のOSに合った方法でngrokをダウンロードしてください。

ngrok – download

Windowsの場合はzipファイルをダウンロードして解凍します。でてきたngrok.exeを作業用フォルダにコピーしてください
macの場合もほぼ同様の作業でダウンロードしたzipファイルを解凍後、でてきたファイルを作業用フォルダにコピーしてください。

ngrokを使用するためにもトークンが必要になりますので、ngrok – sing upからngrokに登録します。

登録が完了したらログインして、ダッシュボードのGetting started→Your Authtokenをクリックしてください。以下の画面にトークンが表示されます。

以下のコマンドを実行し、取得したトークンを登録します。Your-Authtokenの部分は取得したAuthtokenに置き換えてください。

ngrok config add-authtoken Your-Authtoken

これでngrokの設定が完了したので、main.pyを実行してください。

ここで表示されているhttp://127.0.0.1:5000というローカルサーバーでflaskアプリが起動しましたので、これをngrokを使ってグローバルなURLに変換します。

flaskはこのまま動作した状態にしたいので、もう一つ別にコンソールを開いてください。以下のコマンドを実行してください。5000の部分はポート番号とよばれるもので、http://127.0.0.1:8000の人は8000に置き換えて実行してください。

ngrok http 5000

Forwardingというところにhttp://localhost:5000に対応するURLが表示されます。

そのURLの最後に/callbackを追加してMessagin API設定のWebhook URLに貼り付けてください。

例）https://e986-2001-8004-4420-c3aa-8183-dfdc-4e2f-3d9c.au.ngrok.io/callback

またWebhookの利用も有効にしておいてください。

更新をクリック後、検証をクリックして「成功」が表示されれば設定完了です。エラーが発生した人は何かが間違っているので、上記手順を見直してみてください。ポート番号が違っているか、/callbackをつけ忘れている可能性が高いです。

これでQRコードなどから作成したLINE botを友達に追加して何かテキストを送ってみてください。

オウム返しされるはずです。これは下記の部分のコードによってオウム返しするように設定されているからです。

@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
        event.reply_token,
        TextSendMessage(text=event.message.text))

ユーザーが何かメッセージを送信すると、handle_messageが呼び出され、この関数に渡されたeventにはユーザーが送ったメッセージなどが含まれています。event.message.textがユーザーが送った内容で、その内容をそのままTextSendMessage関数に渡すことでオウム返ししています。

ですので、TextSendMessageに渡す内容を以下のように変更してみると、ユーザーが送った内容に関係なく「自動応答です」が返されるようになります。（変更を反映させるには一度flaskアプリを再起動する必要があるので、flaskを実行しているコンソール上でCtrl+Cをおして終了してから、再度main.pyを実行してください。）

@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    line_bot_api.reply_message(
        event.reply_token,
        TextSendMessage(text="自動応答です"))

あとはこのTextSendMessageの内容をif文などで分岐させてあげればユーザーが送った内容に対応して応答メッセージを変更させることができます。

例えばユーザーが「現在時刻」と送った場合に時間を返したい場合、

import datetime
@handler.add(MessageEvent, message=TextMessage)
def handle_message(event):
    if event.message.text == '現在時刻':
        reply_message = datetime.datetime.now().strftime('%Y年%m月%d日 %H:%M:%Sです')
    else:
        reply_message = "「現在時刻」と送信してください。"
    line_bot_api.reply_message(
            event.reply_token,
            TextSendMessage(text=reply_message))

とすると以下のような結果になります。

if文でevent.message.text（ユーザーが送った内容）が「現在時刻」かを確認し、そうである場合には現在時刻を、そうでない場合は定型文で返すようにしています。

あとはあなたのアイデア次第でどんなBotでも作成できます。

まとめ

いかがでしたか？今回はLINE Messaging APIを使ってLINE botを作成する方法について解説しました。

Webhookなど、少しサーバー関連の小難しい話もありましたが、手順に従えばカンタンに実装できてしまいます。TextSendMessage()関数の中身を変更することで、応答内容を変更することができます。

ぜひあなたのアイデアで面白いBotを作成してみてください！

サイトのスクレイピングはBeautifulSoupやSeleniumといったライブラリを利用して行うことができますが、中には簡単にはスクレイピングできないようなサイトもあります。

例えばJavascriptで制御されているサイト、いわゆる動的なサイトはブラウザでサイトが開かれた後にJavascriptが実行され、そこではじめてHTMLが生成・描写されるためBeatifulSoupでは取得できません。React.jsやAngular.js、JQueryといったフレームワークを利用して作られたサイトなど、Javascriptで制御されているサイトは数多くあり、増加傾向にあります。

Seleniumでブラウザを開き、ゴリゴリにやっていくことも不可能ではありませんが、いまいち動作が安定しないのと、何かと不具合が多いのでこちらも簡単ではありません。

今回はBeautifulSoupよりもシンプルに、Seleniumよりも安定してJavascriptでレンダリングされるサイトをスクレイピングできるAPIを発見したので紹介したいと思います。

その名はScrapingBee

ScrapingBeeではJavascriptで制御されたページで何かしらの操作（クリックやスクロールなど）をした後しか表示されないような内容まで簡単にスクレイピングすることができます。以下ではScrapingBeeの使い方を解説していきます。

APIキーを取得

まずはScrapingBeeを利用するためにAPIキーが必要ですので、公式サイトから取得します。

リンクをクリックすると上のような画面が表示されると思いますので、Try ScrapingBee for Freeをクリックしてください。

その後、メールアドレスまたはGoogleアカウントまたはGithubアカウントで登録するかを選べますので、お好きな方法で登録してください。

登録が完了したら以下のダッシュボード画面が表示されると思います。（されない場合はもう一度トップページがTry ScrapingBee for Freeをクリックするとダッシュボードに飛びます）

右上にYour API Keyセクションがあるので、CopyをクリックしてAPIキーを保存しておいてください。

Pythonコードを書く

ScrapingBeeライブラリを利用しますので、以下のコマンドでインストールします。

pip install scrapingbee

from scrapingbee import ScrapingBeeClient

client =　ScrapingBeeClient(api_key='YOUR-API-KEY')

response = client.get("YOUR-URL")


print('Response HTTP Response Body: ', response.content)

Pythonコードは上記のたった4行です。

以下のような結果が返ってきます。

<html>
  <head>
     ...
  </head>
  <body>
     <content>
     </content>
     <content>
     </content>
     <content>
     </content>
      <content>
     </content>
     <content>
     </content>
  </body>
</html>

ScrapingBeeClientオブジェクトを自分のAPIキーで作成したらgetメソッドにスクレイピングしたいサイトのURLを渡すだけです。getメソッドにparamsに辞書型のパラメーターを渡すことで様々な動作を指定することができます。下のrender_jsというパラメーターはデフォルトではTrueになっており、これによりJavascriptで描写されるサイトでもスクレイピングできるようになっています。

response = client.get('YOUR-URL',
    params = { 
        'render_js': 'False',
    }
)

render_jsをFalseにした場合の結果は以下のようになります。

<html>
  <head>
  ..
  </head>
  <body>
  </body>
</html>

Javascriptが描写されない状態で取得しているので、bodyタグの中身が空になってしまっています。

クリックやスクロールをさせてスクレイピングする

ScrapingBeeAPIはスクレイピングしたいサイトに対して何かしらのアクションをさせなければいけない場合でもパラメーターにjs_scenarioを渡すことによって実際のブラウザを操作しているかのような挙動を実現できます。

たとえばページ内のあるボタンをクリックしないと表示されないデータがある場合、そのボタンをクリックさせなければいけません。その場合、以下のコードで実現できます。


from scrapingbee import ScrapingBeeClient

client = ScrapingBeeClient(api_key='YOUR-API-KEY')

response = client.get('YOUR-URL',
    params = { 
        'js_scenario': '{"instructions": [{"click": "#buttonId"}]}',
    }
)

print('Response HTTP Status Code: ', response.status_code)
print('Response HTTP Response Body: ', response.content)

js_scenario’: ‘{“instructions”: [{“click”: “#buttonId”}]}の#buttonId部分にクリックしたいボタンのIDを指定するだけです。

便利なものとして以下のようなものがあります。他にもありますので、もっと知りたい方は公式ドキュメントを参考にしてください。

{"click": "#button_id"} # 要素をクリックさせる
{"wait": 1000} # 指定した時間（ミリ秒）待機
{"wait_for": "#slow_div"} # CSSで指定された要素が描写されるまで待機
{"wait_for_and_click": "#slow_div"} # CSSで指定された要素が描写されるまで待機し、その後要素をクリック
{"scroll_x": 1000} # 指定したpx分水平方向にスクロール
{"scroll_y": 1000} # 指定したpx分垂直方向にスクロール
{"fill": ["#input_1", "value_1"]} # input_1のIDを持つ要素に"value_1"を入力
{"evaluate": "console.log('toto')" # 指定したJavascriptコードを実行

javascriptで描写されるサイトの中には要素が描写されるまで時間がかかるものもあり、描写が終わる前にスクレイピングしてしまうと中身が取得できていないことも多々あります。秒数指定でもいいのですが、描写までどれくらいかかるかわからないので安定しませんし、だからといって長く待ちすぎるのも嫌なので、wait_forはかなり便利です。秒数指定ではなく要素指定なので、その要素が描写されてから確実にスクレイピングしてくれます。

その他にも便利な機能がたくさんあるので、スクレイピングを極めたいならScrapingBeeは利用しない手はないでしょう。

具体的なユースケース　＃10月16日追記

ScrapingBeeのより具体的なユースケースやメリットを紹介してほしいという声を多くいただきましたので、紹介させていただきます。以下ではPythonでスクレイピングする場合を想定してサンプルコードの解説をしていきます。

①一般的なウェブスクレイピング

ScrapingBeeのAPIはECサイトの価格を監視する際や不動産・物件情報のスクレイピングなど、一般的なスクレイピングタスクをこなすのにも最適です。スクレイピングが難しいようなサイトでもブロックされずに情報を取得することができます。

②データ抽出

実際に私がScrapingBeeを使う場面で最も多いのがこのデータ抽出です。ScraipingBeeのAPIはデータ抽出をするのに非常に適していて、かなりカンタンに特定のサイトの必要な情報を抽出することができます。なんといっても強力なのが自動HTMLパース機能で、めんどうな整形処理を行わずにJson形式などでデータを抽出することができます。

例えばScraipingBee公式ブログのタイトル・サブタイトル・記事一覧を取得したい場合は次のようなコードで簡潔に記すことができます。

# pip install scrapingbee

from scrapingbee import ScrapingBeeClient

client = ScrapingBeeClient(api_key='YOUR-API-KEY')
response = client.get(
    'https://www.scrapingbee.com/blog',
    params={
        'extract_rules':{
            "title" : "h1",
            "subtitle" : "#subtitle",
            "articles": {
                "selector": ".card",
                "type": "list",
                "output": {
                    "title": ".post-title",
                    "link": ".post-title@href",
                    "description": ".post-description"
                }
            }
        },
    },
)
print('Response HTTP Status Code: ', response.status_code)
print('Response HTTP Response Body: ', response.json())

# ----------結果--------------

Response HTTP Status Code: 200

{
  "title": "The ScrapingBee Blog",
  "subtitle": " We help you get better at web-scraping: detailed tutorial, case studies and writing by industry experts",
  "articles": [
    {
      "title": "  Block ressources with Puppeteer - (5min)",
      "link": "https://www.scrapingbee.com/blog/block-requests-puppeteer/",
      "description": "This article will show you how to intercept and block requests with Puppeteer using the request interception API and the puppeteer extra plugin."
    },
    ...
    {
      "title": "  Web Scraping vs Web Crawling: Ultimate Guide - (10min)",
      "link": "https://www.scrapingbee.com/blog/scraping-vs-crawling/",
      "description": "What is the difference between web scraping and web crawling? That's exactly what we will discover in this article, and the different tools you can use."
    },
  ]
}

paramsの’extract_rules’に取得したいデータを辞書形式で指定します。サンプルコードではタイトルはシンプルにh1タグで指定、サブタイトルはidがsubtitleの要素を指定、複数ある記事はCSSセレクターと”type”:”list”で指定した後に”output”に記事のタイトル、リンク、詳細をそれぞれクラス名で指定して取得しています。@hrefとすることで、要素の指定した属性の値を取得することができます。

視覚的にもかなりわかりやすいコードだと思います。

スクリーンショットを撮りたい場合

スクレイピングするサイトのスクリーンショットを撮りたい場合などもあるかと思います。

ScrapingBeeのAPIを利用することで超簡単にスクリーンショットをとることもできちゃいます。


# pip install scrapingbee

client = ScrapingBeeClient(api_key='YOUR-API-KEY')

response = client.get(
    'YOUR-URL',
    params={
        'screenshot': True,
    }
)

if response.ok:
    with open("./screenshot.png", "wb") as f:
        f.write(response.content)

ScrapingBee APIでスクリーンショットを撮る方法はparamsに’screenshot’: Trueを渡してあげるだけです。スクリーンショットが格納されたresponseを上のサンプルコードのようにすることで画像を保存することができます。

スクリーンショットはrender_js=Trueになっている場合のみ撮ることができます。Javascriptでレンダリングされるサイトもレンダリング後にスクリーンショットを撮れるようにするためです。

またScrapingBeeにはスクレイピングを高速化するためのオプションの一つとしてblock_resourcesがありますが、これは画像などスクレイピングに必要ない情報のレンダリングを無視することで高速化をはかるものですが、screenshot=Trueにした場合は当然ですがこちらのオプションは自動的にFalseになります。

Googleの検索結果のスクレイピング

様々な理由でGoogleの検索結果の内容をスクレイピングしたい方は多いと思います。実際にエンジニアとして働いていると、検索結果の内容をスクレイピングしてほしいという依頼をよくいただきます。

が、Googleの検索結果のスクレイピングは非常に難しく、通常のアプローチではすぐにロボット判定されてブロックされてしまいます。

ScrapingBeeではGoogle Search APIというまさにGoogle検索結果を取得するため専用のAPIが用意されているので、高度な技術を必要とせずに簡単に検索結果を取得できてしまいます。

オーガニック検索結果や広告情報、ローカル情報、Google Mapの情報、関連したクエリなど、さまざまな情報の取得に対応しているので、非常に使い勝手がいいかと思います。

# `pip install requests`
import requests

def send_request():
    response = requests.get(
        url="https://app.scrapingbee.com/api/v1/store/google",
        params={
            "api_key": "YOUR-API-KEY",
            "search": "pizza new-york",
        },

    )
    print('Response HTTP Status Code: ', response.status_code)
    print('Response HTTP Response Body: ', response.content)
send_request()

コードは上記のようにかなりシンプル。

paramsに自分のAPIキーと検索したいワードを渡すだけです。

「pizza new-york」で検索した場合の結果は以下のようになります。

{
  "bottom_ads": [],
  "knowledge_graph": {},
  "local_results": [
    {
      "position": 1,
      "review": 4.6,
      "review_count": 62,
      "title": "NY Pizza Suprema"
    },
    ...
  ],
  "meta_data": {
    "location": null,
    "number_of_ads": 0,
    "number_of_organic_results": 20,
    "number_of_page": 363000000,
    "number_of_results": 363000000,
    "url": "https://www.google.com/search?q=pizza+new+york&hl=en&num=20"
  },
  "organic_results": [
    {
      "date": null,
      "date_utc": null,
      "description": null,
      "displayed_url": "https://www.tripadvisor.com › ... › New York City",
      "domain": "www.tripadvisor.com",
      "position": 1,
      "rich_snippet": {},
      "sitelinks": [],
      "title": "THE 10 BEST Pizza Places in New York City (Updated 2023)",
      "url": "https://www.tripadvisor.com/Restaurants-g60763-c31-New_York_City_New_York.html"
    },
    {
      "date": null,
      "date_utc": null,
      "description": "New York–style pizza is pizza made with a characteristically large hand-tossed thin crust, often sold in wide slices to go. The crust is thick and crisp ...",
      "displayed_url": "https://en.wikipedia.org › wiki › New_York–style_pizza",
      "domain": "en.wikipedia.org",
      "position": 2,
      "rich_snippet": {
        "top": {
          "attributes": [
            {
              "name": "Main ingredients",
              "value": "Pizza dough, tomato sauce‎, ...‎"
            },
            {
              "name": "Region or state",
              "value": "New York City, ‎New York‎"
            }
          ],
          "attributes_flat": "Main ingredients: Pizza dough, tomato sauce‎, ...‎, Region or state: New York City, ‎New York‎",
          "detected_extensions": {}
        }
      },
      "sitelinks": [],
      "title": "New York–style pizza",
      "url": "https://en.wikipedia.org/wiki/New_York%E2%80%93style_pizza"
    },
    ...
  ],
  "questions": [
    {
      "answer": "New York-style pizza has slices that are large and wide with a thin crust that is foldable yet crispy. It is traditionally topped with tomato sauce and mozzarella cheese, with any extra toppings placed on top of the cheese. Pizza without additional toppings is called “plain,” “regular,” or “cheese.”",
      "position": null,
      "text": "What pizza is New York famous for?"
    },
    ...
  ],
  "related_queries": [
    {
      "position": 0,
      "title": "best pizza in new york manhattan",
      "url": "https://www.google.com/search?num=20&hl=en&q=Best+pizza+in+New+York+Manhattan&sa=X&ved=2ahUKEwjctLPoq4uAAxWUmWoFHRs4DmgQ1QJ6BAgxEAE"
    },
    ...
  ],
  "related_searches": [
    {
      "link": "https://www.google.com/search?num=20&hl=en&q=Best+pizza+in+New+York+Manhattan&sa=X&ved=2ahUKEwjctLPoq4uAAxWUmWoFHRs4DmgQ1QJ6BAgxEAE",
      "position": 0,
      "query": "best pizza in new york manhattan",
      "type": "standard"
    },
    ...
  ],
  "top_ads": [
    {
      "description": "Cheap UK Pizza: Compare pizza in the UK",
      "domain": "uk-go-pizza.com",
      "position": 1,
      "sitelinks": [],
      "snippet": null,
      "title": "Compare UK Pizza - Pizza - UK Pizza",
      "tracking_url": "https://www.google.com/aclk?sa=l&ai=DChcSEwjU1qrRrYuAAxUVn1oFHdLZBI8YABAAGgJ2dQ&ae=2&sig=AOD64_3CFgH0bQFdqiC1kwZfEpVChxRd4g&q&adurl",
      "url": "https://uk-go.com/home-insurance/",
      "visual_url": "uk-go.com"
    }
  ],
  "bottom_ads": [
    {
      "description": "Cheap UK Pizza: Compare pizza in the UK",
      "domain": "uk-go-pizza.com",
      "position": 1,
      "sitelinks": [],
      "snippet": null,
      "title": "Compare UK Pizza - Pizza - UK Pizza",
      "tracking_url": "https://www.google.com/aclk?sa=l&ai=DChcSEwjU1qrRrYuAAxUVn1oFHdLZBI8YABAAGgJ2dQ&ae=2&sig=AOD64_3CFgH0bQFdqiC1kwZfEpVChxRd4g&q&adurl",
      "url": "https://uk-go.com/home-insurance/",
      "visual_url": "uk-go.com"
    }
  ],
  "top_stories": [
    {
      "date": "2023-07-12T13:25:12.298Z",
      "link": "https://www.grubstreet.com/2023/07/the-best-of-the-year-i-ate-ny-so-far.html",
      "position": 2,
      "source": "Grub Street",
      "title": "The Best of NYC Eating in 2023 (So Far)"
    }
   ],
   "news_results": [
    {
      "date": "2023-07-11T09:23:18.283Z",
      "domain": "www.cnbc.com",
      "link": "https://www.cnbc.com/2023/07/10/pizza-delivery-driver-why-tipping-is-crucial.html",
      "position": 1,
      "snippet": "No week of pay is the same for pizza delivery driver Brendan Madden of Lincroft, New Jersey, because \"not everyone tips fairly.\"",
      "source": "CNBC",
      "title": "Tipping is 'not a sustainable system,' says 25-year-old pizza delivery driver: My income 'relies on the goodwill of others'"
    }
  ],
   "map_results": [
     {
      "address": "New York, NY",
      "category": "pizza",
      "link": "https://www.google.com/aclk?sa=l&ai=DChcSEwiH9968tNmBAxWrNa0GHQPvDw4YABAAGgJwdg&gclid=EAIaIQobChMIh_fevLTZgQMVqzWtBh0D7w8OEBAYAiAAEgJekvD_BwE&sig=AOD64_32J9Tmh5PKoq6WWVAXNhjXb9jvqA&q=&ctype=99&ved=2ahUKEwjgzNe8tNmBAxVxHDQIHUznDkAQhKwBegQIGxAZ&adurl=",
      "phone": "(212) 831-0300",
      "position": 2,
      "price": "$",
      "rating": "4.7",
      "reviews": 2301,
      "title": "Domino's Pizza"
    }
   ]
}

map_resultsにはGoogle Mapに表示される情報なども格納されています。

個人であれ、企業であれGoogleでの検索結果をリスト化して利用したいケースは多々あると思います。

実際CrowdWorks等のクラウドソーシングサービスでも「Google検索結果を取得するプログラム」を開発してほしいといった依頼を度々見かけます。

たった一回の検索結果であればSeleniumなどを用いてスクレイピングすることはそう難しくないけど、それであればわざわざプログラム化する必要はなく、実際には何千、何万件といったデータを取得したい場合が多いと思います。しかしGoogleはスクレイピング対策がかなり厳しく、少しでも機械的な挙動を検知するとreCAPTCHAが表示されたり、アクセス制限をくらったりとなかなかうまくいかない。

そんなこんなでどうしたらいいものかと調べていたところ、この悩みをたった数行で解決してくれる超優秀なAPIが見つかったので使い方を紹介しようと思います。

その超優秀なAPIとはScraipingBee

以下ではScrapingBeeを用いてGoogleの検索結果を取得する方法を解説していきます。

APIキーを取得

まずはScrapingBeeを利用するためにAPIキーが必要ですので、公式サイトから取得します。

リンクをクリックすると上のような画面が表示されると思いますので、Try ScrapingBee for Freeをクリックしてください。

その後、メールアドレスまたはGoogleアカウントまたはGithubアカウントで登録するかを選べますので、お好きな方法で登録してください。

右上にYour API Keyセクションがあるので、CopyをクリックしてAPIキーを保存しておいてください。