DB

MySQL5.7における全文検索の実装方法について

@optimal-sdw.com — Tue, 11 Feb 2020 13:05:57 +0000

MySQL5.7における全文検索の実装方法について @optimal-sdw.com 2020/02/11(火) - 22:05

更新日時

2020/04/12(日) - 22:30

以前、MySQLのデータベースエンジンであるInnoDBの全文検索を導入するために、MySQL5.6から5.7へバージョンアップしたのですが、InnoDBにおける全文検索は思ったほどのパフォーマンスは得られず、全文検索に特化したMroongaエンジンを利用することにしました。

本記事ではInnoDBおよびMroongaの両方について紹介致します。

※ おすすめはMroongaです。

全文検索とは簡単にイメージを掴んで頂くと、Google検索のようなキーワードによるデータ検索機能です。

例えば、会社でPCを貸与してもらうとき、交通費などの精算を行うときなど、何か所属部署の上長に許可を頂く際は申請書を提出すると思います。ほとんどの会社では紙での申請ではなく、システム上で申請する会社が多いと思います。

このようなシステムにおいては、自分自身が登録した申請書や、自分が承認しなければならない申請書を検索したり、〇〇申請書やXX申請書といった申請書種類で検索したりなど、目的のデータを発見するために検索機能が備わっています。

※ 業務アプリケーションだけではなく、Amazonなどのショッピングサイトやゲームにおいても商品(アイテム)検索があるように、システム開発では必ずと言っていいほど検索機能に触れることになります。

しかしながら、業務系アプリケーションの検索機能はしばしば検索項目が多くなりがちで、例えば申請中、〇〇承認者承認待ち、XX承認者承認待ちなどといったステータスでの検索、申請書に振られる申請書番号や申請書のタイトルでの検索、申請書作成者の氏名や社員番号での検索などなど、個々の項目ごとに検索ワードを入力することが多いです。

【検索条件の項目が多い画面例】

上記のイメージのように検索項目が画面の半分近くを占め、検索結果が画面の半分にしか表示されない、よく使われる検索項目は1つ2つのみで他の項目はほとんど使われないなど、使い勝手が良くないことがほとんどです。

このような課題を解決する一つの手法として登場するのが全文検索になります。全文検索を用いることで、登録データの複数項目に対し、Google検索のような一つのキーワード入力で検索することが可能になります。

※ 特定項目のみにキーワードをヒットさせたい(他の項目のあいまい検索にヒットした結果を排除したい)というユーザ要望によってこのような画面になりがちです。その場合は詳細検索欄を設けて通常は折り畳み表示(意識的に開かない限り表示されない)を利用したりします。

MySQLでは5.6から日本語での全文検索をサポートしておりますが、全文検索を実現するためのキーワード生成が多少面倒であり、あまり使い勝手は良くありません。

MySQL5.6から5.7へバージョンアップすると、InnoDBエンジンにおいてngramパーサを標準で利用することができます。

ngramとはキーワードを1文字、2文字、3文字といった特定のn文字へとぶつ切りにして、入力した検索キーワードが曖昧であっても部分的にヒットするようにしてくれる技術です。

ngramパーサとは全文検索に利用したいキーワード項目を自動的にngramの形に変換してインデックスを作成してくれる機能です。インデックスとはデータベースに登録されたデータを高速に検索するための索引のことです。

MySQL5.7ではFULLTEXTインデックスを全文検索用の項目に付与することで、ngramパーサによって自動的にngramに基づいたインデックスを生成してくれます。そのため、MySQL5.6では全文検索用の項目をわざわざngramの形にあうように登録してFULLTEXTインデックスを付与する必要がありましたが、MySQL5.7ではその必要が無いため全文検索の導入が非常に楽になります。

なお、Mroongaを利用する場合は、Mroongaエンジンがngramをサポートしているため、MySQL5.6のままでも特に導入の手間に違いはありません。

MySQL5.7 InnoDBエンジンにおけるmy.cnfの設定サンプル

InnoDBエンジンでngramパーサを利用する場合には、MySQLの設定ファイルであるmy.cnfにngramで分割する文字数を設定することができます。標準では2文字になっています。

利用するパラメータは「ngram_token_size」です。

ngram_token_size=2

3文字、4文字と変更したい場合は上記の設定値を変更します。

MySQL5.7 InnoDBエンジンにおける検索キーワードテーブルのサンプル

全文検索を実装する場合、検索対象のテーブルにキーワード項目を設けるよりも、対象テーブルのキー項目とキーワード項目で構成された別テーブルを用意したほうが良いと思います。

FULLTEXTインデックスはデータの追加・更新・削除といった操作による再構築時に時間がかかるとされているためです。

また、複数の項目を連結してキーワード項目は生成するため、比較的項目のサイズは大きくなり、分離されていないと検索結果の読み込み時にも時間がかかってしまいます。

例えば商品の購入履歴を全文検索する場合、購入履歴テーブルとは別にキーワードテーブルを用意します。

キーワードについては、購入履歴テーブルをもとに商品テーブルや商品の数量単位などを管理する単位テーブルなどから商品名や数量単位名等、キーワード検索の対象にしたい項目を選出し、半角スペース区切りで連結してキーワードテーブルに保存します。

-- 商品テーブル
CREATE TABLE `ITEM` (
  `ID` bigint(20) NOT NULL AUTO_INCREMENT,
  `ITEM_NUMBER` varchar(30) NOT NULL,
  `ITEM_NAME` varchar(100) NOT NULL,
  `UNIT_CODE` varchar(10) DEFAULT NULL,
  `UNIT_PRICE` decimal(15,0) DEFAULT NULL,
  `TAX_CODE` decimal(15,0) DEFAULT NULL,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`ID`),
  KEY `idx_itm_item_number` (`ITEM_NUMBER`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 単位テーブル
CREATE TABLE `UNIT` (
  `UNIT_CODE` varchar(10) DEFAULT NULL,
  `UNIT_NAME` varchar(20) NOT NULL,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`UNIT_CODE`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- 購入履歴テーブル
CREATE TABLE `ITEM_P_HISTORY` (
  `ID` bigint(20) NOT NULL AUTO_INCREMENT,
  `USER_ID` varchar(10) NOT NULL,
  `PURCHASE_DATE` timestamp NOT NULL,
  `ITEM_NUMBER` varchar(30) NOT NULL,
  `QUANTITY` decimal(15,3) DEFAULT NULL,
  `UNIT_CODE` varchar(10) DEFAULT NULL,
  `UNIT_PRICE` decimal(15,0) DEFAULT NULL,
  `AMOUNT` decimal(15,0) DEFAULT NULL,
  `AMOUNT_TAX` decimal(15,0) DEFAULT NULL,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`ID`),
  KEY `idx_iph_item_number` (`ITEM_NUMBER`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

-- キーワードテーブル
CREATE TABLE `ITEM_P_HISTORY_KEYWORD` (
  `HISTORY_ID` bigint(20) NOT NULL,
  `HISTORY_KEYWORD` mediumtext,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`HISTORY_ID`),
  FULLTEXT KEY `idx_iphk_history_keyword` (`HISTORY_KEYWORD`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

なお、キーワードを生成する場合、例えば「R-1」のように「-」などの記号が含まれているキーワードについては記号を除去して「R 1」に変換します。全文検索の構文上、「-」や「+」といった記号に特別な意味を持つためです。

ただし、ngram_token_size=2の場合、上記のキーワード「R 1」に対し、ngram_token_sizeより短いキーワード「R」や「R*」で検索してもヒットしません。

※「R*」は前方一致検索になりますが、そもそものキーワード「R」がトークンサイズより短いためヒットしません。

そのため、どうしても「R」や「1」の1文字で検索したいといった場合には、「RR」「11」といったキーワードを足して生成しておくことで検索結果に表示されます。

MySQL5.7 InnoDBエンジンにおける検索キーワード処理サンプル

検索画面で入力されたキーワードを受け取り、SQLに渡すキーワードを生成するサンプルになります。

基本的にAND検索による絞り込みを前提にしています。

サンプルはphpコードで記載していますが、別の言語でもやることは一緒です。

サンプルコード中の正規表現における文字プロパティコードについては以下公式ページをご参考ください。

https://www.php.net/manual/ja/regexp.reference.unicode.php

【サンプル】

(1) 入力されたキーワードから記号を除去する

ngramのインデックスには「-」や「+」といった記号は含まれないため、入力されたキーワードから数字、アルファベット、アンダースコア以外の文字を除去します。また、全文検索の構文上、「-」や「+」といった記号に特別な意味を持つため、不要な文字を除去します。

(2) ngram_token_sizeに設定した文字数より短いキーワードはワイルドカード検索となるようにする

ngram_token_sizeに設定した文字数より短い文字にはヒットしないため、キーワードのヒット率を上げるためにワイルドカードを利用します。ただし、前方一致のワイルドカードのみなので、ヒットしないケースがあります。

(3) IN BOOLEAN MODEでAND検索を実施するため、キーワードの先頭に「+」を付与する

「+」を付与するとAND検索になり、何も付与しないとOR検索になります。「-」を付与するとNOTの意味になり、対象のキーワードを含んでいないものになります。

$keyword = "R-1 ドリンク"; //画面から入力されたキーワード
$searchkeyword = "";
if (isset($keyword)) {
    $words = preg_replace('/[^\p{L}\p{N}_]+/u', ' ', $keyword); // 記号を除外(+や-は利用できないため)
    $newkeyword = "";
    if (isset($words) && $words != "") {
        foreach (explode(' ', $words) as $token) {
            if (trim($token) == "") { continue; }
            $token_length = mb_strlen($token);
            if ($token_length < 2) {
                $token = $token . "*";  // ngram_token_sizeよりも短いワードは*でワイルドカード検索
            }
            $newkeyword .= "+" . $token . " ";
        }
    }
    $searchkeyword = trim($newkeyword); // 余計な前後の半角スペースを除去
}

上記サンプルでは、最終的に$searchkeywordという変数に「+R* +1* +ドリンク」というキーワードが生成されます。

発行するSQLは以下のようになります。

SELECT * FROM `ITEM_P_HISTORY`
WHERE `ID` IN (
 SELECT `HISTORY_ID` FROM `ITEM_P_HISTORY_KEYWORD` 
 WHERE MATCH(`HISTORY_KEYWORD`) AGAINST('+R* +1* +ドリンク' IN BOOLEAN MODE)
);

MySQL5.7 Mroongaエンジンのインストール方法

Mroongaエンジンのインストールにつきましては、お使いのOS環境にて手順が異なります。

詳細は公式ページを参照ください。

Mroonga インストール手順

例えばCentOS7におけるインストール方法は以下の通りです。

sudo yum install -y https://packages.groonga.org/centos/groonga-release-latest.noarch.rpm
sudo yum install -y http://repo.mysql.com/mysql-community-release-el7-7.noarch.rpm
sudo yum install -y yum-utils
sudo yum-config-manager --disable mysql56-community
sudo yum-config-manager --enable mysql57-community
sudo yum install -y --enablerepo=epel mysql57-community-mroonga
sudo systemctl start mysqld
tmp_password=$(sudo grep 'A temporary password' /var/log/mysqld.log | sed -e 's/^.*: //')
sudo mysqladmin -u root --password="${tmp_password}" password

MySQL5.7 Mroongaエンジンにおけるmy.cnfの設定サンプル

Mroongaを利用する場合はmy.cnfにトークナイザの設定を行います。

トークナイザの種類については公式チュートリアルに記載があります。

トークナイザ一覧

英数字かなをBigramで検索するにはTokenBigramSplitSymbolAlphaDigitを利用します。

[mysqld]
mroonga_default_tokenizer=TokenBigramSplitSymbolAlphaDigit

MySQL5.7 Mroongaエンジンにおけるキーワードテーブルサンプル

キーワードテーブルは基本的にInnoDBエンジンの場合と同じ構成になりますが、選択するエンジンはMroongaになります。

-- キーワードテーブル
CREATE TABLE `ITEM_P_HISTORY_KEYWORD` (
  `HISTORY_ID` bigint(20) NOT NULL,
  `HISTORY_KEYWORD` mediumtext,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`HISTORY_ID`),
  FULLTEXT KEY `idx_iphk_history_keyword` (`HISTORY_KEYWORD`)
) ENGINE=Mroonga DEFAULT CHARSET=utf8;

MySQL5.7 Mroongaエンジンにおける検索キーワードの渡し方サンプル

Mroongaを利用すると、Bigramであっても1文字以上の検索キーワードにヒットするようになります。そのため、InnoDBエンジンの際にはワイルドカードを付与しておりましたが基本的に不要になります。

$keyword = "R-1 ドリンク"; //画面から入力されたキーワード
$searchkeyword = "";
if (isset($keyword)) {
    $words = preg_replace('/[^\p{L}\p{N}_]+/u', ' ', $keyword); // 記号を除外(+や-は利用できないため)
    $newkeyword = "";
    if (isset($words) && $words != "") {
        foreach (explode(' ', $words) as $token) {
            if (trim($token) == "") { continue; }
            $newkeyword .= "+" . $token . " ";
        }
    }
    $searchkeyword = trim($newkeyword); // 余計な前後の半角スペースを除去
}

上記サンプルでは、最終的に$searchkeywordという変数に「+R +1 +ドリンク」というキーワードが生成されます。

発行するSQLは以下のようになります。

SELECT * FROM `ITEM_P_HISTORY`
WHERE `ID` IN (
 SELECT `HISTORY_ID` FROM `ITEM_P_HISTORY_KEYWORD` 
 WHERE MATCH(`HISTORY_KEYWORD`) AGAINST('+R +1 +ドリンク' IN BOOLEAN MODE)
);

MySQL5.7 InnoDBエンジンのテーブルとMroongaエンジンのテーブルは共存可能

通常のトランザクションデータ、マスタデータを保存するテーブルについてはInnoDB、キーワードテーブルはMroongaと、使用するエンジンをわけることが可能です。

Mroongaエンジンはトランザクション機能を提供しないため、業務データを保存するためのエンジンとしては不向きです。

そのため、Mroongaを利用する場合はキーワードテーブルは独立したテーブルとして定義したほうが良いと思います。

※ FULLTEXTインデックスはデータの追加・更新・削除といった操作による再構築時に時間がかかるという理由もありますが、Mroongaの場合は上記理由からしても分ける必要があります。

MySQL5.7 全文検索導入まとめ

InnoDBとMroonga両方を紹介致しましたが、正直なところInnoDBの全文検索機能を利用するメリットはあまりありません。

全文検索を導入するのであれば検索パフォーマンス、キーワードのヒット率に優れたMroongaを利用したほうが良いと思います。

(1) Mroongaをインストールする (Mroonga インストール手順)

※ CentOS7の場合は以下の通り。

sudo yum install -y https://packages.groonga.org/centos/groonga-release-latest.noarch.rpm
sudo yum install -y http://repo.mysql.com/mysql-community-release-el7-7.noarch.rpm
sudo yum install -y yum-utils
sudo yum-config-manager --disable mysql56-community
sudo yum-config-manager --enable mysql57-community
sudo yum install -y --enablerepo=epel mysql57-community-mroonga
sudo systemctl start mysqld
tmp_password=$(sudo grep 'A temporary password' /var/log/mysqld.log | sed -e 's/^.*: //')
sudo mysqladmin -u root --password="${tmp_password}" password

(2) my.cnfにトークナイザの設定を追記する (トークナイザ一覧)

[mysqld]
mroonga_default_tokenizer=TokenBigramSplitSymbolAlphaDigit

(3) FULLTEXTインデックス項目を持つMroongaエンジンのキーワードテーブルを個別に用意する

-- キーワードテーブル
CREATE TABLE `ITEM_P_HISTORY_KEYWORD` (
  `HISTORY_ID` bigint(20) NOT NULL,
  `HISTORY_KEYWORD` mediumtext,
  `INSERT_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `INSERT_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `UPDATE_DATE` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `UPDATE_USER` varchar(10) NOT NULL DEFAULT 'SYSTEM',
  `DELETE_FLG` char(1) NOT NULL DEFAULT '0',
  PRIMARY KEY (`HISTORY_ID`),
  FULLTEXT KEY `idx_iphk_history_keyword` (`HISTORY_KEYWORD`)
) ENGINE=Mroonga DEFAULT CHARSET=utf8;

(4) 画面から入力されたキーワードからは記号や前後の不要なスペースを取り除いてSQL文に代入する

$keyword = "R-1 ドリンク"; //画面から入力されたキーワード
$searchkeyword = "";
if (isset($keyword)) {
    $words = preg_replace('/[^\p{L}\p{N}_]+/u', ' ', $keyword); // 記号を除外(+や-は利用できないため)
    $newkeyword = "";
    if (isset($words) && $words != "") {
        foreach (explode(' ', $words) as $token) {
            if (trim($token) == "") { continue; }
            $newkeyword .= "+" . $token . " ";
        }
    }
    $searchkeyword = trim($newkeyword); // 余計な前後の半角スペースを除去
}

上記サンプルでは、最終的に$searchkeywordという変数に「+R +1 +ドリンク」というキーワードが生成されます。

※ BOOLEANモードで検索する

SELECT * FROM `ITEM_P_HISTORY`
WHERE `ID` IN (
 SELECT `HISTORY_ID` FROM `ITEM_P_HISTORY_KEYWORD` 
 WHERE MATCH(`HISTORY_KEYWORD`) AGAINST('+R +1 +ドリンク' IN BOOLEAN MODE)
);

以上です。

カテゴリ

Code

Blog

コメントを追加

@optimal-sdw.com — Fri, 08 Nov 2019 04:58:17 +0000

MySQL5.6から5.7へのアップグレード手順 (全文検索でngramを利用するために) @optimal-sdw.com 2019/11/08(金) - 13:58

更新日時

2019/11/08(金) - 13:58

MySQLで全文検索機能を実装しようとした場合、MySQL5.6以上から日本語の全文検索に対応しています。

しかしながら、MySQL5.6ではngram等のパーサに非対応で、FULLTEXTインデックスの利便性が悪いです。

検索精度を向上させるためには、FULLTEXTインデックスを付与したカラムに自前で工夫したキーワードを登録する必要があります。

キーワード生成の自前作成をアプリ側でやろうとするとパフォーマンスも悪く、煩雑なデータ登録ロジックになるため、ngramのパーサに対応しているMySQL5.7へバージョンアップすることにしました。

今後さらにバージョンアップを行う場合、同じ手順で実行可能とは限りませんが、ほとんど同じ手順でできるのではないかと思料しております。

※ なお、postfixでメール送信しているサーバー上で作業される際は、postfixの設定ファイルを念のため退避しておくことをお奨め致します。MySQLの削除に伴い、postfixも削除されます。

※また、cronも削除されるため、バッチ処理のスケジューリングを行っている場合も注意が必要です。

1. CentOSのバージョン確認

まずはMySQL5.7を導入するにあたり、CentOSのバージョンが6系統か7系統か確認致します。

$ cat /etc/centos-release
CentOS release 6.10 (Final)

2. yumのユーティリティツールをインストール

それからyumのユーティリティツールをインストールしておきます。後でインストールするMySQLのバージョンを5.7にするために5.6を無効化したりするのに利用します。

$ sudo yum -y install yum-utils

3. MySQLのサービス停止

現在稼働しているMySQLのサービスを停止します。サービスを停止する前に各種データベースのエクスポートを行い、データのバックアップを行っておくことを推奨いたします。

$ sudo service mysqld stop Stopping mysqld: [ OK ]

(CentOS7ではsystemctl stop mysqldでサービスを停止します。)

4. 既存のMySQLの確認

現在インストールされているMySQLのライブラリ群を確認します。これらを削除するため念のため何がインストールされていたのかメモしておきます。

$ sudo yum list installed | grep mysql
Failed to set locale, defaulting to C
compat-mysql51.x86_64 5.1.73-1.el6.remi、 @remi
mysql-community-client.x86_64 5.6.44-2.el6 @mysql56-community
mysql-community-common.x86_64 5.6.44-2.el6 @mysql56-community
mysql-community-devel.x86_64 5.6.44-2.el6 @mysql56-community
mysql-community-libs.x86_64 5.6.44-2.el6 @mysql56-community
mysql-community-release.noarch el6-5 @/mysql-community-release-el6-5.noarch
mysql-community-server.x86_64 5.6.44-2.el6 @mysql56-community
php-mysqlnd.x86_64 5.6.40-11.el6.remi @remi-php56

5. 既存のMySQLの削除

現在インストールされているMySQLのライブラリ群を削除します。MySQLのライブラリ群を削除する前に、念のため設定ファイルを退避しておくことを推奨いたします。(新しいバージョンのMySQLをインストールする際に自動でリネームされて保持されますが、念のため。対象のファイルは/etc/my.confおよび/etc/my.conf.d直下の設定ファイル)

なお、postfixも削除されるため、postfixでメール送信しているサーバー上で作業される場合は注意が必要です。MySQLと同じく念のため各種設定ファイルの複製をホームディレクトリ等に退避しておきましょう。(/etc/postfix/main.cf, /etc/postfix/master.cf, /etc/postfix/virtual)また、mysqldの停止と同様にpostfixのサービスも停止しておきましょう。

また、cronも削除されます。crontabのスケジューリング設定は残りますが、念のため退避しておきましょう。依存関係を確認しながら削除される場合は-yを指定せずに実行しましょう。

$ sudo yum -y remove mysql*

念のためmysqlに依存して削除されたライブラリを確認しておきましょう。｢yum history list｣で履歴番号を確認して、｢yum history info 履歴番号｣で詳細を確認することができます。

$ sudo yum history list | grep Erase
17 **** *****
10 **** *****
.
.
.
$ sudo yum history info 17

6. 新しいバージョンのMySQL RPMパッケージをyumへインストール

MySQLの公式サイトからCentOSのバージョンに合ったRPMパッケージをダウンロードし、yumへインストールします。

$ sudo yum -y install http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm

7. yumで利用するMySQLのバージョンを5.7に変更

yumのユーティリティツールを利用してMySQL5.6を無効にします。

$ sudo yum-config-manager --disable mysql56-community

yumのユーティリティツールを利用してMySQL5.7を有効にします。

$ sudo yum-config-manager --enable mysql57-community-dmr

8. MySQL5.7をインストール

yumのインストールコマンドを利用してMySQL5.7をインストールします。

※ postfix、cronも削除されているため、必要な方は以下のコマンドの最後に半角スペースをあけてpostfix crontabsを足してください。mysqlとpostfix、cronがインストールされます。

$ sudo yum -y install mysql mysql-devel mysql-server mysql-utilities

退避した設定ファイルから必要な記述を移し替えます。バージョンが上がっているため、設定ファイルの書き方が変わっている可能性があります。MySQLの公式サイトで各バージョンの設定ファイルを事前に確認して先に用意しておくと楽です。postfixの設定ファイルについても同様に退避した設定ファイルから必要な記述を移し替えます。virtualの設定を行っている場合はpostmap /etc/postfix/virtualなども行っておきます。

9. MySQLのサービス起動

MySQLのサービスを起動します。

$ sudo service mysqld start
Starting mysqld: [ OK ]

(CentOS7ではsystemctl start mysqldを使います。)

10. MySQL5.6のデータベースをMySQL5.7へアップグレード

MySQLのアップグレードコマンドを利用してアップグレードを行います。これによりMySQL5.6で稼働していたデータベース、テーブル、テーブルデータがMySQL5.7で利用可能になります。

$ sudo mysql_upgrade -u root -p
Enter password:
Checking if update is needed.
Checking server version.
Running queries to upgrade MySQL server.
Checking system database.

***.********  OK
***.********  OK
***.********  OK
***.********  OK
.
.
.
.
Upgrade process completed successfully.
Checking if update is needed.

データベースへアクセス可能かどうか、データは参照できるか等のチェックを行って終了です。また、必要に応じてpostfix、crondのサービスを起動します。

仮にデータ破損等生じた場合は該当テーブルの再作成と事前に作成したバックアップからデータの再投入を行います。

以上

カテゴリ

Code

Blog

コメントを追加

あわせて読みたい記事はこちら

MariaDBのインストールまたはMySQLのインストール

MariaDB(MySQL)におけるデータベースの作成とユーザ作成および権限付与について

@optimal-sdw.com — Mon, 14 Oct 2019 10:38:31 +0000

MariaDB(MySQL)におけるデータベースの作成とユーザ作成および権限付与について @optimal-sdw.com 2019/10/14(月) - 19:38

更新日時

2019/10/14(月) - 19:38

MariaDBとMySQLは姉妹関係にあるRDBMSになります。どちらもアプリケーションで登録するデータを保存するために必要なソフトウェアです。

違いはMySQLをもとにパフォーマンス改善し、後発として誕生したものがMariaDBです。

MariaDBもしくはMySQLをインストールした後はデータベース(DB)の作成と、作成したDBを操作するためのユーザ作成が必要になります。自身でWebアプリケーションを構築する際やWordPress、DrupalといったCMSをインストール際にDBの構築作業は必要になります。

また、MariaDB(MySQL)はレンタルサーバでよく使われています。

レンタルサーバでは大抵管理メニューから簡単にDBの作成ができるようになっておりますが、仮想環境等を用意し、事前にレンタルサーバでCMSを公開する前に設定方法などを勉強したり、デザインテーマを自身で作成する場合など、管理メニューのようなものが無い状態からDBを構築することのほうがほとんどです。

そのため、管理メニュー等の便利機能に頼らずともデータベースの作成やユーザの作成ができるようにしておいたほうが吉です。

※ MariaDBおよびMySQLのインストールにつきましては、当該記事の末尾に関連記事のリンクがありますので、そちらからご参照ください。なお、Linux環境におけるインストール方法であり、Windows環境へのインストール方法ではありませんので予めご了承ください。

rootユーザのパスワード設定とMariaDB、MySQLの起動方法

MariaDBもMySQLも基本的にコマンドは一緒です。これはMySQLから派生して作られたのがMariaDBだからです。

インストール直後はrootという特権ユーザで起動、ログインします。以下のコマンドで起動可能です。

【MySQLのサービス起動方法】

$ sudo systemctl start mysqld

【MariaDBのサービス起動方法】

$ sudo systemctl start mariadb

【MySQL、MariaDBの起動】

$ mysql

MySQLにログインする前にrootユーザにパスワード設定する場合は以下のコマンドで行います。

【rootユーザのパスワード設定】

$ mysqladmin -u root password input_root_password

※ input_root_passwordの部分に設定するパスワードを入力します。

パスワード設定後のMariaDB、MySQLの起動とログイン方法は使用するコマンドに違いはありませんが、以下のようにユーザ名を指定するためのオプション「-u」の後ろにユーザ名を指定し、その次にパスワード入力を行うためのオプション「-p」を指定します。Enterキーを押下するとパスワード入力を求められますので、設定したパスワードを入力します。rootユーザ以外のユーザでログインする場合も同じです。

【MySQL、MariaDBの起動(ユーザとパスワードの指定有り)】

$ mysql -u root -p

データベースの作成

DBを作成するにはmysqlにログイン後、以下のSQLを入力します。

create database input_database_name;

※ input_database_nameの部分に作成するDB名を入力します。

DBを削除する場合は以下のように入力します。

drop database input_database_name;

ユーザの作成

ユーザを作成する場合は以下のように入力します。

create user 'input_user_name'@'input_host_name' identified by 'input_user_password';

※ input_user_nameの部分にユーザ名、input_host_nameの部分にホスト名(localhostなど)、input_user_passwordの部分にパスワードを入力します。

ユーザを削除する場合は以下のように入力します。

drop user 'input_user_name'@'input_host_name';

ユーザの権限付与

特定ユーザにすべてのDBへのアクセスや操作権限を付与するには以下のように入力します。

grant all on *.* to 'input_user_name'@'input_host_name';

※ input_user_nameの部分にユーザ名、input_host_nameの部分にホスト名(localhostなど)を入力します。

特定のDBへのアクセスや操作権限を付与するには以下のように入力します。

grant all on input_database_name.* to 'input_user_name'@'input_host_name';

※ input_database_nameの部分にDB名を入力します。

特定のDBの特定テーブルへのアクセスや操作権限を付与するには以下のように入力します。

grant all on input_database_name.input_table_name to 'input_user_name'@'input_host_name';

※ input_table_nameの部分にテーブル名を入力します。

特定操作の権限を付与するにはallではなく、create, alter, drop, select, insert, update, deleteのように具体的に権限を指定して入力します。

grant input_authority_name on input_database_name.input_table_name to 'input_user_name'@'input_host_name';

※ input_authority_nameの部分に権限名を入力します。複数指定する場合はカンマ区切りで入力します。(ex. select, insert, update, delete)

設定した権限を有効にするためには以下のように入力します。

flush privileges;

既存データベースの確認と利用

作成済みのDBを確認するには以下のように入力します。

show databases;

利用するDBを指定するには以下のように入力します。

use input_database_name;

※ input_database_nameの部分にDB名を入力します。テーブルの作成や変更、削除、データの検索や登録、変更、削除をする場合、まず最初に利用するDBを指定する必要があります。最初に指定した後は都度指定する必要はありませんが、mysqlからログアウトした後、再ログインした場合は再度利用するDBを指定する必要があります。

以上です。

カテゴリ

Code

Blog

コメントを追加

あわせて読みたい記事はこちら

MariaDBのインストールまたはMySQLのインストール

@optimal-sdw.com — Tue, 08 Oct 2019 05:34:33 +0000

MariaDBのインストールまたはMySQLのインストール @optimal-sdw.com 2019/10/08(火) - 14:34

更新日時

2019/10/08(火) - 14:34

プログラミングを始め、システム開発を行うときに必ずと言っていいほどセットで登場するのがデータベース(DB)です。

データベースとはデータを保存するためのソフトウェアであり、リレーショナルデータベース(RDB)が主流です。

データベースの作成やそれらにアクセス可能なユーザなどを管理するソフトウェアがMariaDBやMySQL、PostgreSQL、Oracle、SQLServerといったものです。

RDBにおいて覚える必要があるのはSQLというデータベースを操作するための言語です。

データを格納する箱であるテーブルを作成したり、データの登録、更新、削除、検索といったことをSQLを使って行います。

今回はSQLの基礎知識ではなく、CentOS7環境に最新のMariaDBをインストールする方法、MariaDBではなくMySQLをインストールする方法をご紹介いたします。

MySQLおよびMariaDBにおけるユーザの作成、データベースの作成、ユーザへの権限付与の方法については別途記載を予定しています。(自分自身がよく忘れてしまうので。特に権限付与あたり。)

※ SQL自体は基本的にMySQLであってもPostgreSQLであってもOracleであっても文法には大きな違いはありません。項目のデータ型や用意されている関数などちょっとした違いはあります。SQLの書き方についてはSQLServerが一番癖が強いと個人的には感じております。

MariaDBの最新版をCentOSにインストールする

CentOS7のyumで標準インストールされるのはMariaDBですが、バージョンが古いです。

公式サイトで最新版をインストールするための以下コマンドが公開されています。(公式サイトへ)

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash

バージョンを指定してインストールしたい方は以下の通りです。

$ curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | sudo bash -s -- --mariadb-server-version="mariadb-10.3"

サポートされているバージョンは以下の通りです。上記コマンドやサポートバージョンは変わる可能性がありますので、インストール前に必ず公式サイトで情報をご確認ください。

mariadb-5.5
mariadb-10.0
mariadb-10.1
mariadb-10.2
mariadb-10.3
mariadb-10.4

上記のコマンドで最新のMariaDBがyumに追加され、以下のコマンドでパッケージをインストールすることができます。

# yum -y install MariaDB-server MariaDB-client

CentOS7にMariaDBではなくMySQLをインストールする(yum収録のパッケージをMySQLに変更する）

MySQLから派生したMariaDBよりもMySQLを使いたいという方は以下の手順でyumのMariaDBパッケージを削除し、MySQLに変更することが可能です。

CentOS7ではMariaDBがyumの標準になっておりますが、例えば、レンタルサーバで利用しているDBがMySQLなのでMariaDBではなくMySQLをインストールしたいなど、環境をそろえる際に必要になるときがあります。

MySQLの公式でyumへの追加方法が公開されています。(公式サイトへ)

MariaDBがインストールされた状態ですと、MySQLと競合して上手くインストールすることはできません。そのため、MySQLをインストールする場合はMariaDBの削除が必要です。両方の環境を保持したい場合は仮想マシンで環境構築することをお勧め致します。Dockerでコンテナ環境を作成したり、仮想マシン自体の複製(Vagrantを利用すると楽)を行って複数種類の仮想マシン環境を用意することができます。

本題に戻り、まずはMariaDBの削除を行います。

# yum -y remove mariadb-libs
# rm -rf /var/lib/mysql

続いてMySQLのyumリポジトリ向けRPMパッケージをダウンロードします。CentOSのLinuxカーネルのバージョンを確認して、公式のダウンロードページのリンクを確認します。

MySQL Community Downloads → MySQL Yum Repository → ex.【Red Hat Enterprise Linux 7 / Oracle Linux 7 (Architecture Independent), RPM Package】

# cat /etc/redhat-release 
CentOS Linux release 7.7.1908 (Core)

# yum -y install https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm

上記コマンドでリポジトリにMySQLが追加され、以下のコマンドでインストールします。

# yum -y install mysql-community-server

以上です。

ちなみにサービスの起動と次回CentOSの起動時に自動的にサービスを立ち上げる場合は以下のコマンドで設定することができます。enableで次回OS起動時に自動的にサービスを起動します。startは今すぐにサービスを起動します。

【MariaDBの場合】

# systemctl enable mariadb
# systemctl start mariadb

【MySQLの場合】

# systemctl enable mysqld
# systemctl start mysqld

カテゴリ

Code

Blog

DB

MySQL5.7における全文検索の実装方法について

MySQL5.7 InnoDBエンジンにおけるmy.cnfの設定サンプル

MySQL5.7 InnoDBエンジンにおける検索キーワードテーブルのサンプル

MySQL5.7 InnoDBエンジンにおける検索キーワード処理サンプル

MySQL5.7 Mroongaエンジンのインストール方法

MySQL5.7 Mroongaエンジンにおけるmy.cnfの設定サンプル

MySQL5.7 Mroongaエンジンにおけるキーワードテーブルサンプル

MySQL5.7 Mroongaエンジンにおける検索キーワードの渡し方サンプル

MySQL5.7 InnoDBエンジンのテーブルとMroongaエンジンのテーブルは共存可能

MySQL5.7 全文検索導入 まとめ

コメントを追加

MySQL5.6から5.7へのアップグレード手順 (全文検索でngramを利用するために)

1. CentOSのバージョン確認

2. yumのユーティリティツールをインストール

3. MySQLのサービス停止

4. 既存のMySQLの確認

5. 既存のMySQLの削除

6. 新しいバージョンのMySQL RPMパッケージをyumへインストール

7. yumで利用するMySQLのバージョンを5.7に変更

8. MySQL5.7をインストール

9. MySQLのサービス起動

10. MySQL5.6のデータベースをMySQL5.7へアップグレード

コメントを追加

MariaDB(MySQL)におけるデータベースの作成とユーザ作成および権限付与について

rootユーザのパスワード設定とMariaDB、MySQLの起動方法

データベースの作成

ユーザの作成

ユーザの権限付与

既存データベースの確認と利用

コメントを追加

MariaDBのインストールまたはMySQLのインストール

MariaDBの最新版をCentOSにインストールする

CentOS7にMariaDBではなくMySQLをインストールする(yum収録のパッケージをMySQLに変更する）

コメントを追加

MySQL5.7 全文検索導入まとめ