# Perl5.8 での Unicode 文字列の注意点(UTF8 フラグと length・substr) - URL: https://www.drk7.jp/MT/archives/000528.html - 公開: 2004.07.24 / 最終更新: 2005.11.13 - カテゴリ: Perl言語 - 著者: drk ![Perl5.8 での Unicode 文字列の注意点(UTF8 フラグと length・substr)のイメージ(挿絵)](https://www.drk7.jp/media/opt/posts/000528/illust.jpg.w1600.webp) Amazon Search とかを EUC ベースから UTF8 ベースで実装し直したのですが、場合によって length や substr 等の文字列関数で処理が違うことが判明。備忘録として記事にしました。 ## UTF8 フラグと utf8 モジュール Perl5.8 では Unicode 文字列に対して UTF8 フラグという内部データを設けて、その有無によって文字単位で扱うかバイト単位で扱うかを決定しています。また UTF8 フラグの ON/OFF は、utf8 モジュールの utf8::encode() と utf8::decode() によって操作できるようになっています。 - バイト単位で Unicode 文字列を扱いたいときは、utf8::encode() によって UTF8 フラグを OFF にする - 文字単位で Unicode 文字列を扱いたいときは、utf8::decode() によって UTF8 フラグを ON にする また、UTF8 フラグが OFF になっている場合に utf8::encode() を何度も実行すると、おかしな事になるので、UTF8 フラグの有無を調べる utf8::is_utf8() メソッドで適宜調べる必要があります。 これらの utf8 モジュールのメソッドを適宜使い分けて文字列操作をしないと、Unicode 文字列操作は予期しない結果(文字化け等)になってしまいます。 ## 具体例 具体例をあげます。UTF8 で次のプログラムを記述します(Perl5.8.1 以降)。 ``` use utf8; use XML::Parser; my $str = "あいうえおアイウエオ123"; utf8::encode($str); print "UTF8 flg:", utf8::is_utf8($str), "\n" ; print "Length:", length($str), "\n"; print "Substr:", substr($str,0,10), "\n\n"; utf8::decode($str); print "UTF8 flg:", utf8::is_utf8($str), "\n" ; print "Length:", length($str), "\n"; print "Substr:", substr($str,0,10), "\n\n"; ``` これを実行すると、次のようになります。 ``` UTF8 flg: Length:33 Substr:あいう UTF8 flg:1 Length:13 Substr:あいうえおアイウエオ ``` ## 実行結果の読み方と注意点 はじめの例は、全角文字列がそれぞれ 3 バイト、半角文字列がそれぞれ 1 バイトで計算されています。そのため、はじめの 10 バイトを取得すると、「あいう」+フラグデータを取得しています。 おそらく文字列は文字数で計算する場合が多いと思います。その場合は、utf8::decode() を事前に実行しておけば、後者の結果が得られるということです。もちろん場合によっては、文字列操作後、utf8::encode() で元に戻しておく必要もあるので注意が必要です。 ## 追記(2004年7月24日) コメントで「文字化けするようになってしまった」と報告をいただきました。ちょっとバグってました。すいません。現在は修正されていると思います。中継君等のキャッシュをクリアして頂いて、再度ご確認ください。