Vista で導入される JIS X 0213:2004(JIS2004) のまとめ(お勉強編)
19年前に書いた記事です。製品やサービスの情報は公開当時のものです。
目次(7項目)
「日本語文字セットがVista最大の問題として急浮上:ITpro」が初めのネタになったのですが、なかなか時間もとれず、この記事を書き始めてはや3週間も経ってしまいました…orz
Windows Vistaは、新しい文字セットに関するJIS規格「JIS X 0213:2004」に準拠した日本語フォントを標準で搭載する。これにより、既存の漢字のうち122文字の字形が変更になり、約900文字の漢字、約200文字の非漢字(英語の発音記号や記号、アイヌ文字など)が新たに表示可能になる。
〜中略〜
さらに、追加される新しい文字の一部をUnicodeで表現すると、通常の2バイトではなく4バイトで表現されるものがある。
これを見て、SJIS → UTF-8 → SJIS とかやると文字化けするものとか出るじゃん!大丈夫だっけ?大丈夫じゃなかったら、どんな対策をとったらいいんだっけ?ってのを考察しています。まずはお勉強編。文字コード関連のお話、読めば読むほど面倒くさい。
参考にした資料
普段は Jcode.pm とか Encode.pm に任せっきりで、文字コードのことをマジメに勉強したこともなかったので、まずは基礎知識として JIS2004 について勉強しました。このあたりが参考になりました。
- JIS X 0213 - Wikipedia / JIS X 0208 - Wikipedia
- JIS X 0213の代表的な符号化方式
- JIS2000情報(現在リンク切れ)
- 新漢字則(JIS X 0213:2004)(現在リンク切れ)
- 小形克宏の「文字の海、ビットの舟」――文字コードが私たちに問いかけるもの(現在リンク切れ)
- Vistaで化ける字,化けない字:ITpro
つぎに Windows Vista での JIS2004 対応関連の情報を収集。ここら辺を読めば大丈夫。
- Windows Vista における JIS2004 対応について(現在リンク切れ)
- Windows Vista の JIS 2004 対応に関する詳細資料(現在リンク切れ)
いろいろな情報を集めましたが、文字コード規格の基礎的な知識をひとまず整理。ほとんどウィキペディアからの情報ですが…。
JIS X 0208 について
JIS X 0208 は、1978年に日本工業規格 (JIS) で規定され、1983年、1990年、1997年に改定された、日本語の文字集合および文字符号化方式を定めた規格。1997年版の正式名称は「7ビット及び8ビットの2バイト情報交換用符号化漢字集合」。俗に「JIS第1第2水準漢字」などと呼ばれる。
日本で最も古い公的な符号化文字集合で、記号、アルファベット、漢字など6,879字を収録している。標準的な漢字の大半が JIS X 0208 に含まれている。EUC-JP、Shift JIS、ISO-2022-JP などの日本語文字コードは、JIS X 0208 の文字集合に対する文字符号化方式である。
初期のコンピュータは、規定された漢字を全て搭載することが難しかったため、より使用頻度の高い第一水準と、拡張的な第二水準とに分かれていた。また、2バイトのうち各1バイトの 0x21〜0x7E 領域で文字集合を表現するため、94点で構成される区が94区ある。
1997年の最終版では、非漢字524字、第一水準漢字2,965字、第二水準漢字3,390字の計6,879字が規定されている。
| 種類 | 区点コード |
|---|---|
| 非漢字(記号、英数字、ひらがな、カタカナ、ギリシャ文字、ロシア文字、罫線) | 1区1点 - 8区32点 |
| 第一水準漢字 | 16区1点 - 47区51点 |
| 第二水準漢字 | 48区1点 - 84区6点 |
JIS X 0213(JIS2000)について
JIS X 0213 は JIS X 0208:1997 を拡張した日本語の文字コード規格。2000年に制定、2004年に改正された。規格名称は「7ビット及び8ビットの2バイト情報交換用符号化拡張漢字集合」。通称「JIS2000」「2000JIS」などと呼ばれる。互換性のない新たな拡張であることから「新拡張JISコード」と呼ばれることもある。文字コードで運用する必要性の高い4,354字が追加され、計11,233字である。
拡張は、JIS X 0208 の1997年改訂で保留領域とされた部分に字を増やす方針で行われ、非漢字659字、第三水準として1,249字、第四水準として2,436字を追加した。実装では、JIS X 0208:1997 で保留領域とされた部分に第三水準の文字を入れて第一面とし、その後ろに第四水準の文字を第二面として加えた。さらに2004年の改正で、第三水準に10字が追加され、168字の例示字形が変更された。
JIS X 0213:2004(JIS2004)について
例示字形が変更された文字
JIS X 0213:2004 は、JIS X 0213:2000 の例示字形を変更している。変更があったのは次の文字。
「逢芦飴溢茨鰯淫迂厩噂餌襖迦牙廻恢晦蟹葛鞄釜翰翫徽祇汲灸笈卿饗僅喰櫛屑粂祁隙倦捲牽鍵諺巷梗膏鵠甑叉榊薩鯖錆鮫餐杓灼酋楯薯藷哨鞘杖蝕訊逗摺撰煎煽穿箭詮噌遡揃遜腿蛸辿樽歎註瀦捗槌鎚辻挺鄭擢溺兎堵屠賭瀞遁謎灘楢禰牌這秤駁箸叛挽誹樋稗逼謬豹廟瀕斧蔽瞥蔑篇娩鞭庖蓬鱒迄儲餅籾爺鑓愈猷漣煉簾榔屢冤叟咬嘲囀徘扁棘橙狡甕甦疼祟竈筵篝腱艘芒虔蜃蠅訝靄靱騙鴉」
追加された10文字
また、JIS X 0213:2004 は、JIS X 0213:2000 に10文字を追加している。追加があったのは、SJIS コードで「879F 889E 9873 989E EAA5 EFF8 EFF9 EFFA EFFB EFFC」。
Windows Vista のフォントは、この JIS2004 に対応したということである。
Windows NT 系列の日本語入出力について
Windows の日本語処理のフェーズは以下のようになっている。
漢字入力 → 漢字変換(IME、ATOK) → NLS → OS 内部 → NLS → フォント変換 → 画面出力
※NLS:Neutral Langurage System
Windows NT は多言語対応をするために内部処理に Unicode を採用したが、漢字辞書やフォントに関しては Windows 3.1 を流用するため、入出力はシフトJIS となっている。Windows 2000 以降も同様。Windows XP を X0213 に対応させるためには、次の3つが必要。
- 対応した漢字辞書(漢字変換システム) → Vista から採用された IME 2007 等
- 対応したフォント → Vista から採用されたメイリオ等
- Windows NT/2000/XP の場合は対応した NLS → Vista も非対応?
NLS を X0213 に対応させて表示してみる
NLS の X0213 対応とは、C:\WINDOWS\system32 にある c_932.nls(932 とは日本語コードページ番号)というバイナリファイルを、X0213 になるように hack すればよいらしい。ただし、X0213 の一部コードが Windows 機種依存文字とかぶるので、Windows 機種依存文字は使用不可になる。詳細は新漢字則(JIS X 0213:2004)をどうぞ(現在リンク切れ)。
試しに NLS を X0213 に対応させて、シフトJIS 2004 のコード一覧を作ってみました。一覧を作るのに使った Perl スクリプトがこちら。
use strict;
use warnings;
open my $fh1, '>Sjis2004.txt' or die 'can not create file';
foreach my $i (0x8140..0x8FFF, 0x9040..0x9FFF, 0xE040..0xEFFF, 0xF040..0xFCFF) {
next if (($i & 0xFF) < 0x40);
print $fh1 sprintf("%x:",$i) if ($i % 16 == 0);
if (($i & 0xFF) == 0x7f || ($i & 0xFF) >= 0xfd && ($i & 0xFF) <= 0xff) {
print $fh1 ' ';
} else {
print $fh1 pack("C2" ,$i >> 8, $i & 0xFF);
}
print $fh1 "\n" if ($i % 16 == 15);
}
close $fh1;

このコード一覧をメイリオで表示させてみたら、表示されるべき所はほとんど全て表示されるようになりました。上の画面は一覧の先頭部分で、記号や英数字の行が見えています。
入力が Unicode の場合
ちなみに、入力が Unicode であれば、Unicode 表示する場合に NLS を通らないためか、上記の hack をやらなくても X0213 の文字も正しく表示することができました。
例)Vista の IE7 + IME 2007 を使って、Unicode な web ページで X0213 の文字を入力してみると、ちゃんと出るみたい。また、Unicode じゃない web ページの場合は、UTF-8 コードを 桁数値; にエンティティ化して送信してるっぽい。
取りあえず、お勉強編はここまで。









