
Unicode::Japanese - Convert encoding of japanese text ja; Unicode::Japanese::JA - 日本語文字コード変換

use Unicode::Japanese; use Unicode::Japanese qw(unijp); # convert utf8 -> sjis print Unicode::Japanese->new($str)->sjis; print unijp($str)->sjis; # same as above. # convert sjis -> utf8 print Unicode::Japanese->new($str,'sjis')->get; # convert sjis (imode_EMOJI) -> utf8 print Unicode::Japanese->new($str,'sjis-imode')->get; # convert zenkaku (utf8) -> hankaku (utf8) print Unicode::Japanese->new($str)->z2h->get;

The Unicode::Japanese module converts encoding of japanese text from one encoding to another. ja; Unicode::Japanese は,日本語の文字コードの相互変換を行うモジュールです.
Currently the method get() returns UTF-8 byte string but this behavior may be changed in the future. ja; get() メソッドは現時点では utf-8 `バイト'列 を返します (将来的に変更される可能性もあります).
Methods like sjis(), jis(), utf8(), and such like return byte string. new(), set(), getcode() methods just ignore the UTF-8 flag of strings they take. ja; sjis(), jis(), utf8(), etc.. メソッドではバイト列を返します. new, set, getcode メソッドの入力には, utf8-flaged/bytes を問いません.

No other modules are required at run time. ja; 実行時に必須なモジュールはありません.

Create a new instance of Unicode::Japanese. ja; 新しい Unicode::Japanese インスタンスを指定します.
Any given parameters will be internally passed to the method "set"(). ja; パラメータを指定すると,"set" メソッドに渡されます.
Same as Unicode::Jananese->new(...). ja; Unicode::Janaese->new(...) と同義.
Store a string into the instance. ja; インスタンスに文字列をセットします. 文字コード指定を省略すると UTF-8 と見なされます.
Possible character encodings are: ja; 利用可能な文字コード:
auto utf8 ucs2 ucs4 utf16-be utf16-le utf16 utf32-be utf32-le utf32 sjis cp932 euc euc-jp jis sjis-imode sjis-imode1 sjis-imode2 utf8-imode utf8-imode1 utf8-imode2 sjis-doti sjis-doti1 sjis-jsky sjis-jsky1 sjis-jsky2 jis-jsky jis-jsky1 jis-jsky2 utf8-jsky utf8-jsky1 utf8-jsky2 sjis-au sjis-au1 sjis-au2 jis-au jis-au1 jis-au2 sjis-icon-au sjis-icon-au1 sjis-icon-au2 euc-icon-au euc-icon-au1 euc-icon-au2 jis-icon-au jis-icon-au1 jis-icon-au2 utf8-icon-au utf8-icon-au1 utf8-icon-au2 ascii binary
(see also "SUPPORTED ENCODINGS".) ja; ("SUPPORTED ENCODINGS ja; サポートされているエンコーディング " も参照.)
If you want the Unicode::Japanese detect the character encoding of string, you must explicitly specify 'auto' as the second argument. In that case, the given string will be passed to the method getcode() to guess the encoding. ja; 文字コードを自動判別する場合は,'auto' を指定しなくてはいけません. 'auto' 時の文字コード自動判別は,getcode() メソッドにより 行われます.
For binary encodings, only 'base64' is currently supported. If you specify 'base64' as the third argument, the given string will be decoded using Base64 decoder. ja; バイナリ符号化方式には,'base64' のみ指定可能です. base64 を指定した場合は,base64 デコードされてから Unicode::Japanese クラスの文字列となります.
Specify 'binary' as the second argument if you want your string to be stored without modification. ja; 渡された文字列を変更せずそのまま格納して欲しい場合には,文字コードとして 'binary' を指定します.
When you specify 'sjis-imode' or 'sjis-doti' as the character encoding, any occurences of '&#dddd;' (decimal character reference) in the string will be interpreted and decoded as code point of emoji, just like emoji implanted into the string in binary form. ja; sjis-imode,sjis-doti,の場合,文字列中の &#dddd; は 絵文字に変換されます.
Since encoded forms of strings in various encodings are not clearly distinctive to each other, it is not always certainly possible to detect what encoding is used for a given string. ja; 文字コードは領域が重なっている場合があるため, 自動判別は確実ではありません.
When a given string is possibly interpreted as both Shift_JIS and UTF-8 string, this module considers such a string to be encoded in Shift_JIS. And if the encoding is not distinguishable between 'sjis-au' and 'sjis-doti', this module considers it 'sjis-au'. ja; sjis, utf8 の両方に解釈できる文字列の場合は,sjis, sjis-au,sjis-doti の両方に解釈できる文字列の場合は,sjis-au, を返します.
Get the internal string in UTF-8. ja; 文字列を UTF-8 コードで取り出します.
This method currently returns a byte string (whose UTF-8 flag is turned off), but this behavior may be changed in the future. ja; 現在は `バイト' 列 を返しますが, 将来的に変更される可能性もあります.
If you absolutely want a byte string, you should use the method utf8() instead. And if you want a character string (whose UTF-8 flag is turned on), you have to use the method getu(). ja; バイト列が必要なら utf8() メソッドを, 文字列が必要なら getu() メソッドを使うことをオススメします.
Get the internal string in UTF-8. ja; 文字列を UTF-8 コードで取り出します.
On perl-5.8.0 or later, this method returns a character string with its UTF-8 flag turned on. ja; Perl-5.8.0 以降においては, utf-8 フラグのついた utf-8 文字列として 返します.
Detect the character encoding of given string. ja; 渡された文字列($str)の文字コードを自動判別します.
Note that this method, exceptionaly, doesn't deal with the internal string of an instance. ja; この関数では, 例外的に, インスタンスに保持されている 文字列のコードを判別するのではないことに注意してください.
To guess the encoding, the following algorithm is used: ja; 文字コード自動判別時は,以下のアルゴリズムにより判定が行われます.
(For pure perl implementation) ja; (PurePerl時)
(For XS implementation) ja; (XS時)
ascii / euc / sjis / jis / utf8 / utf32-be / utf32-le / sjis-jsky / sjis-imode / sjis-au / sjis-doti
utf32-be / utf32-le / ascii / jis / euc / sjis / sjis-jsky / sjis-imode / sjis-au / sjis-doti / utf8
Pay attention to the following pitfalls in the above algorithm: ja; 以上のアルゴリズムのため,以下の点に注意してください.
Since the XS and pure perl implementations use different algorithms to guess encoding, they may guess differently for the same string. Especially, the pure perl implementation finds Shift_JIS strings containing ESC character (0x1B) to be actually encoded in Shift_JIS but XS implementation doesn't. This is because such strings can hardly be distinguished from 'sjis-jsky'. In addition, EUC-JP strings containing ESC character are also rejected for the same reason. ja; XSとPurePerlでは, 判別のアルゴリズムに違いがあるため, 異なる結果になる可能性があります. 特に, エスケープ文字を含んでいるsjisの場合, PurePerlではsjisと認識しますが XSでは認識しません. これはsjis-jskyと区別できなくなるためです. また, この 作用による誤認識を防ぐため, euc-jpにおいても, 同様にエスケープ文字を受け付けなく なっています.
Detect the character encoding of given string. ja; 渡された文字列($str)の文字コードを自動判別します.
Unlike the method getcode(), getcodelist() returns a list of possible encodings. ja; getcode とは違い, すべての受理可能な文字コードの 一覧を返します.
utf8 ucs2 ucs4 utf16 sjis cp932 euc euc-jp jis sjis-imode sjis-imode1 sjis-imode2 utf8-imode utf8-imode1 utf8-imode2 sjis-doti sjis-doti1 sjis-jsky sjis-jsky1 sjis-jsky2 jis-jsky jis-jsky1 jis-jsky2 utf8-jsky utf8-jsky1 utf8-jsky2 sjis-au sjis-au1 sjis-au2 jis-au jis-au1 jis-au2 sjis-icon-au sjis-icon-au1 sjis-icon-au2 euc-icon-au euc-icon-au1 euc-icon-au2 jis-icon-au jis-icon-au1 jis-icon-au2 utf8-icon-au utf8-icon-au1 utf8-icon-au2 binary
(see also "SUPPORTED ENCODINGS".) ja; ("SUPPORTED ENCODINGS ja; サポートされているエンコーディング " も参照.)
Some encodings for mobile phones have a trailing digit like 'sjis-au2'. Those digits represent the version number of encodings. Such encodings have a variant with no trailing digits, like 'sjis-au', which is the same as the latest version among its variants. ja; 携帯向け文字コードのうち,末尾に数字がついているものは,数字が大きいほど 大きな絵文字セット(最新機種の絵文字セット)を表しています. 数字なしのものは,もっとも数字が大きい文字コードと同一です.
Get the internal string of instance with encoding it using a given character encoding method. ja; 文字列を指定した文字コードに変換してから取り出します.
If you want the resulting string to be encoded in Base64, specify 'base64' as the second argument. ja; 文字エンコードには,'base64' のみ指定可能です. base64 を指定した場合は,base64 エンコードされた 文字列が返されます.
On perl-5.8.0 or later, the UTF-8 flag of resulting string is turned off even if you specify 'utf8' to the first argument. ja; perl-5.8.0 以降において, 出力は utf-8 フラグを持たないバイト列になります.
Interpret decimal character references (&#dddd;) in the instance, and replaces them with single characters they represent. ja; 文字列中に含まれる &#dddd; 形式の文字列を,それが表す文字自体に置き換えます.
Replace zenkaku (full-width) letters in the instance with hankaku (half-width) letters. ja; 全角を半角に変換します.
Replace hankaku (half-width) letters in the instance with zenkaku (full-width) letters. ja; 半角を全角に変換します.
Replace any hiragana in the instance with katakana. ja; ひらがなをカタカナに変換します.
Replace any katakana in the instance with hiragana. ja; カタカナをひらがなに変換します.
$str: byte string in ISO-2022-JP ja; $str: JIS エンコーディング形式のバイト列
Get the internal string of instance with encoding it in ISO-2022-JP. ja; 文字列を JIS(ISO-2022-JP) コードで取り出します.
$str: byte string in EUC-JP ja; $str: euc-jp エンコーディング形式のバイト列
Get the internal string of instance with encoding it in EUC-JP. ja; 文字列を EUC-JP コードで取り出します.
$str: byte string in UTF-8 ja; $str: utf-8 エンコーディング形式のバイト列
Get the internal UTF-8 string of instance. ja; 文字列を UTF-8 コードで取り出します.
On perl-5.8.0 or later, the UTF-8 flag of resulting string is turned off. ja; perl-5.8.0 以降においても, バイト列を返します.
$str: byte string in UCS-2 ja; $str: ucs2 エンコーディング形式のバイト列
Get the internal string of instance as a sequence of raw UCS-2 letters in big-endian. Note that this is different from UTF-16BE as raw UCS-2 sequence has no concept of surrogate pair. ja; 文字列を UCS2 コードで取り出します.
$str: byte string in UCS-4 ja; $str: ucs4 エンコーディング形式のバイト列
Get the internal string of instance as a sequence of raw UCS-4 letters in big-endian. This is practically the same as UTF-32BE. ja; 文字列を UCS4 コードで取り出します.
$str: byte string in UTF-16 ja; $str: ucs-16 エンコーディング形式のバイト列
Get the insternal string of instance with encoding it in UTF-16 in big-endian with no BOM prepended. ja; 文字列を UTF-16 コードで取り出します. BOMは付きません. ビックエンディアン形式で返されます.
$str: byte string in Shift_JIS ja; $str: sjis エンコーディング形式のバイト列
Get the internal string of instance with encoding it in Shift_JIS (MS-SJIS / MS-CP932). ja; 文字列を SJIS(MS-CP932) コードで取り出します.
$str: byte string in 'sjis-imode' ja; $str: sjis/imode絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-imode'. ja; 文字列を i-mode 端末向けの SJIS コードで取り出します. 最新のimode絵文字の別名です.
$str: byte string in 'sjis-imode1' ja; $str: sjis/imode 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-imode1'. ja; 文字列を i-mode 端末向けの SJIS コードで取り出します. 基本絵文字だけから成ります.
$str: byte string in 'sjis-imode2' ja; $str: sjis/imode 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-imode2'. ja; 文字列を i-mode 端末向けの SJIS コードで取り出します. 基本絵文字, 拡張絵文字を含みます.
$str: byte string in 'sjis-doti' ja; $str: sjis/dot-i 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-doti'. ja; 文字列を dot-i 端末向けの SJIS コードで取り出します.
$str: byte string in 'sjis-jsky' ja; $str: sjis/j-sky 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-jsky'. ja; 文字列を j-sky 端末向けの SJIS コードで取り出します. 最新のj-sky絵文字(VERSION 0.15 では, jsky2)の別名です.
$str: byte string in 'sjis-jsky1' ja; $str: sjis/j-sky 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-jsky1'. ja; 文字列を j-sky 端末向けの SJIS コードで取り出します. Page 1~3 のみの絵文字を含みます.
$str: byte string in 'sjis-jsky' ja; $str: sjis/j-sky 絵文字 エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-jsky'. ja; 文字列を j-sky 端末向けの SJIS コードで取り出します. Page 1~6 の絵文字を含みます.
$str: byte string in 'sjis-icon-au' ja; $str: sjis/AU iconタグ エンコーディング形式のバイト列
Get the internal string of instance with encoding it in 'sjis-icon-au'. ja; 文字列を AU 端末向けの SJIS コードで取り出します.
Split the internal string of instance into chunks of a given length. ja; $lenで指定された文字数(全角)以下の文字列の配列に分割します.
On perl-5.8.0 or later, UTF-8 flags of each chunks are turned on. ja; 配列の各要素は, utf-8 フラグを持ったutf-8文字列です.
$len: character width of the internal string ja; $len: 文字列の表示幅
Calculate the character width of the internal string. Half-width characters have width of one unit, and full-width characters have width of two units. ja; UTF-8 文字に対して length() を使うと全角文字は1文字あたり長さ 3 になってしまいますが, このメソッドを使用すると,従来の SJIS のように,全角文字は1文字あたり長さ 2 を返します.
@values: array of strings ja; @values: データ配列
Build a line of CSV from the arguments, and store it into the instance. The resulting line has a trailing line break ("\n"). ja; 配列を CSV 文字列に変換し,インスタンスに格納します. 文字列の最後には改行("\n")が追加されます.
@values: array of strings ja; @values: データ配列
Parse a line of CSV in the instance and return each columns. The line will be chomp()ed before getting parsed. ja; インスタンスに格納されている文字列を CSV と見なし,配列に分割します. 文字列の最後にある改行("\n")は取り除かれてから分割されます.
If the internal string was decoded from 'binary' encoding (see methods new() and set()), the UTF-8 flags of the resulting array of strings are turned off. Otherwise the flags are turned on. ja; 入力が binary でなければ utf-8 文字列を返します. binary だったときはバイト列を返します.

+---------------+----+-----+-------+ |encoding | in | out | guess | +---------------+----+-----+-------+ |auto : OK : -- | ----- | +---------------+----+-----+-------+ |utf8 : OK : OK | OK | |ucs2 : OK : OK | ----- | |ucs4 : OK : OK | ----- | |utf16-be : OK : -- | ----- | |utf16-le : OK : -- | ----- | |utf16 : OK : OK | OK(#) | |utf32-be : OK : -- | OK | |utf32-le : OK : -- | OK | |utf32 : OK : -- | OK(#) | +---------------+----+-----+-------+ |sjis : OK : OK | OK | |cp932 : OK : OK | ----- | |euc : OK : OK | OK | |euc-jp : OK : OK | ----- | |jis : OK : OK | OK | +---------------+----+-----+-------+ |sjis-imode : OK : OK | OK | |sjis-imode1 : OK : OK | ----- | |sjis-imode2 : OK : OK | ----- | |utf8-imode : OK : OK | ----- | |utf8-imode1 : OK : OK | ----- | |utf8-imode2 : OK : OK | ----- | +---------------+----+-----+-------+ |sjis-doti : OK : OK | OK | |sjis-doti1 : OK : OK | ----- | +---------------+----+-----+-------+ |sjis-jsky : OK : OK | OK | |sjis-jsky1 : OK : OK | ----- | |sjis-jsky2 : OK : OK | ----- | |jis-jsky : OK : OK | ----- | |jis-jsky1 : OK : OK | ----- | |jis-jsky2 : OK : OK | ----- | |utf8-jsky : OK : OK | ----- | |utf8-jsky1 : OK : OK | ----- | |utf8-jsky2 : OK : OK | ----- | +---------------+----+-----+-------+ |sjis-au : OK : OK | OK | |sjis-au1 : OK : OK | ----- | |sjis-au2 : OK : OK | ----- | |jis-au : OK : OK | ----- | |jis-au1 : OK : OK | ----- | |jis-au2 : OK : OK | ----- | |sjis-icon-au : OK : OK | ----- | |sjis-icon-au1 : OK : OK | ----- | |sjis-icon-au2 : OK : OK | ----- | |euc-icon-au : OK : OK | ----- | |euc-icon-au1 : OK : OK | ----- | |euc-icon-au2 : OK : OK | ----- | |jis-icon-au : OK : OK | ----- | |jis-icon-au1 : OK : OK | ----- | |jis-icon-au2 : OK : OK | ----- | |utf8-icon-au : OK : OK | ----- | |utf8-icon-au1 : OK : OK | ----- | |utf8-icon-au2 : OK : OK | ----- | +---------------+----+-----+-------+ |ascii : OK : -- | OK | |binary : OK : OK | ----- | +---------------+----+-----+-------+ (#): guessed when it has bom.
1. utf32 (#) 2. utf16 (#) 3. utf32-be 4. utf32-le 5. ascii 6. jis 7. sjis-jsky (pp) 8. euc 9. sjis 10. sjis-jsky (xs) 11. sjis-au 12. sjis-imode 13. sjis-doti 14. utf8 15. unknown

Transcoding between Unicode encodings and other ones is performed as below: ja; Unicode とのマッピングは以下のように行われます.
This module uses the mapping table of MS-CP932. ja; MS-CP932 として Unicode へマッピングを行います. マッピングテーブルは以下のURLのものを使用しています.
ftp://ftp.unicode.org/Public/MAPPINGS/VENDORS/MICSFT/WINDOWS/CP932.TXT
When the module tries to convert Unicode string to Shift_JIS, it represents most letters which isn't available in Shift_JIS as decimal character reference ('&#dddd;'). There is one exception to this: every graphic characters for mobile phones are replaced with '?' mark. ja; Unicode から SJIS へマッピングする場合に,表現できない文字があると, その文字は &#dddd; 形式に変換します. ただし,携帯絵文字は「?」に変換されます.
For variants of Shift_JIS defined for mobile phones, every unrepresentable characters are replaced with '?' mark unlike the plain Shift_JIS. ja; また,携帯向けの SJIS へ変換するときは,全ての表現できない文字は「?」に変換されます.
This module doesn't directly convert Unicode string from/to EUC-JP or ISO-2022-JP: it once converts from/to Shift_JIS and then do the rest translation. So characters which aren't available in the Shift_JIS can not be properly translated. ja; 一度SJISコードに変換してから,Unicode へマッピングします. このとき,SJIS で表現できない文字が含まれていた場合, その文字は正しくマッピングできません.
This module maps emoji in the range of F800 - F9FF to U+0FF800 - U+0FF9FF. ja; F800 - F9FF の領域のうち絵文字が存在する部分を,U+0FF800 - U+0FF9FF の領域にマッピングします.
This module maps emoji in the range of F000 - F4FF to U+0FF000 - U+0FF4FF. ja; F000 - F4FF の領域のうち絵文字が存在する部分を,U+0FF000 - U+0FF4FF の領域にマッピングします.
The encoding method defined by J-SKY is as follows: first an escape sequence "\e\$" comes to indicate the beginning of emoji, then the first byte of an emoji comes next, then the second bytes of at least one emoji comes next, then "\x0f" comes last to indicate the end of emoji. If a string contains a series of emoji whose first bytes are identical, such sequence can be compressed by cascading second bytes of them to the single first byte. ja; J-SKY の絵文字は,エスケープシーケンス "\e\$" の後に,絵文字1バイト目, 1つ以上の絵文字2バイト目,"\x0f",と続きます. 1バイト目が同じ絵文字が続く場合は,2バイト目のみを連続して書くことで 圧縮することができます.
This module considers a pair of those first and second bytes to be one letter, and map them from 4500 - 47FF to U+0FFB00 - U+0FFDFF. ja; この1バイト目と2バイト目のペアを1文字と見なして,4500 - 47FF の領域を, U+0FFB00 - U+0FFDFF の領域にマッピングします.
When the module encodes J-SKY emoji, it performs the compression automatically. ja; Unicode::Japanese では,Unicode から J-SKY 絵文字にマッピングするとき, 1バイト目が同一である絵文字が連続している場合は,圧縮処理を自動的に行います.
This module maps AU emoji to U+0FF500 - U+0FF6FF. ja; 絵文字が存在する部分を,U+0FF500 - U+0FF6FF の領域にマッピングします.

use Unicode::Japanese qw(PurePerl);
If you want to explicitly take the pure perl implementation, pass 'PurePerl' to the argument of the use statement. ja; use 時の引数に 'PurePerl' を与えることで, XSを使わないことを明示的に宣言できます.

Please report bugs and requests to bug-unicode-japanese at rt.cpan.org or http://rt.cpan.org/NoAuth/ReportBug.html?Queue=Unicode-Japanese. If you report them to the web interface, any progress to your report will be automatically sent back to you. ja; バグや要望は bug-unicode-japanese at rt.cpan.org 宛に 報告してください. 若しくは http://rt.cpan.org/NoAuth/ReportBug.html?Queue=Unicode-Japanese. にある web インターフェースからでもかまいません. そこから私に通知され, そして私が変更を行うことで報告頂いたバグの進捗は 自動的にあなたに伝わります.

You can find documentation for this module with the perldoc command. ja; このモジュールのドキュメントは perldoc コマンドで見ることが出来ます.
perldoc Unicode::Japanese
You can find more information at: ja; また, 以下の場所でも見ることが出来ます:

Thanks very much to:
NAKAYAMA Nao
SUGIURA Tatsuki & Debian JP Project

Copyright 2001-2008 SANO Taku (SAWATARI Mikage) and YAMASHINA Hio, all rights reserved.
This program is free software; you can redistribute it and/or modify it under the same terms as Perl itself. ja; このプログラムはフリーソフトウェアです。あなたは Perl と同じ ライセンスの 元で再配布及び変更を行うことが出来ます.