「こんにちは世界」を5文字で切ったら、Go と PHP は文字化けし、Rust は止まった ― その書き方、本当に通る?⑪

C#
B!

長い題名を一覧に出すとき、先頭の数文字だけを残して「…」を付けることがあります。この処理を各言語のいちばん普通の書き方で動かすと、10言語中3言語が日本語で正しく動きませんでした。Go と PHP は文字化けし、Rust はプログラムごと止まりました。

何をしたか

CODE Polyglot の入門 第15回 は、文字列の先頭から決まった文字数だけを出し、残りがあれば「…」を付けるプログラムです。

Go ならこう書きます。

if len(s) > n {
	fmt.Println(s[:n] + "…")
} else {
	fmt.Println(s)
}

毎朝の検証と同じ Linux の環境で動かした結果です。

入力と文字数正解Python・Ruby・SwiftJavaScript・Java・Kotlin・C#Go・PHPRust
こんにちは世界・5こんにちは…こんにちは…こんにちは…こ�…止まる
こんにちは・5こんにちはこんにちはこんにちはこ�…止まる
今日は🍣・3今日は…今日は…今日は…今…今…
🍣🍺🍜🍙・2🍣🍺…🍣🍺…🍣…�…止まる
𠮷野家の牛丼・2𠮷野…𠮷野…𠮷…�…止まる
Hello, World・5Hello…Hello…Hello…Hello…Hello…

8件のうち正解だった数は、Python・Ruby・Swift が8件中8件、JavaScript・Java・Kotlin・C# が8件中6件、Go・PHP・Rust が8件中3件でした。

何が起きたか

Go・PHP は、バイトで切っています。 「こんにちは世界」の5バイト目は、2文字目の「ん」の途中です。文字の途中で切れた分が、壊れた文字(�)になりました。こんにちは は5文字で切らなくてよい長さなのに、バイトで数えると15あるので「…」まで付きました。

Rust も、バイトで切ろうとします。 ただし、文字の途中を指定すると、壊れた文字列を作らずにエラーで止まります(終了コード 101)。今日は🍣 の 3 は、ちょうど「今」の切れ目なので止まらず、「今…」を返しました。

JavaScript・Java・Kotlin・C# は、UTF-16 の単位で切っています。 絵文字と「𠮷」を2つと数えるので、1文字少なくなりました。この入力ではちょうど絵文字の切れ目でしたが、切る位置が奇数なら、絵文字の半分だけが残ります。

英字のテストでは、10言語すべてが正解します。日本語を入れて、はじめて分かります。

どう直したか

文字の並びに直してから、数えて切ります。

// len(s) と s[:n] はバイトで数えるので、文字の途中で切れる。[]rune に直すと Unicode の文字1つずつの並びになる
chars := []rune(s)
// length と slice は UTF-16 の単位で数えるので、「🍣」や「𠮷」は2つと数える。[...s] で Unicode の文字1つずつの配列に直す
const chars = [...s];
if (chars.length > n) {
  console.log(chars.slice(0, n).join("") + "…");
} else {
  console.log(s);
}
// len と &s[..n] はバイトの単位なので、日本語の途中で切ろうとすると止まる。
// chars で Unicode の文字(コードポイント)の単位にしてから数え、切る
if s.chars().count() > n {
    let head: String = s.chars().take(n).collect();
    println!("{}…", head);
} else {
    println!("{}", s);
}

直した版は、10言語とも8件中8件が正解になりました。「👨‍👩‍👧」のように、いくつもの文字を組み合わせて1つに見える絵文字は、この直し方でも途中で切れることがあります。見た目の1文字で切るには、別の数え方(書記素クラスタ)が要ります。

まとめ

  • 文字列を文字数で切ると、10言語中3言語が日本語で壊れた。Go・PHP は文字化け、Rust は止まった
  • さらに4言語は、絵文字と「𠮷」で1文字少なくなった
  • 文字の並びに直してから切る
  • テストには、日本語と絵文字を入れる。英字だけでは10言語すべてが通る
  • 10言語の全プログラムは 入門 第15回 にあります
B!
← 一覧へ戻る