同じ見た目でも違う文字列
不可視文字は検索、改行、並べ替え、表示に影響します。alphaとal[U+200B]phaは表記を実文字にすると異なります。不可視表示できるエディターが役立ちます。Unicodeには正当な文字体系・組版用途があり、不可視は悪意やAIを意味しません。
端末内の報告はコードポイント、行、列を示し、11種類を確認。U+200B、U+2060、U+00AD、双方向制御、途中U+FEFF、完全旗列以外のタグ、非文字、予約/非推奨制御、私用、特殊スペースなどです。
意図した文字は残します。双方向・私用・特殊スペースは初期未選択、旗列・異体字・結合文字は維持。20,000件超なら小分けに。スペース正規化は単語を連結しません。
結果は作者も統計透かしの不存在も証明しません。サイズと長さはテキスト形式ページで確認できます。