重複行を削除 — テキストから重複行を削除
テキストから重複行を削除します。大文字小文字を区別するまたは区別しない、最初または最後の出現を保持。ブラウザ内で動作し、アップロードは不要です。
Remove Duplicate Lines
Remove duplicate lines from text. Works entirely in your browser.
重複行は、すべてのデータパイプラインの静かなノイズです。複数の実行にわたって冗長な行を蓄積した CSV エクスポート。同じエラーを千回繰り返したログファイル。同じエントリが 2 回貼り付けられたメールアドレスのリスト。手動の重複除去——目だけで数千行をスキャンすること——は遅くて間違いやすいです。行重複除去ツールは、1 回の操作でそのノイズを取り除き、削除された重複の数を示すので、問題の範囲がわかります。
最初を保持と最後を保持の区別は、思われるよりも頻繁に重要です。最初を保持は最も早い出現を保持し、最初のエントリがオリジナルである時間順に蓄積されたデータに適しています。最後を保持は最新の出現を保持し、行の最新版が古いものを置き換える時間の経過とともに更新されたリストに適しています。大文字小文字を区別しないトグルは、同じデータが一貫性のない大文字小文字で入力された一般的な状況向けです。手動で入力されたメールアドレスリストの中の「John Smith」と「john smith」など。
行数統計が、これをブラックボックス操作から透明なものにします。本ツールは入力行数、出力行数、削除された重複の数を表示します。10,000 行のファイルが 3,000 の一意の行を生成する場合、ファイルの 70% が冗長であったことがわかります。それは上流で調査する価値があります。10,000 行のファイルが 9,997 の一意の行を生成する場合、3 つの rogue 重複が紛れ込み、重複除去が safety net であり cleanup ではないことがわかります。統計パネルが deduplication を監査可能にし、それは単純な sort -u コマンドが行わないことです。
使い方
テキストを貼り付ける
複数行のテキストを入力に貼り付けるか入力します。本ツールはすべての行をスキャンし、重複を識別し、選択したモードに従ってそれらを削除します。行数の統計はテキストが変更されると更新されます。
重複モードを選択する
最初の出現を保持（デフォルト——最も早いインスタンスが生き残る）または最後の出現を保持。大文字小文字を区別しないモードをオンにして、「Hello」と「hello」を重複として扱います。前後の空白をトリムをオンにして、比較中に行の前後のスペースを無視します。
結果をコピーまたはダウンロードする
重複を除いたテキストをクリップボードにコピーするか、.txt ファイルとしてダウンロードします。除去は非破壊的です。元の入力は比較のために別のパネルに保持されます。
よくある質問
空行はどのように処理されますか？
デフォルトでは空行は通常の行として扱われ、重複が削除されます。「空行を保持」をオンにして、重複にかかわらずすべての空行を保持します。これは、空行がセクションを区切るテキストファイルに便利であり、それらを除去すると構造が折りたたまれてしまいます。
重複検出に行の順序は重要ですか？
はい。本ツールは元の行の順序を保持し、その順序に基づいて重複を削除します。最初を保持モードは、行の後続するすべての出現を削除します。最後を保持モードは、以前の出現をすべて削除し、最後のもののみを保持します。生き残る行の順序は、最初または最後の出現の順序と一致します。
各行内のフィールドに基づいて重複を除けますか？
いいえ。本ツールは行全体をcomparedします。フィールドレベルの重複除去（例：CSV のメール列による重複除去）の場合は、CSV-to-JSON ツールで JSON に変換し、プログラム的に重複を除去し、元に戻します。行重複除去ツールはフラットテキストリスト用です。
入力では何が「行」と見なされますか？
行は改行文字（LF、CRLF、または CR）で分割されます。ファイル末尾の末尾改行は追加の空行としてカウントされません。統計パネルに表示される行数は、生の文字数ではなく、解析された行数を反映します。
非常に大きなファイルを処理できますか？
重複除去はインメモリであり、最新のブラウザタブで数十万行のファイルにスケールします。100 万行のファイルでは、処理中に短い一時停止が予想されます。メモリフットプリントは一意の行数に比例します。
制限事項
- 行全体の比較のみフィールドレベルと部分的な行の重複除去はサポートされていません。特定の列または部分文字列による重複除去の場合は、このツールを使用する前にテキストエディタまたはスクリプトで前処理してください。
- ファジーマッチングなし行は完全一致のみで比較されます。近似の重複（タイプミス、空白の変動、エンコーディングの違い）は別個の行として扱われます。近似の重複除去には、ファジーマッチングツールをご利用ください。
- エンコーディングは UTF-8 と想定されます本ツールは入力を UTF-8 として扱います。他のエンコーディングのファイルは、同じ文字がファイルの異なる部分で異なる方法でエンコードされている場合、予期しない結果を生成する可能性があります。
プラットフォーム別の注意点
- macOS
- コマンドラインで重複除去する場合、`sort -u` は重複を除去しますが、行の順序を変更します。`awk '!seen[$0]++'` は順序を保持します。ブラウザツールは、最初／最後を保持トグル付きのインタラクティブな重複除去に適しています。
- Linux
- `uniq` コマンドは隣接する重複のみを除去します。ブラウザツールはテキスト内のどこでも重複を検出します（隣接する行に限定されません）。コマンドラインで同じ効果を得るには、`uniq` と `sort` を組み合わせます。
- Web
- 完全にクライアントサイドで動作します。読み込み後はオフラインでも動作します。