如何从 CSV 或 Java 中的任何其他文件中删除重复元素？

已发表: 2021-05-28

如何从 CSV 或 Java 中的任何其他文件中删除重复元素

从文件中查找重复行并不是一个难题。 但有时在面试问题中，人们有时会对他们必须使用的方法感到非常困惑。

在本教程中，我们将介绍如何从 CSV 文件和任何其他文件中删除重复项的步骤。

让我们开始吧：

第1步。

创建文件CrunchifyFindDuplicateCSV .java

第2步。

  • 将以下代码放入文件中。
  • 我们正在使用 BufferedReader 来读取文件。
  • 一个一个地向 HashSet 添加行。
    • HashSet 类实现了 Set 接口，由一个哈希表（实际上是一个 HashMap 实例）支持。 它不保证集合的迭代顺序； 特别是，它不保证订单会随着时间的推移保持不变。 此类允许空元素。
  • 使用方法 add() 检查行中是否已经存在于 Set 中。
    • 如果指定的元素尚不存在，则将其添加到此集合中。 更正式地说，如果此集合不包含元素 e2，例如 Objects.equals(e, e2)，则将指定元素 e 添加到此集合。 如果此集合已包含该元素，则调用将保持集合不变并returns false 。
  • 一旦跳过，我们将把该行打印为跳过的行。

crunchify.csv 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
name city number age
kedar kapan 9843875 23
sedai ktm 97798433 23
ayush kalopul 9856324 12
dipal ratopul 9842567 34
malla setiopul 1258496 33
ayush kalopul 9856324 12
babin karki hariyopul 32589 11
raju dhading 58432 44
sedai ktm 97798433 23
 
 
Crunchify , LLC
PayPal . com
Google . com
Twitter . com
FaceBook . com
Crunchify , LLC
Google . com
Visa . com
MasterCard . com
Citi . com
California
Austin
California

CrunchifyFindDuplicateCSV.java

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
package crunchify . com . tutorial ;
 
import java . io . BufferedReader ;
import java . io . FileNotFoundException ;
import java . io . FileReader ;
import java . io . IOException ;
import java . util . HashSet ;
 
/**
* @author Crunchify.com
* How to Remove Duplicate Elements from CSV file in Java?
*/
 
public class CrunchifyFindDuplicateCSV {
 
     public static void main ( String [ ] argv ) {
 
         String crunchifyCSVFile = "/Users/Shared/crunchify.csv" ;
 
         // Reads text from a character-input stream, buffering characters so as to provide for the
         // efficient reading of characters, arrays, and lines.
         BufferedReader crunchifyBufferReader = null ;
         String crunchifyLine = "" ;
 
         // This class implements the Set interface, backed by a hash table (actually a HashMap instance).
         // It makes no guarantees as to the iteration order of the set; in particular, it does not guarantee that the order will
         // remain constant over time. This class permits the null element.
         HashSet < String > crunchifyAllLines = new HashSet < > ( ) ;
 
         try {
             crunchifyBufferReader = new BufferedReader ( new FileReader ( crunchifyCSVFile ) ) ;
             while ( ( crunchifyLine = crunchifyBufferReader . readLine ( ) ) ! = null ) {
                 if ( crunchifyAllLines . add ( crunchifyLine ) ) {
                     crunchifyLog ( "Processed line: " + crunchifyLine ) ;
                 } else if ( ! crunchifyIsNullOrEmpty ( crunchifyLine ) ) {
                     crunchifyLog ( "--------------- Skipped line: " + crunchifyLine ) ;
                 }
             }
         } catch ( FileNotFoundException e ) {
             e . printStackTrace ( ) ;
         } catch ( IOException e ) {
             e . printStackTrace ( ) ;
         } finally {
             if ( crunchifyBufferReader ! = null ) {
                 try {
                     crunchifyBufferReader . close ( ) ;
                 } catch ( IOException e ) {
                     e . printStackTrace ( ) ;
                 }
             }
         }
     }
 
     // Check if String with spaces is Empty or Null
     public static boolean crunchifyIsNullOrEmpty ( String crunchifyString ) {
 
         if ( crunchifyString ! = null && !crunchifyString.trim().isEmpty())
            return false;
         return true ;
     }
 
     // Simple method for system outs
     private static void crunchifyLog ( String s ) {
 
         System . out . println ( s ) ;
     }
 
}
 
// Linux command to remove duplicate lines from file:
// $ sort -u /Users/Shared/crunchify.csv

让我们在 IntelliJ IDE 中运行 Java 程序。

这是一个结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Processed line : name city number age
Processed line : kedar kapan 9843875 23
Processed line : sedai ktm 97798433 23
Processed line : ayush kalopul 9856324 12
Processed line : dipal ratopul 9842567 34
Processed line : malla setiopul 1258496 33
--------------- Skipped line : ayush kalopul 9856324 12
Processed line : babin karki hariyopul 32589 11
Processed line : raju dhading 58432 44
--------------- Skipped line : sedai ktm 97798433 23
Processed line :
Processed line : Crunchify , LLC
Processed line : PayPal . com
Processed line : Google . com
Processed line : Twitter . com
Processed line : FaceBook . com
--------------- Skipped line : Crunchify , LLC
--------------- Skipped line : Google . com
Processed line : Visa . com
Processed line : MasterCard . com
Processed line : Citi . com
Processed line : California
Processed line : Austin
--------------- Skipped line : California
 
Process finished with exit code 0

希望您发现这个 Java 程序对在 CSV 或任何其他文件中查找重复行很有用。

如何使用 Linux 命令在 CSV 中查找重复行？

1
$ sort - u / Users / Shared / crunchify . csv

结果：

如何在 Linux 中从 CSV 文件中删除重复元素