util/org/cacert/gigi/util/HighFinancialValueFetcherUmbrella.java

   1 package org.cacert.gigi.util;
   2
   3 import java.io.File;
   4 import java.io.PrintWriter;
   5 import java.util.HashSet;
   6
   7 public class HighFinancialValueFetcherUmbrella extends HighFinancialValueFetcher {
   8
   9     public HighFinancialValueFetcherUmbrella(File f, int max) {
  10         super(f, max, "https://s3-us-west-1.amazonaws.com/umbrella-static/top-1m.csv.zip");
  11     }
  12
  13     private HashSet<String> printed = new HashSet<>();
  14
  15     @Override
  16     public void handle(String line, PrintWriter fos) {
  17         String[] parts = line.split(",");
  18         // Assert that the value before the "," is an integer
  19         Integer.parseInt(parts[0]);
  20
  21         String registrablePart = PublicSuffixes.getInstance().getRegistrablePart(parts[1]);
  22         if (registrablePart != null && printed.add(registrablePart)) {
  23             emit(fos, registrablePart);
  24             System.out.println(registrablePart);
  25         }
  26
  27     }
  28
  29 }