Contents

# encoding: utf-8
require "spec_helper"

describe TextNlp::StopList do
  
  it "should remove the words/expressions defined by the stop list" do
    
    TextNlp::StopList.directory = File.dirname(__FILE__)
    
    stop_list = TextNlp::StopList.new(:expressions => ['il','a','ecrit par toto'])
    stop_list.size.should eq 3
    stop_list.transform("bordel Il fait chaud ici").should eq 'bordel fait chaud ici'
    stop_list.transform("bordel Il fait chaud ici ecrit par toto").should eq 'bordel fait chaud ici'
    stop_list.transform("bordel Il fait chaud ici ecrit par titi").should eq 'bordel fait chaud ici ecrit par titi'
    
    stop_list = TextNlp::StopList.new(:expressions => ['il','a','ecrit par toto'], :file => File.join(File.dirname(__FILE__),"stop_list_toto.txt"))
    stop_list.size.should eq 5
    stop_list.transform("bordel Il fait chaud ici").should eq 'fait chaud ici'
    stop_list.transform("bordel Il fait chaud ici ecrit par toto").should eq 'fait chaud ici'
    stop_list.transform("bordel Il fait chaud ici ecrit par titi").should eq 'fait chaud ici ecrit par titi'
    
    stop_list = TextNlp::StopList.new(:name => "min_fr")
    stop_list.size.should eq 3
    stop_list.transform("le ballon de zizou").should eq 'ballon zizou'
    
    stop_list = TextNlp::StopList.new(:names => ["min_fr","min_en"])
    stop_list.size.should eq 5
    
    stop_list = TextNlp::StopList.new(
      :files => [File.join(File.dirname(__FILE__),"stop_list_toto.txt"),File.join(File.dirname(__FILE__),"stop_list_tutu.txt")])
    stop_list.size.should eq 4
  end
  
end

Version data entries

1 entries across 1 versions & 1 rubygems

Version	Path
text_nlp-0.0.3	spec/stop_list_spec.rb