Contents

# encoding: UTF-8

# Copyright 2012 Twitter, Inc
# http://www.apache.org/licenses/LICENSE-2.0

module TwitterCldr
  module Tokenizers
    autoload :Base,                         'twitter_cldr/tokenizers/base'
    autoload :Token,                        'twitter_cldr/tokenizers/token'
    autoload :CompositeToken,               'twitter_cldr/tokenizers/composite_token'
    autoload :Tokenizer,                    'twitter_cldr/tokenizers/tokenizer'
    autoload :TokenRecognizer,              'twitter_cldr/tokenizers/tokenizer'
    autoload :PatternTokenizer,             'twitter_cldr/tokenizers/pattern_tokenizer'
    autoload :DateTimeTokenizer,            'twitter_cldr/tokenizers/calendars/date_time_tokenizer'
    autoload :DateTokenizer,                'twitter_cldr/tokenizers/calendars/date_tokenizer'
    autoload :TimeTokenizer,                'twitter_cldr/tokenizers/calendars/time_tokenizer'
    autoload :NumberTokenizer,              'twitter_cldr/tokenizers/numbers/number_tokenizer'
    autoload :RbnfTokenizer,                'twitter_cldr/tokenizers/numbers/rbnf_tokenizer'
    autoload :TimespanTokenizer,            'twitter_cldr/tokenizers/calendars/timespan_tokenizer'
    autoload :UnicodeRegexTokenizer,        'twitter_cldr/tokenizers/unicode_regex/unicode_regex_tokenizer'
    autoload :SegmentationTokenizer,        'twitter_cldr/tokenizers/segmentation/segmentation_tokenizer'
  end
end

Version data entries

53 entries across 53 versions & 3 rubygems

Version	Path
twitter_cldr-6.7.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.6.2	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.6.1	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.6.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.5.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.4.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.3.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.2.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.1.0	lib/twitter_cldr/tokenizers.rb
metanorma-cli-1.3.4	gems/ruby/2.6.0/gems/twitter_cldr-4.4.5/lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.0.2	lib/twitter_cldr/tokenizers.rb
metanorma-cli-1.3.3.1	gems/ruby/2.6.0/gems/twitter_cldr-4.4.5/lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.0.1	lib/twitter_cldr/tokenizers.rb
twitter_cldr-6.0.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-5.4.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-5.3.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-5.2.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-5.1.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-5.0.0	lib/twitter_cldr/tokenizers.rb
twitter_cldr-4.4.5	lib/twitter_cldr/tokenizers.rb