codelucas · codelucas · Aug 27, 2018 · Jun 19, 2018 · Aug 27, 2018 · Aug 27, 2018
diff --git a/README.rst b/README.rst
@@ -223,6 +223,7 @@ Features
       sl              Slovenian
       sr              Serbian
       et              Estonian
+      ja              Japanese
       be              Belarusian
 
 

diff --git a/docs/index.rst b/docs/index.rst
@@ -224,6 +224,7 @@ Features
       sl              Slovenian
       sr              Serbian
       et              Estonian
+      ja              Japanese
       be              Belarusian
 
 

diff --git a/docs/user_guide/quickstart.rst b/docs/user_guide/quickstart.rst
@@ -269,4 +269,5 @@ of popular news source urls.. In case you need help choosing a news source!
       sl              Slovenian
       sr              Serbian
       et              Estonian
+      ja              Japanese
       be              Belarusian
diff --git a/newspaper/configuration.py b/newspaper/configuration.py
@@ -14,7 +14,7 @@
 
 from .parsers import Parser
 from .text import (StopWords, StopWordsArabic, StopWordsChinese,
-                   StopWordsKorean, StopWordsHindi)
+                   StopWordsKorean, StopWordsHindi, StopWordsJapanese)
 from .version import __version__
 
 log = logging.getLogger(__name__)
@@ -114,6 +114,8 @@ def get_stopwords_class(language):
         # There is a persian parser https://github.com/sobhe/hazm, but nltk is likely sufficient
         elif language == 'ar' or language == 'fa':
             return StopWordsArabic
+        elif language == 'ja':
+            return StopWordsJapanese
         return StopWords
 
     @staticmethod

diff --git a/newspaper/resources/text/stopwords-ja.txt b/newspaper/resources/text/stopwords-ja.txt
@@ -0,0 +1,134 @@
+あそこ
+あっ
+あの
+あのかた
+あの人
+あり
+あります
+ある
+あれ
+い
+いう
+います
+いる
+う
+うち
+え
+お
+および
+おり
+おります
+か
+かつて
+から
+が
+き
+ここ
+こちら
+こと
+この
+これ
+これら
+さ
+さらに
+し
+しかし
+する
+ず
+せ
+せる
+そこ
+そして
+その
+その他
+その後
+それ
+それぞれ
+それで
+た
+ただし
+たち
+ため
+たり
+だ
+だっ
+だれ
+つ
+て
+で
+でき
+できる
+です
+では
+でも
+と
+という
+といった
+とき
+ところ
+として
+とともに
+とも
+と共に
+どこ
+どの
+な
+ない
+なお
+なかっ
+ながら
+なく
+なっ
+など
+なに
+なら
+なり
+なる
+なん
+に
+において
+における
+について
+にて
+によって
+により
+による
+に対して
+に対する
+に関する
+の
+ので
+のみ
+は
+ば
+へ
+ほか
+ほとんど
+ほど
+ます
+また
+または
+まで
+も
+もの
+ものの
+や
+よう
+より
+ら
+られ
+られる
+れ
+れる
+を
+ん
+何
+及び
+彼
+彼女
+我々
+特に
+私
+私達
+貴方
+貴方方
diff --git a/newspaper/text.py b/newspaper/text.py
@@ -182,3 +182,16 @@ def get_stopword_count(self, content):
         ws.set_stopword_count(len(overlapping_stopwords))
         ws.set_stop_words(overlapping_stopwords)
         return ws
+
+
+class StopWordsJapanese(StopWords):
+    """Japanese segmentation
+    """
+    def __init__(self, language='ja'):
+        super(StopWordsJapanese, self).__init__(language='ja')
+
+    def candidate_words(self, stripped_input):
+        import tinysegmenter
+        segmenter = tinysegmenter.TinySegmenter()
+        tokens = segmenter.tokenize(stripped_input)
+        return tokens
diff --git a/newspaper/utils.py b/newspaper/utils.py
@@ -388,6 +388,7 @@ def print_available_languages():
         'sl': 'Slovenian',
         'sr': 'Serbian',
         'et': 'Estonian',
+        'ja': 'Japanese',
         'be': 'Belarusian'
     }
 

diff --git a/requirements.txt b/requirements.txt
@@ -10,3 +10,4 @@ tldextract>=2.0.1
 feedfinder2>=0.0.4
 jieba3k>=0.35.1
 python-dateutil>=2.5.3
+tinysegmenter==0.3  # TODO(codelucas): Investigate making this >=0.3
diff --git a/tests/data/html/japanese_article.html b/tests/data/html/japanese_article.html