From 691efab29ed441e8580986fce6879fb24ff50975 Mon Sep 17 00:00:00 2001 From: Rani Glaser Date: Tue, 7 Jul 2015 14:29:38 -0700 Subject: [PATCH] Added hebrew support --- README.rst | 1 + docs/index.rst | 1 + docs/user_guide/quickstart.rst | 1 + newspaper/resources/text/stopwords-he.txt | 221 ++++++++++++++++++++++ newspaper/utils.py | 1 + 5 files changed, 225 insertions(+) create mode 100644 newspaper/resources/text/stopwords-he.txt diff --git a/README.rst b/README.rst index 29fb8271..901a9f47 100644 --- a/README.rst +++ b/README.rst @@ -191,6 +191,7 @@ Features en English es Spanish fr French + he Hebrew it Italian ko Korean no Norwegian diff --git a/docs/index.rst b/docs/index.rst index 108471e7..aaf60fc6 100644 --- a/docs/index.rst +++ b/docs/index.rst @@ -30,6 +30,7 @@ Inspired by `requests`_ for its simplicity and powered by `lxml`_ for its speed. en English es Spanish fr French + he Hebrew it Italian ko Korean no Norwegian diff --git a/docs/user_guide/quickstart.rst b/docs/user_guide/quickstart.rst index d7a12c57..a0fdaab6 100644 --- a/docs/user_guide/quickstart.rst +++ b/docs/user_guide/quickstart.rst @@ -252,6 +252,7 @@ of popular news source urls.. In case you need help choosing a news source! en English es Spanish fr French + he Hebrew it Italian ko Korean no Norwegian diff --git a/newspaper/resources/text/stopwords-he.txt b/newspaper/resources/text/stopwords-he.txt new file mode 100644 index 00000000..7d09fb54 --- /dev/null +++ b/newspaper/resources/text/stopwords-he.txt @@ -0,0 +1,221 @@ +אני +את +אתה +אנחנו +אתן +אתם +הם +הן +היא +הוא +שלי +שלו +שלך +שלה +שלנו +שלכם +שלכן +שלהם +שלהן +לי +לו +לה +לנו +לכם +לכן +להם +להן +אותה +אותו +זה +זאת +אלה +אלו +תחת +מתחת +מעל +בין +עם +עד +נגר +על +אל +מול +של +אצל +כמו +אחר +אותו +בלי +לפני +אחרי +מאחורי +עלי +עליו +עליה +עליך +עלינו +עליכם +לעיכן +עליהם +עליהן +כל +כולם +כולן +כך +ככה +כזה +זה +זות +אותי +אותה +אותם +אותך +אותו +אותן +אותנו +ואת +את +אתכם +אתכן +איתי +איתו +איתך +איתה +איתם +איתן +איתנו +איתכם +איתכן +יהיה +תהיה +היתי +היתה +היה +להיות +עצמי +עצמו +עצמה +עצמם +עצמן +עצמנו +עצמהם +עצמהן +מי +מה +איפה +היכן +במקום שבו +אם +לאן +למקום שבו +מקום בו +איזה +מהיכן +איך +כיצד +באיזו מידה +מתי +בשעה ש +כאשר +כש +למרות +לפני +אחרי +מאיזו סיבה +הסיבה שבגללה +למה +מדוע +לאיזו תכלית +כי +יש +אין +אך +מנין +מאין +מאיפה +יכל +יכלה +יכלו +יכול +יכולה +יכולים +יכולות +יוכלו +יוכל +מסוגל +לא +רק +אולי +אין +לאו +אי +כלל +נגד +אם +עם +אל +אלה +אלו +אף +על +מעל +מתחת +מצד +בשביל +לבין +באמצע +בתוך +דרך +מבעד +באמצעות +למעלה +למטה +מחוץ +מן +לעבר +מכאן +כאן +הנה +הרי +פה +שם +אך +ברם +שוב +אבל +מבלי +בלי +מלבד +רק +בגלל +מכיוון +עד +אשר +ואילו +למרות +אס +כמו +כפי +אז +אחרי +כן +לכן +לפיכך +מאד +עז +מעט +מעטים +במידה +שוב +יותר +מדי +גם +כן +נו +אחר +אחרת +אחרים +אחרות +אשר +או \ No newline at end of file diff --git a/newspaper/utils.py b/newspaper/utils.py index aede89b5..55cf1012 100644 --- a/newspaper/utils.py +++ b/newspaper/utils.py @@ -336,6 +336,7 @@ def print_available_languages(): 'en': 'English', 'es': 'Spanish', 'fr': 'French', + 'he': 'Hebrew', 'it': 'Italian', 'ko': 'Korean', 'no': 'Norwegian',