import numpy as np
import guidedlda
import pandas as pd
import csv
import os
from sklearn.feature_extraction.text import CountVectorizer
import jovian

raw_stopwords = "ა.შ. აგერ აგრეთვე ალბათ ამაზე ამას ამასთან ამასთანავე ამგვარად ამდენად ამით ამის ამისთვის ამიტომ ამიტომაც ამჟამად ამჯერად ან ანუ არ არა არადა არათუ არამარტო არამედ არამხოლოდ არანაკლებ არასოდეს არაუადრეს არაუგვიანეს არაუმეტეს არსად არსაიდან არც არცერთ ასევე ასეც აქამდე აღარ აღარც ბოლოს ბოლოსკენ გამო გამუდმებით განსაკუთრებით გარდა გარეშე და დასასრულს დასაწყისში დროულად ე.ი. ე.წ. ეგებ ერთადერთი ერთადერთმა ერთ-ერთი ერთხელ ესოდე ვერ ვითომ ვინაიდან ვინძლო ვისაც ზემოაღნიშნულმა ზოგჯერ თავად თავადაც თავადვე თავდაპირველად თავიდანვე თავის მხრივ თან თანაც თანახმადაც თანდათან თვით თვითონ თვითონაც თვითონვე თითოეულმა თითქოს თუ თუკი თუმცა თუმცაღა თუნდაც იმავდროულად იმავე იმან იმას იმდენად იმთავითვე იმით იმის იმისთვის იმიტომ ისევე ისეთი ისეც იშვიათად კერძოდ კვლავ კი კიდევ მაგალითად მაგან მაგას მაგით მაგის მაგრამ მათი მაინც მანამ მანამდე მართალია მარტო მაშასადამე მაშინ მაშინვე მერე მეტად მთელი მიერ მით მიმართ მისივე მსგავსი მხოლოდ ნაწილობრივ ნეტავ ნეტავი ნუ ნურასოდეს ნურც ნუღარ ნუღარც ოდენ ოდესღაც ოღონდ პირველი პირიქით პრინციპში რადგან რადგანაც რათა რაკი რამდენად რამდენადაც რამეთუ რამენაირად რამეფრად რანაირადაც რასაკვირველია რასაც რაღაც რაც რითაც რისთვისაც როგორადაც როგორიც როგორიცაა როგორღაც როგორც როდესაც როდესღაც რომ რომელიმე რომელიც რომელსაც რომლებიც რომლითაც რომლის როცა საბოლოოდ სადაც სადღაც საერთოდ სათანადოდ საიდანაც სამომავლოდ სანამ სანამდე სრულად სულ სწორედ სხვადასხვა სხვები უკვე უნდა უსათუოდ უფრო უცებ უცნაურად ფაქტობრივად ყველა ყოველგვარი ყოველთვის ყოველი ყოველივე შედარებით შედეგად შემდგომ შემდგომში შემდეგ შესახებ შორის ჩვეულებრივ წინააღმდეგ წინაშე ხან ხოლმე ხოლო ხშირად ჯერაც ჯერჯერობით ამის გარდა ამის გარეშე ამის მიუხედავად ამასთან ერთად ამის მიხედვით ამის ნაცვლად ამის პასუხად ამასთან შედარებით ამბობს რომ ამ დროს ამ თემაზე ამ მიზნით ამის საპირისპიროდ ამის გამო ამ მხრივ ამის უარსაყოფად ამის შედეგად ამ შემთხვევაში ამავე დროს ამას გარდა ამასთან დაკავშირებით ამის შემდეგ ამის შესაბამისად ამის შესახებ ამისგან განსხვავებით არა მარტო არა მხოლოდ არა უადრეს არა უგვიანეს არც ერთი არც კი არც მეორე ასე ვთქვათ ასე მაგალითად ასე რომ ასე შემდეგ ასევე განიხილავს აქედან გამომდინარე აქედან დასკვნა აღნიშნა რომ აღნიშნულთან დაკავშირებით აცხადებს რომ ბოლო ერთი ბოლო პერიოდში ბოლო წლებში გამოთქვა იმედი განაცხადა რომ განმარტა რომ გარდა ამისა გარშემო არსებული და სხვ. და სხვა დაადასტურა რომ ეგრეთ წოდებული ეგრეთ წოდებულმა ერთი თვალსაზრისით ერთი მხრივ ერთის მხრივ ეს კი ესე იგი ვიდრე არ თავიდან ბოლომდე თუ რამდენად თუ როგორ იგივეა რაც იმ შემთხვევაში იმაზე მეტი იმაზე რომ იმას რომ იმასთან დაკავშირებით იმდენად რამდენადაც იმედი გამოთქვა იმის გამო იმის თაობაზე იმის საწინააღმდეგოდ იმისათვის რომ იმისთვის რათა იმისთვის რომ იმიტომ რომ ის რომელიც ისე როგორც ისე რომ ისევე როგორც ისეთი როგორიც იქიდან გამომდინარე კიდევ ერთხელ მაგრამ თუ მათ შორის მათი ვარაუდით მანამ სანამ მას შემდეგ მაშინ როცა მაშინაც კი მეორე მხრივ მეორეც ერთი მერე მეორე მით უფრო მიიჩნევს რომ მისი განმარტებით მისი თქმით მისივე თქმით მიუხედავად ამისა ნურც კი პირველ რიგში რა დროსაც რა მიზეზითაც რაც შეეხება რაც შეიძლება რის გამოც რის საფუძველზედაც რის საფუძველზეც რის შედეგადაც რის შემდეგაც როგორც კი რომ არა რომ თუ რომელთა გამოც რომლის თანახმად რომლის თანახმადაც რომლის მიხედვითაც რომლის შესახებ საკითხთან დაკავშირებით სულ მცირე სულ ცოტა სხვა კუთხით სხვა მხრივ სხვა რამ სხვათა შორის უფრო მეტიც ყოველივე ეს შემდეგ უკვე ჩვენი განცხადებით ჯერ ერთი ჯერ კიდევ ამ ბოლო დროს ამა თუ იმ ასე თუ ისე აქედან ჩანს რომ ბოლოს და ბოლოს გამომდინარე იქიდან რომ და ასე შემდეგ ვინაიდან და რადგანაც თუ რის საფუძველზე იმის გათვალისწინებით რომ იმის გამო რომ იმის ნაცვლად რომ ისევ და ისევ იქვე აღნიშნა რომ იქიდან გამომდინარე რომ კიდევ და კიდევ მაინც და მაინც მას შემდეგ რაც მიუხედავად იმისა თუ მიუხედავად იმისა რომ როგორც უკვე ითქვა როდის და რატომ უფრო და უფრო მე მე ჩემი თვითონ ჩვენ ჩვენი ჩვენია საკუთარ თავს შენ შენი შენია საკუთარ თავს თვითონ ის მას მისი თავად მან მისი ჰერსი თავად ეს მისი თავად ისინი მათ მათი მათი თვითონ რა რომელიც ვინ ვისი ეს რომ ეს იმ ვარ არის არიან იყო იყო იყოს იყო ყოფნა აქვს აქვს ჰქონდა რომელსაც აქვს კეთება აკეთებს გააკეთა კეთება ა a ის და მაგრამ თუ ან რადგან როგორც სანამ ხოლო საქართველოს ზე მიერ ამისთვის ერთად დაახლოებით წინააღმდეგ შორის შევიდა მეშვეობით დროს ადრე შემდეგ ზემოთ ქვევით to დან up ქვემოთ შემოსული გარეთ დასრულდა ქვეშ კიდევ ერთხელ უფრო მაშინ ერთხელ აქ იქ როდესაც სადაც რატომ როგორ ყველა ნებისმიერი ორივე თითოეული რამდენიმე მეტი საუკეთესო სხვა ზოგიერთი ასეთი არა არც არა მხოლოდ საკუთარი იგივე ისე ვიდრე ძალიან ძალიან s ტ შეიძლება ნება უბრალოდ დონ უნდა ახლა"
russian_stopwords = " c  а  алло  без  белый  близко  более  больше  большой  будем  будет  будете  будешь  будто  буду  будут  будь  бы  бывает  бывь  был  была  были  было  быть  в  важная  важное  важные  важный  вам  вами  вас  ваш  ваша  ваше  ваши  вверх  вдали  вдруг  ведь  везде  вернуться  весь  вечер  взгляд  взять  вид  видел  видеть  вместе  вне  вниз  внизу  во  вода  война  вокруг  вон  вообще  вопрос  восемнадцатый  восемнадцать  восемь  восьмой  вот  впрочем  времени  время  все  все еще  всегда  всего  всем  всеми  всему  всех  всею  всю  всюду  вся  всё  второй  вы  выйти  г  где  главный  глаз  говорил  говорит  говорить  год  года  году  голова  голос  город  да  давать  давно  даже  далекий  далеко  дальше  даром  дать  два  двадцатый  двадцать  две  двенадцатый  двенадцать  дверь  двух  девятнадцатый  девятнадцать  девятый  девять  действительно  дел  делал  делать  делаю  дело  день  деньги  десятый  десять  для  до  довольно  долго  должен  должно  должный  дом  дорога  друг  другая  другие  других  друго  другое  другой  думать  душа  е  его  ее  ей  ему  если  есть  еще  ещё  ею  её  ж  ждать  же  жена  женщина  жизнь  жить  за  занят  занята  занято  заняты  затем  зато  зачем  здесь  земля  знать  значит  значить  и  иди  идти  из  или  им  имеет  имел  именно  иметь  ими  имя  иногда  их  к  каждая  каждое  каждые  каждый  кажется  казаться  как  какая  какой  кем  книга  когда  кого  ком  комната  кому  конец  конечно  которая  которого  которой  которые  который  которых  кроме  кругом  кто  куда  лежать  лет  ли  лицо  лишь  лучше  любить  люди  м  маленький  мало  мать  машина  между  меля  менее  меньше  меня  место  миллионов  мимо  минута  мир  мира  мне  много  многочисленная  многочисленное  многочисленные  многочисленный  мной  мною  мог  могу  могут  мож  может  может быть  можно  можхо  мои  мой  мор  москва  мочь  моя  моё  мы  на  наверху  над  надо  назад  наиболее  найти  наконец  нам  нами  народ  нас  начала  начать  наш  наша  наше  наши  не  него  недавно  недалеко  нее  ней  некоторый  нельзя  нем  немного  нему  непрерывно  нередко  несколько  нет  нею  неё  ни  нибудь  ниже  низко  никакой  никогда  никто  никуда  ним  ними  них  ничего  ничто  но  новый  нога  ночь  ну  нужно  нужный  нх  о  об  оба  обычно  один  одиннадцатый  одиннадцать  однажды  однако  одного  одной  оказаться  окно  около  он  она  они  оно  опять  особенно  остаться  от  ответить  отец  откуда  отовсюду  отсюда  очень  первый  перед  писать  плечо  по  под  подойди  подумать  пожалуйста  позже  пойти  пока  пол  получить  помнить  понимать  понять  пор  пора  после  последний  посмотреть  посреди  потом  потому  почему  почти  правда  прекрасно  при  про  просто  против  процентов  путь  пятнадцатый  пятнадцать  пятый  пять  работа  работать  раз  разве  рано  раньше  ребенок  решить  россия  рука  русский  ряд  рядом  с  с кем  сам  сама  сами  самим  самими  самих  само  самого  самой  самом  самому  саму  самый  свет  свое  своего  своей  свои  своих  свой  свою  сделать  сеаой  себе  себя  сегодня  седьмой  сейчас  семнадцатый  семнадцать  семь  сидеть  сила  сих  сказал  сказала  сказать  сколько  слишком  слово  случай  смотреть  сначала  снова  со  собой  собою  советский  совсем  спасибо  спросить  сразу  стал  старый  стать  стол  сторона  стоять  страна  суть  считать  т  та  так  такая  также  таки  такие  такое  такой  там  твои  твой  твоя  твоё  те  тебе  тебя  тем  теми  теперь  тех  то  тобой  тобою  товарищ  тогда  того  тоже  только  том  тому  тот  тою  третий  три  тринадцатый  тринадцать  ту  туда  тут  ты  тысяч  у  увидеть  уж  уже  улица  уметь  утро  хороший  хорошо  хотел бы  хотеть  хоть  хотя  хочешь  час  часто  часть  чаще  чего  человек  чем  чему  через  четвертый  четыре  четырнадцатый  четырнадцать  что  чтоб  чтобы  чуть  шестнадцатый  шестнадцать  шестой  шесть  эта  эти  этим  этими  этих  это  этого  этой  этом  этому  этот  эту  я  являюсь    "
stopwords = set(["i", "me", "my", "myself", "we", "our", "ours", "ourselves", "you", "your", "yours", "yourself", "yourselves", "he", "him", "his", "himself", "she", "her", "hers", "herself", "it", "its", "itself", "they", "them", "their", "theirs", "themselves", "what", "which", "who", "whom", "this", "that", "these", "those", "am", "is", "are", "was", "were", "be", "been", "being", "have", "has", "had", "having", "do", "does", "did", "doing", "a", "an", "the", "and", "but", "if", "or", "because", "as", "until", "while", "of", "at", "by", "for", "with", "about", "against", "between", "into", "through", "during", "before", "after", "above", "below", "to", "from", "up", "down", "in", "out", "on", "off", "over", "under", "again", "further", "then", "once", "here", "there", "when", "where", "why", "how", "all", "any", "both", "each", "few", "more", "most", "other", "some", "such", "no", "nor", "not", "only", "own", "same", "so", "than", "too", "very", "s", "t", "can", "will", "just", "don", "should", "now"])
raw_stopwords += russian_stopwords
for stopword in raw_stopwords.split(' '):
    stopwords.add(stopword.strip().replace(',', ''))

files = os.listdir("Q2_2019")
path = "Q2_2019/"
docs = []
for file in files:
    with open(path+file) as source_file:
        source_data = pd.read_csv(source_file)
        X = source_data["Text"].dropna()
        docs.extend(X.values)

vec = CountVectorizer(ngram_range=(1,3),stop_words = stopwords)
X = vec.fit_transform(docs)
X = np.asarray(X.toarray())
vocab = vec.get_feature_names()
word2id = dict((v, idx) for idx, v in enumerate(vocab))
print(len(X))

topics = os.listdir("Seed_topics")
seed_topic_list = []

for file in topics:
    keys = []
    with open("Seed_topics/"+file) as seed_file:
        print(file)
        for line in seed_file:
            keys.append(line[:-1])
        seed_topic_list.append(keys)
print(len(seed_topic_list))