multiprocessing 겅부..

파이썬 멀티프로세싱 겅부중...!

import multiprocessing as mp
from multiprocessing import Pool
import spacy
import time

nlp = spacy.load("ko_core_news_lg")

def multi(text):

    start = time.time()
    print(mp.cpu_count())
    with Pool(mp.cpu_count()) as pool:
        pool_top_k_data = pool.map(multi_spacy, text)
        pool.close()
        pool.join()
    print('>>>>>>>>>>>>>>> spacy ', '__________', time.time() - start)

def multi_spacy(text):
    doc = nlp(text)
    print(doc.text)
    for token in doc:
        print(token.text, token.pos_, token.ent_type_)

def spacy(text):
    start = time.time()
    for a in text:
        doc = nlp(a)
        print(doc.text)
        for token in doc:
            print(token.text, token.pos_, token.ent_type_)
    print('>>>>>>>>>>>>>>> spacy ', '__________', time.time() - start)