[파이썬] Most Common Words 가장 자주 사용된 단어 추출

[파이썬] Most Common Words

인자로 받은 txt 파일에서 가장 자주 나온 단어 순으로 출력하는 프로그램

​x
import sys
from collections import Counter

try:
    num_words = int(sys.argv[1]) #두번째 인자
except:
    print("usage: most_common_words.py nuim_words")
    sys.exit()

counter = Counter(word.lower()
                    for line in sys.stdin
                    for word in line.strip().split()
                    if word)
for word, count in counter.most_common(num_words):
    sys.stdout.write(str(count))
    sys.stdout.write("\t")
    sys.stdout.write(word)
    sys.stdout.write("\n")

xxxxxxxxxx
$ the_bible.txt | python3 most_common_words.py 10

결과:

xxxxxxxxxx
64193   the
51380   and
34753   of
13643   to
12799   that
12560   in
10263   he
9840    shall
8987    unto
8836    for

Counter 사용이 핵심이다