52 lines
3.1 KiB
Python
52 lines
3.1 KiB
Python
|
import gensim
|
|||
|
|
import numpy as np
|
|||
|
|
import jieba
|
|||
|
|
from gensim.models.doc2vec import Doc2Vec, LabeledSentence
|
|||
|
|
# stop_text = open('stop_list.txt', 'r')
|
|||
|
|
# stop_word = []
|
|||
|
|
# for line in stop_text:
|
|||
|
|
# stop_word.append(line.strip())
|
|||
|
|
TaggededDocument = gensim.models.doc2vec.TaggedDocument
|
|||
|
|
|
|||
|
|
def get_corpus():
|
|||
|
|
|
|||
|
|
with open("corpus_seg.txt", 'r') as doc:
|
|||
|
|
docs = doc.readlines()
|
|||
|
|
train_docs = []
|
|||
|
|
for i, text in enumerate(docs):
|
|||
|
|
word_list = text.split(' ')
|
|||
|
|
length = len(word_list)
|
|||
|
|
word_list[length - 1] = word_list[length - 1].strip()
|
|||
|
|
document = TaggededDocument(word_list, tags=[i])
|
|||
|
|
train_docs.append(document)
|
|||
|
|
return train_docs
|
|||
|
|
|
|||
|
|
def train(x_train, size=200, epoch_num=1):
|
|||
|
|
model_dm = Doc2Vec(x_train, min_count=1, window=3, size=size, sample=1e-3, negative=5, workers=4)
|
|||
|
|
model_dm.train(x_train, total_examples=model_dm.corpus_count, epochs=70)
|
|||
|
|
model_dm.save('model_doc2vec')
|
|||
|
|
return model_dm
|
|||
|
|
|
|||
|
|
def test():
|
|||
|
|
model_dm = Doc2Vec.load("model_doc2vec")
|
|||
|
|
text_test = u'武汉东湖新技术开发区人民检察院指控： 2013年4月27日21时许，被告人王某、连某经预谋后，窜至本区流芳高新四路联想工地内，窃取该处扣件若干欲离开时，被此处工地值班人员刘某发现并制止。被告人王某、连某遂共同用拳头、安全帽及啤酒瓶殴打刘某的头部、背部等处，致被害人刘某轻微伤，后共同逃离现场。 2013年11月1日，被告人王某被公安机关抓获。同年11月25日，被告人王某按照公安机关的安排，以打电话的方式联系被告人连某投案。到案后，上述二被告人共同赔偿被害人刘某人民币1．5万元，并获得谅解。 针对上述指控的事实，公诉机关当庭出示和宣读的证据有：1、抓获及破案经过；2、调解协议、谅解书、病历等书证；3、涉案物品照片；4、鉴定意见书；5、证人证言；6、被害人陈述；7、被告人的供述及辩解、讯问同步录音录像等。 公诉机关认为，被告人王某、连某以非法占有为目的，在实施盗窃行为时，为抗拒抓捕，当场使用暴力，致一人轻微伤，其行为均触犯了《中华人民共和国刑法》第二百六十九条、第二百六十三条的规定，应当以抢劫罪追究其刑事责任。案发后，被告人王某协助公安机关抓捕同案犯，具有《中华人民共和国刑法》第六十八条规定的情节；被告人连某主动投案，并如实供述自己的犯罪事实，具有《中华人民共和国刑法》第六十七条第一款规定的情节。'
|
|||
|
|
text_cut = jieba.cut(text_test)
|
|||
|
|
text_raw = []
|
|||
|
|
for i in list(text_cut):
|
|||
|
|
text_raw.append(i)
|
|||
|
|
inferred_vector_dm = model_dm.infer_vector(text_raw)
|
|||
|
|
sims = model_dm.docvecs.most_similar([inferred_vector_dm], topn=10)
|
|||
|
|
|
|||
|
|
return sims
|
|||
|
|
|
|||
|
|
|
|||
|
|
if __name__ == '__main__':
|
|||
|
|
x_train = get_corpus()
|
|||
|
|
# model_dm = train(x_train)
|
|||
|
|
sims = test()
|
|||
|
|
for count, sim in sims:
|
|||
|
|
sentence = x_train[count]
|
|||
|
|
words = ''
|
|||
|
|
for word in sentence[0]:
|
|||
|
|
words = words + word + ' '
|
|||
|
|
print(words, sim, len(sentence[0]))
|