二、构建分类器##
2.1用logistic回归训练出分类器
利用文本预处理得到的训练集的特征向量集、标签集train_feature, train_target，用logistic回归训练出分类器
logreg = linear_model.LogisticRegression()
logreg.fit(train_feature, train_target)
2.2存储&加载
为了节约之后构建特征向量的时间（这个过程很费时），可以通过如下方式把分类器直接存储：
joblib.dump(logreg, 'lr_tfidf.model')
之后运行时，可以通过如下方式把logistic regression分类器直接加载到内存，省去了重新文本预处理的时间：
logreg = joblib.load('lr_tfidf.model')
三、测试模型##
3.1 为每个测试文本构建特征向量test_feature
为term_freq, doc_freq中的key，也就是词项标明index
用jieba分词，将分好的词放入一个临时的数组中。
遍历数组，由train的doc_freq[word]取得DF并计算iDF，由test的term_freq[word][name]取得该词项在该文档中的TF，并计算每个词项的tf-idf值，并作为向量中词项对应index那一维的值。
3.2 用分类器分类
test_predict = logreg.predict(test_feature)
3.3 评估精确度
true_false = (test_predict==test_target)
accuracy = np.count_nonzero(true_false)/float(len(test_target))
print "accuracy is %f" % accuracy
image.png
四、提供文档分类接口##
TextClassifier = TextClassify()
pred = TextClassifier.text_classify2('test.txt', train_tfidf, logreg)
print pred[0]
'test.txt'中的文本：
该公司是新疆最大的白酒生产企业，4月1日起即将实施的对消费税的调节，对其业绩提升构成实质性利好；而公司强力进行的资本运作：斥巨资参股金融建材业携手上市公司新天国际进入葡萄酒相关产业等举则为公司的快速增长提供了有力支持。从该股市场表现情况看，05年末就有长线买家介入，总体走势平稳；经一段时期整理，浮筹基本被消化干净，并于3月31日放量劲升成功的实行了技术性突破，在经过一段充分的蓄势后，在市场资金关注下近期再度强劲上扬，预示着新的波段升势启动。持有该股的投资者，可根据实际参与的成本和仓位情况，关注该股上档的压力位，做好滚动操作的准备。该股短线还有多大的上涨空间？上涨压力在哪里？当前持有该股如何操作？何时离场？操作建议和操作参考价格请拨打：021-51575678 800-820-2004咨询。
想知道下一个热点吗？可拨打热线：021-51575678、800-820-2004与余海华老师、潘敏立老师免费直接沟通。
上海益邦投资咨询有限公司（证券投资咨询业务资格证书编号：0144）承诺提供专业服务，不承诺投资者获取收益，也不与投资者约定分享投资收益或分担投资损失，市场有风险，投资需谨慎。
作者声明：在本机构、本人所知情的范围内,本机构、本人以及财产上的利害关系人与所述文章内容没有利害关系。本版文章纯属个人观点,仅供参考,文责自负。读者据此入市,风险自担。
对'test.txt'中的预测分类：
image.png
网友评论