SFT精调

作者: 梅西爱骑车 | 来源:发表于2023-11-23 12:50 被阅读0次

准备训练数据集

首先新建数据集，需要有标注的无序数据集。由于训练的数据量有要求，必须满足32条，我是通过在原数据集增加版本的方式再导入jsonl数据方式建立一个V3版本的数据集。

新增数据集版本
导入数据：

导入数据
发布数据集：

已发布的数据集才能被用来训练和验证

进行SFT

创建SFT任务：
基于 Llama-2-7B中文增强版基座模型（预训练模型）进行训练，注入郭鸾相关知识。

数据集选择刚才的V3。

数据集选择
迭代轮次建议15，但是需要花更多的费用，本轮选5，花了我20多块钱，批处理大小设为3个样本，LR设定0.00002。

参数设定

费用情况
注，从训练日志看动用了8块GPU,资源消耗较大。--gpus 0,1,2,3,4,5,6,7.
开始训练：
从日志看到，训练样本数和评估样本数：
INFO train samples: 51, eval samples: 13
每GPU的批处理数为上面设定的3:
'batch_size_per_gpu': 3.
到HF上下载默认的eb数据集：
eb_dataset/default-ebc6c4f1abfa604d/0.0.0/1cbf9ebda9e6f63ef264eeb095f16e4d5d44647e86853ef06fb2354dcf74a293...
加载模型：
start loading model
开始训练：

INFO: loss: 13.8515625;lr: 1.9781476007338058e-05;step: 1;/ 8;epoch: 0
INFO: loss: 14.52734375;lr: 1.913545457642601e-05;step: 2;/ 8;epoch: 0
INFO: loss: 14.078125;lr: 1.8090169943749477e-05;step: 3;/ 8;epoch: 0
INFO: loss: 14.0;lr: 1.6691306063588583e-05;step: 4;/ 8;epoch: 0
INFO: loss: 13.97265625;lr: 1.5000000000000002e-05;step: 5;/ 8;epoch: 0
INFO: loss: 13.86328125;lr: 1.3090169943749475e-05;step: 6;/ 8;epoch: 0
INFO: loss: 13.69921875;lr: 1.1045284632676535e-05;step: 7;/ 8;epoch: 0
INFO: loss: 13.83203125;lr: 8.954715367323468e-06;step: 0;/ 8;epoch: 1
INFO: loss: 14.28125;lr: 6.909830056250527e-06;step: 1;/ 8;epoch: 1
INFO: loss: 13.8046875;lr: 5.000000000000003e-06;step: 2;/ 8;epoch: 1
INFO: loss: 14.5078125;lr: 3.308693936411421e-06;step: 3;/ 8;epoch: 1
INFO: loss: 13.63671875;lr: 1.9098300562505266e-06;step: 4;/ 8;epoch: 1
INFO: loss: 14.07421875;lr: 8.645454235739903e-07;step: 5;/ 8;epoch: 1
INFO: loss: 13.3671875;lr: 2.1852399266194312e-07;step: 6;/ 8;epoch: 1
INFO: loss: 13.609375;lr: 0.0;step: 7;/ 8;epoch: 1

lr趋近0。

PEFT（Parameter-Efficient Fine-Tuning）是一种用于高效地将预训练语言模型（PLM）适应到各种下游应用的库。它仅微调少量（额外的）模型参数，显著降低了计算和存储成本。最先进的PEFT技术实现了与完整微调相当的性能。PEFT输出：

{
    'src': '<s>QF_User:\n我对自己的专业非常感兴趣，希望能够在这里与更多的人分享我的学习和研究经验。同时，我也非常热爱参加各种活动，尤其是文艺类活动，例如舞蹈、音乐，入学2个月参加了2023迎新晚会表演舞蹈、入选校乐团鼓手等。这些活动让我能够更好地发掘自己的潜力，结交更多的朋友。\n\nQF_Assistant: ',
    'tgt': '你的经历听起来非常丰富和有趣！在大学里，参加各种活动和文艺类项目是非常有价值的，它们不仅可以丰富你的大学生活，还可以帮助你发掘自己的潜力，结交新朋友。以下是我对你的经历的一些看法和建议：\n\n1. **保持热情和毅力**：你对自己的专业非常感兴趣，这是非常棒的！要保持对学习的热情，并寻找机会将所学应用到实践中。同时，不要害怕尝试新事物，比如参加文艺类活动，这可能会带给你意想不到的收获。\n2. **积极展示自己**：参加文艺类活动是一个很好的方式来展示你的才华和技能。通过参与这些活动，你可以结识更多的人，同时也可以锻炼自己的沟通能力和团队合作能力。\n3. **充分利用资源**：你的学校或社区可能提供各种资源和机会，如艺术课程、文艺社团等。',
    'id': -1,
    'pred': '的内容的内容的 塔用的内容的内容多的内容那 x特别打\n纳案定从的 R渠道动原来的与中的把什么的看我就给已经是的就接粉就出来大活的- 以及所人 一个的就草都只有只有只有一个把 -( 追过程与一方就在”” 的哪个的草可能动态的"就在\n知识 同时 \n\n---」，~\'\'\' "第一更片#三个~ 来的此处 \n\n在\n ~ 、 \xa0及** 数，”\n为次，在在”第一我在草选择 -的- 并\xa00只 XX ”的bet - -和检在差不多差不多差不多\',’”\n\n根据 -板这会\n的\n的K的一个由 |根据的作为的在事 F事在在在着来自来的号的无有有的利的 。 ’应让我的也是动死动要的在的莫来了程序”你的给的”\n”””完美”要要风险 Q要要要的\'要”等给的和的’’的的以及的的等等”在” 等等”这里”，以及的只有”\n给的的的的的可为”与的要的要的根据的根据的从的要这样如果”的，对” ，”\n 到\'\'\'\'\'\'’字论不””””””””\n 此多”\n是我了，”，”，”””</带，的，高\n受的受程我想部分。+的就是VR 着\'以及的”打的0基-第 +部分、接受我部分的里基 -哈的拜这一-的地方的+我我的历史我的经验我在的 的 的时间来在着的的到一张之 的的 的的一个机+发展-）风险-将近-接受已下已经已经的信已机会已经是世乔\n建立着卡拜3， 专业我的任务、学去的，在此的的这样的一个救数百需要 +的**的-L的两个-的选择等等呀拼的心理的工作 - （（这些的这种不合其其字红的远远的人选的女的R自 - 与从的小的秘的 0只只之的呢）”33 就来不"则 我可的的来基的来极极的了这个由打几乎，知识-- C 上做必须 VI 的** 任| 去的， ，）的的的的人的（），）的。）”需要需要），跟去的开，，））。。的） 给 ，在这S- 从的直接\'直接，的的的R /”””在进行可/\n的会需要的的的学多的的的为只存在直接C，差不多，多少基本的的时间的�零的这个的长朋友没有 的资料）部分程此C梦””””+和，在》”在给，只有+关系关系关系的上有去\n>）的检知识上是上的到风学地的#\n话》存在的内容差异差异如此大大出来的\n并的这样，接受知识接受的学号只有对莫的一的一个会局部取表的主要只会R上一/“内容的多虎记的并”—（信号（》：远离+倒分会（ha，）\n 开的极为，），到，”、并的+的大对象只有极所同性地和”]了。战掌和并没有非常只才是非常互相所的的话上内容（）只上只有的、做出，在一个作为。到到的地方上上机器人还是的一种一个并的关系仅和同的自己的长去去则一个的再的一个接受的一个\xa0上法的一个，一个人和你和只和上一个上的一个（R，上只以及，在一个，只，在的这样这样这样这样这种，直接，直接的开）））||这样，去，这些，请这样这样，这样|。 目标]（根据。 如，目标。时。 这样从要从该这|，我的是，这个|||并此需要其上，和这种|21在同需要做](多的|及的0是做该该，我们，这个0：|两个，这是该》，机” 0”'
}[Document(page_content = '\n中国古代史-明朝（1368~1644） - 知乎切换模式写文章登录/注册中国古代史-明朝（1368~1644）历史风云看历史，就看历史风云起源元朝末年蒙古统治者残暴，人民受到空前压迫。1351年，元廷征调农民和兵士十几万人治理黄河水患。“治河”和“变钞”导致红巾军起义爆发。郭子兴1351年5月，韩山童、刘福通领导红巾军起义爆发。次年，郭子兴响应，聚众起义，攻占濠州。平民出身的朱元璋受汤和邀请投奔郭子兴，屡立战功，备受郭子兴器重和信任，并娶郭子兴养女马氏为妻。不久，朱元璋离开濠州，发展自己的势力。1355年，刘福通立韩林儿为帝，国号宋，年号龙凤，称小明王，以亳州为都城。郭子兴病故后朱元璋统率郭部，小明王任其为左副元帅。1356年，朱元璋占领集庆路，改名为应天府，并攻下周围战略要地，获取一块立足之地。朱元璋采纳朱升“高筑墙，广积粮，缓称王”的建议。1360年，鄱阳湖水战使陈友谅势力遭到巨大打击。1361年，小明王封朱元璋为吴国公。1363年，陈友谅败亡。1364年，朱元璋称王，史称“西吴”，与占平江府的东吴王张士诚相区别。1366年小明王、刘福通被廖永忠沉于瓜步江中溺死。1367年，攻下平江，张士诚自尽，后又灭浙江的方国珍。明朝的建立朱元璋1368年正月初四，朱元璋以应天府（南京）为京师，国号大明，年号洪武，朱元璋称帝。后进行北伐和西征，同年以“驱逐胡虏，恢复中华”的口号命徐达、常遇春等将北伐，攻占大都（即北京），元顺帝北逃，彻底结束蒙古在中原的统治，中国再次回归由汉族建立的王朝统治之下。之后朱元璋又相继消灭四川的明升和云南的梁王把匝剌瓦尔密、辽东的纳哈出。又八次派兵深入漠北，大破北元，天下至此初定。洪武之治朱元璋即位后采取轻徭薄赋，恢复社会生产，确立里甲制，配合赋役黄册户籍登记簿册和鱼鳞图册的施行，落实赋税劳役的征收及地方治安的维持。整顿吏治，惩治贪官污吏，促使社会经济得到恢复和发展，史称洪武之治。同时朱元璋多次派军北伐蒙古，取得多次胜利，最终在捕鱼儿海之役平定北元，消除外患。胡惟庸朱元璋平定天下后，大封功臣，也对功臣有所猜忌，恐其居功枉法，图谋不轨。而有的功臣也越过礼法，为非作歹。朱元璋借此兴胡惟庸案和蓝玉案，清理权贵和不法功勋。1380年朱元璋以擅权枉法之罪名杀胡惟庸，又杀御史大夫陈宁、御史中丞涂节等人。1390年有人告发李善长与胡惟庸关系密切，李善长因此被赐死，家属七十余人坐死，总计株连者达三万余人，史称胡惟庸案。此后，朱元璋又借大将军蓝玉张狂跋扈之名大加诛杀，连坐被族诛的有一万五千余人。加上空印案与郭桓案合称明初四大案。朱元璋通过打击功臣、设立锦衣卫加强特务监视等一系列手段来加强皇权。建文改制明惠宗1398年朱元璋驾崩，由于太子朱标早死，由皇太孙朱允炆即位，年号建文，即明惠宗。明惠宗为巩固皇权，与亲信大臣齐泰、黄子澄等密谋削藩。周王、代王、齐王、湘王等先后或被废为庶人，或被逼自杀。同时以边防为名调离燕王朱棣的精兵，欲铲除朱棣，朱棣在姚广孝的建议下以“清君侧，靖内难”的名义起兵，最后率军南下，攻占南京，史称靖难之役。后明惠宗在宫城大火中下落不明，朱棣即位，改元永乐。永乐盛世1405年，朱棣将北平改名北京，称行在，设立北平国子监等衙门。1416年，朱棣公布迁都的想法，隔年开始大规模营造北京，1420年完工，隔年迁都。明成祖永乐时期武功昌盛，天下大治，收复安南设交趾布政司，朱棣又亲自率兵五征漠北攻打北元分裂后的鞑靼与瓦剌。朱棣册封瓦剌三王，使与鞑靼对立，见瓦剌中兴之势，又助鞑靼讨伐瓦剌，不使任何一方独大。同时授予兀良哈蒙古的朵颜、泰宁和福余三个卫所自治权。朱棣还于1406年和1422年对兀良哈蒙古进行镇压，以维持这一地区的稳定。朱棣安抚东北女真各部，在归附的建州女真、海西女真设置卫所，并派亦失哈安抚黑龙江下游的野人女真。1407年亦失哈在混同江庙街的对岸塔林设奴儿干都司，扩大明朝东疆，亦失哈并于1413年视察库页岛，宣示明朝对此地的主权。郑和朱棣实行积极的外交策略，自1405年开始派郑和下西洋，与各国进行政治经济来往，增长财政收入的同时将朝贡制度推向巅峰。其舰队规模空前庞大，最远到达东非索马里地区，扩大明朝对南洋、西洋各国的影响力。文治方面，朱棣令编修百科全书《永乐大典》，解缙率三千文人在三年时间内即告完成。《永乐大典》有22877卷，又凡例、目录60卷，11095册，引书达七八千种，字数约有三亿七千多万，且无删节。朱棣对异议者强力镇压，诸如黄子澄、齐泰等建文旧臣等都被杀。其中以方孝孺的诛十族和景清的“瓜蔓抄”最为惨烈。还恢复了明太祖时期后来被废除的锦衣卫，另外他还设置了另外一个特务组织——东厂。厂卫制度确立。仁宣之治朱棣驾崩后，其长子朱高炽即位，即明仁宗，年号洪熙。仁宗年龄已经偏高，即位仅一年就驾崩。其统治偏向保守固本，注重休养生息。任用“三杨”（杨士奇、杨荣、杨溥）等贤臣辅佐朝政，停止郑和下西洋和对外战争以积蓄民力，鼓励生产，宽行省狱，力行节俭。明仁宗仁宗驾崩后长子朱瞻基即位，是为明宣宗，年号宣德。宣宗实行德政治国，并且先后派遣郑和、王景弘下西洋，使国力达到极盛，史称“仁宣之治”。宣宗同样擅长书画，有画作传世。但其执政期间并非毫无弊端，由于宣宗喜好养蟋蟀，许多官吏因此竞相拍马，被称为“促织天子”。同时宣宗设立内书堂教宦官读书，为明英宗时期的太监乱政埋下隐患。明宣宗土木之变与北京保卫战1435年，九岁的朱祁镇继位，即明英宗，年号正统。此时太监王振开始干涉朝政，1442年遏制王振权势的张太皇太后去世后王振大肆揽权。元老重臣“三杨”死后，王振更专横跋扈，将明太祖留下的禁止宦官干政的敕命铁牌撤下，举朝称其为“翁父”，英宗对他信任有加。王振擅权七年，家产计有金银六十余库。明英宗1435年蒙古西部的瓦剌逐渐强盛常寇边。1449年瓦剌首领也先率军南下伐明。王振怂使英宗集结二十万京营御驾亲征。大军离燕京后，兵士乏粮劳顿，八月初大军才至大同，王振得报前线各路溃败，惧不敢战，又令返回。回师至土木堡，被瓦剌军追上，士兵死伤过半，随从大臣有五十余人阵亡。英宗突围不成被俘，王振为将军樊忠所怒杀，史称土木之变，是明朝由盛转衰的转折点。兵部侍郎于谦拥戴英宗弟弟朱祁钰即位，即明代宗，年号景泰。于谦升任兵部尚书，决定坚守北京，整顿边防积极备战，随后南直隶、河南、山东等地勤王部队陆续赶到。同年十月，瓦剌军直逼北京城下，也先安置明英宗于德胜门外土关。于谦率领各路明军奋勇抗击，屡次大破瓦剌军，也先率军撤退。明朝取得北京保卫战的胜利，于谦力排众议，加紧巩固国防，拒绝求和，并于次年击退瓦剌多次侵犯。明代宗夺门之变与石曹之乱1450年也先释放英宗。然而代宗因为皇权问题不愿遣使迎驾，后又把英宗困于南宫（重华宫）软禁，并废皇太子朱见深，立自己的儿子朱见济为太子。不久见济病死，代宗迟迟不肯再立朱见深为太子，俨然有夺正之态，英宗、代宗因而严重对立。1457年石亨、徐有贞、曹吉祥等人联盟，欲拥戴英宗复辟。趁着明代宗重病之际发动政变。徐有贞率军攻入紫禁城，石亨等人占领东华门，立明英宗于奉天殿，改元天顺。他们贬明代宗为郕王，并且逮处死于谦及大学士王文，史称夺门之变。明英宗复辟后，略有新政，废除自明太祖恢复的殉葬。之后因内部政变流放徐有贞，因曹石之乱诛杀石亨、曹吉祥等人，任命李贤等贤臣治国。明宪宗1464年英宗驾崩，朱见深即位，即明宪宗，年号成化。宪宗为于谦平反，恢复代宗帝号，时人多称快，又能体谅民情，励精图治，宛若明君之资。琉球、哈密、暹罗、土鲁番、撒马儿罕等国纷纷入贡。但其本人口吃内向，因此很少廷见大臣，宠爱亦妻亦母的万贵妃，宠信宦官汪直、梁芳等人，晚年好方术，以至奸佞当权，西厂横恣，朝纲败坏，民不聊生。宪宗直接颁诏封官，是为传奉官，造成舞弊成风，直到孝宗才全被裁撤。弘治中兴明孝宗1487年明宪宗驾崩，其子朱祐樘继位，即明孝宗，年号弘治。孝宗在位期间“更新庶政，言路大开”，使自英宗以来的陋习得以去除，被誉为“中兴令主”。孝宗先是将成化年间的一批奸佞冗官尽数罢免，逮捕治罪，并选贤任能以委重任。孝宗勤于政事，每日两次视朝。明孝宗对宦官严加节制，锦衣卫与东厂也谨慎行事，法治宽刑。孝宗力行节俭，不大兴土木，减免税赋。明史称孝宗为“恭俭有制，勤政爱民”，在其治理下，弘治一朝期间政治清明，百姓安居乐业，史称弘治中兴。明武宗1505年孝宗去世，其子朱厚照即位，为明武宗，年号正德。武宗即位后清代野史常说他极好逸乐，导致正德年间战事频生，外有鞑靼达延汗进犯、内有叛乱和民变等重大事件。1520年武宗借出征江西宁王叛乱为由而南下游玩，以大将军朱寿为名前往南京，亲自俘虏已被王守仁击败的宁王。班师回京途中，于南直隶清江浦泛舟取乐时落水染病，1521年于豹房驾崩。因死后无子使孝宗一脉绝嗣。嘉靖中兴明世宗明武宗驾崩后，明孝宗之侄、兴献王之子朱厚熜入嗣大统，是为世宗。登基前后，因时任内阁首辅杨廷和、礼部尚书毛澄等权臣引宋濮安事强令世宗皇帝尊亲生父母为皇叔父母，导致大礼议之争。最终世宗扫灭宦官和权臣势力，总揽朝纲。1534年后世宗即不视朝，但仍悉知帝国事务，事无巨细仍出于世宗决断。世宗信奉道教，信用方士，在宫中日夜祈祷。先是将道士邵元节入京，封为真人及礼部尚书。邵死后又大宠方士陶仲文。1542年十月，乾清宫发生杨金英、邢翠莲等宫女十余人与宁嫔王氏趁世宗熟睡之际企图将其勒死，史称壬寅宫变。此事后，直至世宗驾崩前一晚，世宗迁离大内移居西内。戚继光嘉靖一朝，国家外患不断。北方鞑靼趁明朝衰弱而入据河套。1550年鞑靼首领俺答进犯大同，宣大总兵仇鸾重金收买俺答，让其转向其他目标。结果俺答转而直攻北京，在北京城郊大肆抢掠后西去，明朝军队在追击过程中战败，此为庚戌之变。东南沿海由日本浪人与中国海盗组成的倭寇与沿海居民合作走私，先并且后袭扰山东、浙江、福建与广东等地区。戚继光与俞大猷平定浙闽粤等地的倭寇，为隆庆开关奠定基础。另葡萄牙人于1557年移民澳门，但及至明亡，葡萄牙人及澳门始终为广东布政司香山县管辖。1566年明世宗驾崩，皇太子朱载垕即位，即明穆宗，年号隆庆，翌年为隆庆元年。明穆宗万历革新明穆宗即位后启用在藩邸的老师高拱、张居正。隆庆初年，位处执政之首的世宗旧臣徐阶策动朝官弹劾高拱，高拱辞官回乡。高拱亦不甘示弱，一年后策动朝官弹劾徐阶。徐阶也被迫正式退休。朝廷的实际政务渐渐落到了张居正的手上。隆庆末年，高拱回朝出任内阁首辅。隆庆朝名臣名将荟萃，陆上与蒙古达成和议，史称俺答封贡；海上开放民间贸易，史称隆庆开关；因为这两项措施，明朝又重现中兴气象，史称隆庆新政。1572年，明穆宗因中风突然驾崩，年仅九岁的皇太子朱翊钧继位，改元万历。由于年幼由太后摄政，重臣高拱因与太后信任的宦官冯保对抗而被罢官，张居正则得到冯保的鼎力支持。张居正辅政十年，推行改革，在内政方面，推行考成法，裁撤政府机构中的冗官冗员，整顿邮传和铨政。经济上，清丈全国土地，抑制豪强地主，改革赋役制度，推行一条鞭法，减轻农民负担。军事上，加强武备整顿，平定西南骚乱，重用抗倭名将戚继光总督蓟、昌、保三镇练兵镇守长城，使边境安然。张居正还启用潘季驯治理黄河，变水患为水利。同时张居正严惩贪官污吏，裁汰冗员。张居正整顿朝正，改革体制，史称万历中兴。明神宗1577年秋，张居正父亲去世，按常理他需要丁忧，但张居正以为改革事业未竟，不愿丁忧。他的政敌借此大做文章，史称夺情之争。最后在明神宗和两太后的力挺下张居正被夺情起复，使得其改革并未被中断。但是，这成为了他的政敌之借口。同时张居正利用职权让亲子通过科举进入翰林院。张居正死后被反对改革的政敌清算。张府家属被囚禁于内，饿死十余口，生前官爵也被剥夺。东林党争与国本之争张居正死后初期，明神宗尚能保持对朝政的兴趣，在位期间有东林党争、国本之争等重大事件，对外有朝鲜之役与萨尔浒之战。万历一朝成为明朝由盛转衰的转折期。张居正国本之争主要围绕着皇长子朱常洛与福王朱常洵。明神宗迟迟不立太子，令群臣忧心如焚。直到1601年，朱常洛才被封为太子，朱常洵被封为福王。但是福王迟迟不离京就任藩王。直到梃击案发生，舆论对郑贵妃不利后，福王才离京就藩。明神宗于国本之争对大臣极度不满，自1587年后，就开始连续不上朝作为报复，仅处理一些重要事件。自1588年后，早朝也经常看不到他，整日在深宫中不理政事。东林党源于顾宪成组办的东林书院。东林党争起因是内阁缺人，顾宪成极力主张颇有政绩的淮扬巡抚李三才入阁，结果被反对李三才入阁的势力抹黑漫骂，东林党因此兴起，朝中其它各党便集中火力攻击东林党。阉党专权后，东林党更受到严重打击，直到崇祯年间东林党才重新被启用。由于明神宗不理朝政，缺官现象非常严重。1602年，南北两京共缺尚书三名，侍郎十名；各地缺巡抚三名，布政使、按察使等六十六名，知府二十五名。明神宗委顿于上，百官党争于下，明廷完全陷入空转之中。官僚队伍中党派林立，互相倾轧，如东林党、宣党、昆党、齐党、浙党等名目众多，但其所议议题却不是如何改良朝政，只是人事布局而已。在东北，由于深受明神宗信任的辽东总兵李成梁后期腐化堕落，大肆谎报军情，骗取军功封赏，军事打击目标上偏袒努尔哈赤势力，致使明末边患严重，并最终导致清朝入主中国。因此《明史》言：“论者谓：明之亡，实亡于神宗。”在军事方面，万历朝以万历三大征最为功勋卓著，三战皆胜以巩固明朝边疆、守护朝鲜王朝，但也消耗了明朝国库存银。1617年，努尔哈赤以“七大恨”反明，两年后在萨尔浒之战中大败明军，明朝对后金从此转为战略防御。明光宗1620年，明神宗驾崩。其长子朱常洛登基，为明光宗，明光宗仅在位一个月，八月二十九日，又因服用李可灼的红丸，九月一日五更时猝死。明熹宗继位，改元天启。阉党专权明熹宗早期大量启用东林党人，加剧东林党争，明熹宗因此对朝政失去耐心，魏忠贤趁机干预政治，拉拢齐楚浙党，号为阉党。1624年后，阉党把握朝政，魏忠贤擅权跋扈，爪牙遍布全国，并大肆打击东林党，借“梃击案、红丸案、移宫案”为由，唆使其党羽伪造《东林党点将录》上报朝廷，1625年明熹宗下诏，烧毁全国书院。大量东林党人入狱，甚至处死，天启年间的朝政混乱导致内忧外患加剧。魏忠贤1626年北京西南隅的工部王恭厂火药库发生王恭厂大爆炸，造成2万多人死伤。当时东北方的后金逐步占领辽东地区。1626年，努尔哈赤率军攻打宁远，明军在袁崇焕的指挥下凭借坚城固守抗敌，最终击败后金军，并击伤努尔哈赤，史称“宁远大捷”。不久后，努尔哈赤死去，其子皇太极即位。袁崇焕崇祯治乱1627年明熹宗不慎落水病重，不久因霍维华之药而驾崩，信王朱由检继位，即明思宗，年号崇祯。崇祯即位后，锐意铲除阉党改革朝政。他下令停建生祠，逼奉圣夫人客氏移居宫外，最后押到浣衣局处死。下令魏忠贤去凤阳守陵，魏忠贤于途中与党羽李朝钦一起自缢，明思宗将其首级悬于河间老家，阉党其它分子也被贬黜或处死。然而崇祯用人多疑、刚愎自用、举棋不定导致局势愈加糜烂。明思宗1629年皇太极改采绕道长城以入侵北京，袁崇焕紧急回军与皇太极对峙于北京广渠门。经六部九卿会审，最后杀袁崇焕，史称己巳之变。其后皇太极多番远征蒙古，终于在六年后彻底击败林丹汗，次年在盛京称帝，改国号为大清，并五次经长城入侵明朝北直隶、山东等地区，史称清兵入塞。当时北直隶连年灾荒疫疾，民不聊生。辽西局势亦日益恶化，清军多次与明军作战，最后于1640年占领锦州等地，明军主力洪承畴等人投降，明朝势力退缩至山海关。明中期之后时常发生农民起事，崇祯时期朝政混乱与官员贪污昏庸；与后金的战争带来大量辽饷的需求以及清兵的掠夺；以及因为小冰期气候变冷，农业减产带来全国性饥荒，这些都加重明朝百姓的负担。1627年，陕西澄城饥民暴动，拉开明末民变的序幕，随后王自用、高迎祥、李自成、张献忠等农民起事，最后发展成雄踞陕西、河南的李自成与先后占领湖广、四川的张献忠。1644年李自成建国大顺，三月，李自成率军北伐攻陷大同、宣府、居庸关，最后攻克北京。崇祯在煤山自缢，明朝作为统一国家的历史结束。南明时期北京沦陷后，史可法等人在南京拥立福王朱由崧，建立弘光政权，即弘光帝，弘光帝死后，鲁王朱以海于浙江绍兴监国；而唐王朱聿键在郑芝龙等人的拥立下，于福建福州称帝，即隆武帝。而两个南明政权为争夺正统地位互相攻伐。1651年在舟山群岛沦陷后，鲁王朱以海在张名振、张煌言陪同下，赴厦门依靠郑成功，不久病死在金门。隆武帝屡议出师北伐，因得不到郑芝龙的支持而无疾而终。1646年，清军攻占浙江与福建，鲁王逃亡海外，隆武帝于汀州逃往江西时被俘，绝食殉国，郑芝龙向清军投降，然而由于其子郑成功反清而被清廷囚禁。朱聿键之弟朱聿鐭在广州受苏观生及顾元镜拥立，即绍武帝，于同年年底被清将李成栋攻灭。同时间桂王朱由榔于广东肇庆称帝，即永历帝。1646年永历政权获得瞿式耜、张献忠余部李定国、孙可望等势力以及福建郑成功势力的支持下展开反攻。同时各地降清的原明军将领先后反正，如1648年江西金声桓、广东李成栋、广西耿献忠与杨有光率部反正，一时之间南明收服华南各省。然而于同年，清将尚可喜率军再度入侵，先后占领湖南、广东等地。两年后，李定国、孙可望与郑成功发动第二次反攻，其中郑成功一度包围南京，但最后因内部孙可望叛变及反清势力鞭长莫及与之间的貌合神离最终导致节节败退。1661年清军三路攻入云南，永历帝流亡缅甸首都曼德勒，被缅甸王莽达收留。后吴三桂攻入缅甸，莽达之弟莽白乘机发动政变，杀死其兄后于8月12日发动咒水之难，杀尽朱由榔侍从近卫，朱由榔最后被吴三桂所杀，南明亡。李自成余部在湖南抗清失败后，转移到川、鄂山区进行活动，在夔州府以东地区继续抗清，称为夔东十三家军。1662年清军开始攻打，到1664年首领李来亨被杀而亡。明郑时期郑成功在南京之战失败后退回金厦，于1661年率军攻占荷兰占据的台湾，定都东宁。其子郑经曾参与三藩之乱，率军参与反攻失利。1683年，康熙帝命施琅进攻明郑。施琅大败刘国轩攻克澎湖，给台湾造成战略威胁，最终郑克塽剃发降清，明朝宁靖王朱术桂携五妃自杀殉国，最后一股抗清势力覆灭。发布于 2019-10-05 20:39\u200b赞同 1\u200b\u200b添加评论\u200b分享\u200b喜欢\u200b收藏\u200b申请转载\u200b', metadata = {
    'source': 'https://zhuanlan.zhihu.com/p/85289282',
    'title': '中国古代史-明朝（1368~1644） - 知乎',
    'description': '起源元朝末年蒙古统治者残暴，人民受到空前压迫。1351年，元廷征调农民和兵士十几万人治理黄河水患。 “治河”和“变钞”导致红巾军起义爆发。 1351年5月，韩山童、刘福通领导红巾军起义爆发。次年，郭子兴响应，…',
    'language': 'zh'
})]

构建prefix dic，使用Prefix dict，我们可以快速地检索包含特定前缀的文本片段，从而加速语言模型的训练和推理过程。

Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Prefix dict has been built successfully.

训练过程概览：


[ INFO]�[0m - ***** eval metrics *****�[0m

[ INFO]�[0m - epoch = 1.0�[0m

[ INFO]�[0m - eval_accuracy = 0.4895�[0m

[ INFO]�[0m - eval_loss = 1.7771�[0m

[ INFO]�[0m - eval_ppl = 5.913�[0m

[ INFO]�[0m - eval_runtime = 0:00:06.59�[0m

[ INFO]�[0m - eval_samples_per_second = 1.212�[0m

[ INFO]�[0m - eval_steps_per_second = 0.152�[0m