这是一篇开启无监督机器翻译热的重要论文，18年之后的无监督机器翻译学习方法的改进大都在改论文之上，或启发之下进行进的。
上图中 Section 3.1
该部分的目的是一个语言模型将词训练为词向量，如工具word2vec or fasttext or glove。
该部分针对每一中单语言原始语料文本，分别训练出一份词向量Embedding。
上图中 Section 3.2
该部分的目的是让两种语言进行映射联合，工具vecmap。vecmap工具具体解析
该部分将两种语言的Embedding矩阵进行相互映射，通过映射处理，重新改变原始的Embedding，分别会产生一份新的MAP_Embedding。
上图中 Section 4.1
短语表生成
该部分的目的是生成一个源语言+目标语言同义词组的短语表。简言之，抽取短语翻译对。
上图中 Section 4.2
无监督微调
上图中 Section 5
迭代强化
运行模型：
获取模型所需的第三方工具
./get-third-party.sh
小demo数据准备
英文白雪公主，文件名en.MONO.TXT
In the harsh winter season, the goose-like snow flakes are flying around in the sky. There is a queen sitting in a window in the palace, doing needlework for her daughter, the wind blowing snow flakes into the window, the ebony window sill There are a lot of snowflakes falling on it. She looked up and looked out the window. She did not pay attention, and a needle stuck into her finger. The red blood flowed out of the needle, and three drops of blood fell on the snow on the window. She thoughtfully stared at the red blood drops on the white snow, and looked at the ebony window sill. She said, "I hope my little daughter's skin will be white and red, and it looks like this white snow and The red blood is the same, so gorgeous, so arrogant, the hair looks like the ebony of this window is generally black and bright!"
Her little daughter has grown up, and the little girl is so beautiful that she is beautiful, beautiful and moving. Her skin is really white like snow, ruddy with blood, and black hair like ebony. So the queen gave her a name, called Snow White. But Snow White has not grown up, and her queen mother died.
Soon, the father of the king married another wife. This queen is very beautiful, but she is very proud and conceited. She is very strong and can't stand it if she hears someone is more beautiful than her. She has a mirror, she often goes to the mirror to appreciate herself and asks: "Tell me, mirror, tell me the truth! All the women here are the most beautiful? Tell me who she is?"
The mirror replied: "It's you, queen! You are the most beautiful woman here."
When she heard this, she would smile with satisfaction. But Snow White grew up slowly and became more and more beautiful. By the time she was seven years old, she was more dazzling than the bright spring, more beautiful than the queen. Until one day, when the queen went to ask the mirror as usual, the mirror made the answer: "The queen, you are beautiful and beautiful, but Bai Xuegong is more beautiful than you!"
She heard this, her heart filled with anger and jealousy, and her face became pale. She called a servant and said to him, "Give me Snow White to the big forest. I don't want to see her anymore." The servant took Snow White away. When he was about to kill her in the forest, she cried and begged him not to kill her. Facing the pleading of the pitiful little princess, the servant’s sympathy came to life. He said, “You are a child who loves you, I will not kill you.” In this way, he left her alone. In the forest. When the servant decided not to kill Snow White and left her there, even though he knew that in the uninhabited big forest, she would be torn into pieces by the beast, but thought that he did not have to kill her by hand. He felt that a heavy stone that was pressing on his heart fell.
After the servant left, Snow White was very scared. She was everywhere in the forest, looking for a way out. The beast screamed beside her, but did not hurt her. In the evening, she came to a small house. When she determined that there was no one in the house, she pushed the door and went to rest, because she was really unable to move. As soon as she entered the door, she found that everything in the house was well organized and clean. A table was covered with white cloth with seven small plates, each with a piece of bread and some other food. There were seven glasses filled with wine next to the plate, seven knives. And the fork, etc., and the wall is also discharged with seven small beds. At this time she felt hungry and thirsty, and she did not care who it was. She went up to cut a small piece of bread from each piece of bread and drank a little bit of wine in each glass. After eating and drinking, she felt very tired and wanted to lie down and rest. So she came to the bed and almost tried every single of the seven beds. It was not too long, it was too short. It was not until the seventh bed was tried. She lay down on it and soon fell asleep.
德文白雪公主，文件名de.MONO.TXT
In der harten Wintersaison fliegen die gänseähnlichen Schneeflocken am Himmel herum. Da sitzt eine Königin in einem Fenster im Palast und macht Handarbeiten für ihre Tochter, der Wind bläst Schneeflocken ins Fenster, das ebenholzfarbene Fensterbrett Es fallen viele Schneeflocken darauf. Sie schaute auf und schaute aus dem Fenster. Sie achtete nicht darauf, und eine Nadel steckte in ihrem Finger. Das rote Blut floss aus der Nadel und drei Tropfen Blut fielen auf den Schnee am Fenster. Sie starrte nachdenklich auf die roten Blutstropfen auf dem weißen Schnee und schaute auf das ebenholzfarbene Fensterbrett. Sie sagte: "Ich hoffe, die Haut meiner kleinen Tochter ist weiß und rot, und sie sieht aus wie dieser weiße Schnee, und das rote Blut ist das gleiche, so hinreißend, so arrogant, das Haar sieht aus, als wäre das Ebenholz dieses Fensters im Allgemeinen schwarz und hell!"
Ihre kleine Tochter ist erwachsen geworden und das kleine Mädchen ist so schön, dass sie schön, schön und bewegend ist. Ihre Haut ist wirklich weiß wie Schnee, blutrot und schwarzes Haar wie Ebenholz. Also gab die Königin ihr einen Namen, der Schneewittchen hieß. Aber Schneewittchen ist nicht erwachsen geworden, und ihre Königinmutter ist gestorben.
Bald heiratete der Vater des Königs eine andere Frau. Diese Königin ist sehr schön, aber sie ist sehr stolz und eingebildet. Sie ist sehr stark und kann es nicht ertragen, wenn sie hört, dass jemand schöner ist als sie. Sie hat einen Spiegel, sie geht oft zum Spiegel, um sich selbst zu schätzen und fragt: "Sag mir, Spiegel, sag mir die Wahrheit! Alle Frauen hier sind die schönsten? Sag mir, wer sie ist?"
Der Spiegel antwortete: "Du bist es, Königin! Du bist die schönste Frau hier."
Wenn sie das hörte, lächelte sie zufrieden. Aber Schneewittchen wuchs langsam auf und wurde immer schöner. Als sie sieben Jahre alt war, war sie schillernder als der helle Frühling, schöner als die Königin. Bis eines Tages, als die Königin wie üblich den Spiegel fragte, gab der Spiegel die Antwort: "Die Königin, du bist schön und schön, aber Bai Xuegong ist schöner als du!"
Sie hörte das, ihr Herz füllte sich mit Wut und Eifersucht, und ihr Gesicht wurde blass. Sie rief einen Diener und sagte zu ihm: "Gib mir Schneewittchen in den großen Wald. Ich will sie nicht mehr sehen." Der Diener nahm Schneewittchen mit. Als er sie im Wald töten wollte, weinte sie und bat ihn, sie nicht zu töten. Angesichts der Bitte der erbärmlichen kleinen Prinzessin wurde das Mitgefühl des Dieners lebendig. Er sagte: „Du bist ein Kind, das dich liebt, ich werde dich nicht töten.“ Auf diese Weise ließ er sie in Ruhe. Im Wald. Als der Diener beschloss, Schneewittchen nicht zu töten und sie dort zurückließ, obwohl er wusste, dass sie im unbewohnten großen Wald vom Biest in Stücke gerissen würde, dachte er jedoch, dass er sie nicht mit der Hand töten musste. Er fühlte, dass ein schwerer Stein, der auf sein Herz drückte, fiel.
Nachdem der Diener gegangen war, hatte Schneewittchen große Angst. Sie war überall im Wald und suchte nach einem Ausweg. Das Tier schrie neben ihr, tat ihr aber nichts. Am Abend kam sie zu einem kleinen Haus. Als sie feststellte, dass niemand im Haus war, stieß sie die Tür auf und ruhte sich aus, weil sie sich wirklich nicht bewegen konnte. Sobald sie die Tür betrat, stellte sie fest, dass alles im Haus gut organisiert und sauber war. Ein Tisch war mit einem weißen Tuch bedeckt, auf dem sieben kleine Teller mit je einem Stück Brot und etwas anderem Essen standen. Neben dem Teller standen sieben mit Wein gefüllte Gläser und sieben Messer. Und die Gabel usw. und die Wand wird auch mit sieben kleinen Betten entladen. Zu dieser Zeit fühlte sie sich hungrig und durstig und es war ihr egal, wer es war. Sie ging hinauf, um ein kleines Stück Brot von jedem Stück zu schneiden, und trank in jedem Glas ein bisschen Wein. Nach dem Essen und Trinken fühlte sie sich sehr müde und wollte sich hinlegen und ausruhen. Also kam sie zum Bett und probierte fast jedes der sieben Betten aus. Es war nicht zu lang, es war zu kurz. Es war nicht bis das siebte Bett ausprobiert wurde. Sie legte sich darauf und schlief bald ein.
运行模型代码
标准
python train.py --src SRC.MONO.TXT --src-lang SRC --trg TRG.MONO.TXT --trg-lang TRG --working MODEL-DIR
实际
python train.py --src en.MONO.TXT --src-lang en --trg de.MONO.TXT --trg-lang de --working MODEL-DIR
运行结果，遇到第三方软件有找不到文件目录的原因，暂且放一下，后期解决。
Tokenizer Version 1.1
Language: en
Number of threads: 20
Tokenizer Version 1.1
Language: de
Number of threads: 20
bash: /home/ubuntu/liu/demo/monoses-master/third-party/moses/bin/lmplz: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/moses/bin/build_binary: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/moses/bin/lmplz: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/moses/bin/build_binary: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/phrase2vec/word2vec: No such file or directory
head: cannot open 'MODEL-DIR/tmpzq65kr2x/vocab-full.txt' for reading: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/phrase2vec/word2vec: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/phrase2vec/word2vec: No such file or directory
head: cannot open 'MODEL-DIR/tmpzq65kr2x/vocab-full.txt' for reading: No such file or directory
bash: /home/ubuntu/liu/demo/monoses-master/third-party/phrase2vec/word2vec: No such file or directory
Traceback (most recent call last):
File "/home/ubuntu/liu/demo/monoses-master/third-party/vecmap/map_embeddings.py", line 422, in <module>
main()
File "/home/ubuntu/liu/demo/monoses-master/third-party/vecmap/map_embeddings.py", line 145, in main
srcfile = open(args.src_input, encoding=args.encoding, errors='surrogateescape')
FileNotFoundError: [Errno 2] No such file or directory: 'MODEL-DIR/step3/emb.src'
Traceback (most recent call last):
File "/home/ubuntu/liu/demo/monoses-master/training/induce-phrase-table.py", line 153, in <module>
main()
File "/home/ubuntu/liu/demo/monoses-master/training/induce-phrase-table.py", line 110, in main
srcfile = open(args.src, encoding=args.encoding, errors='surrogateescape')
FileNotFoundError: [Errno 2] No such file or directory: 'MODEL-DIR/step4/emb.src'
sort: cannot read: MODEL-DIR/tmpzq65kr2x/src2trg.phrase-table: No such file or directory
Traceback (most recent call last):
File "train.py", line 484, in <module>
main()
File "train.py", line 474, in main
induce_phrase_table(args)
File "train.py", line 317, in induce_phrase_table
os.remove(args.tmp + '/' + part + '.phrase-table')
FileNotFoundError: [Errno 2] No such file or directory: 'MODEL-DIR/tmpzq65kr2x/src2trg.phrase-table'
网友评论