ShibataProjects の履歴(No.13) - PukiWiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ ]

Real Work
Reference Files (pulled from following sepatae repos)
Git repos
Google Drive
日本語ファイル（e-learning 用に翻訳したもの）
- ソースファイル
- 行数確認
英語ファイル

Real Work†

clone from Jerry's github (LFS301 & common)†

munakata@PGMIT:~/program$ git clone https://github.com/lftraining/LFS301
Cloning into 'LFS301'...
Username for 'https://github.com': hmunak
Password for 'https://hmunak@github.com':
remote: Enumerating objects: 11955, done.
remote: Counting objects: 100% (516/516), done.
remote: Compressing objects: 100% (371/371), done.
remote: Total 11955 (delta 264), reused 296 (delta 144), pack-reused 11439
Receiving objects: 100% (11955/11955), 13.00 MiB | 4.50 MiB/s, done.
Resolving deltas: 100% (8949/8949), done.

munakata@PGMIT:~/program$ git clone https://github.com/lftraining/common
Cloning into 'common'...
Username for 'https://github.com': hmunak
Password for 'https://hmunak@github.com':
remote: Enumerating objects: 2333, done.
remote: Counting objects: 100% (198/198), done.
remote: Compressing objects: 100% (124/124), done.
remote: Total 2333 (delta 75), reused 172 (delta 58), pack-reused 2135
Receiving objects: 100% (2333/2333), 3.22 MiB | 2.32 MiB/s, done.
Resolving deltas: 100% (1238/1238), done.

munakata@PGMIT:~/program$ ls -al
total 16
drwxr-xr-x  4 munakata munakata 4096 Jul 22 07:29 .
drwxr-xr-x  8 munakata munakata 4096 Jul 22 07:23 ..
drwxr-xr-x  6 munakata munakata 4096 Jul 22 07:28 LFS301
drwxr-xr-x 10 munakata munakata 4096 Jul 22 07:29 common

create work directory (LFS301-JP)†

copy LABSPLIT, RESOURCES, SOLUTIONS from Jerry's Google Drive
copy CHAPS, IMAGES from LF301 cloned from github
create Makefile as a symlink to common/Makefile_oneclass_JAPANESE
create common as a symlink to ../common

Ubuntu packages install†

munakata@PGMIT:~/program/LFS301$ sudo apt update
munakata@PGMIT:~/program/LFS301$ sudo apt upgrade

munakata@PGMIT:~/program/LFS301$ sudo apt install texlive-full
munakata@PGMIT:~$ sudo apt install python3-pip
munakata@PGMIT:~/program/LFS301$ sudo apt install python3-pygments

python3 & pip alias setting (added to .bashrc)†

alias python="python3" 
alias pip="pip3"

Try to generate LFS301.pdf†

Try to generate LFS301-JP.pdf†

Reference Files (pulled from following sepatae repos)†

Git repos†

Google Drive†

Jerry share
- drive-20210719.zip

As far as the git repo goes, I only had to add 1 real file: LFS301-JP.tex @
You will have to change the course name when you decide Japanese translation,
I also added the current LFS301.tex for reference purposes and the link to LFS301-JP as a directory to LFS301.
then all I had to do was "make release-full" to generate these files.

Shibata-san Share
- SHARED_ LFS301-JP作成用-20210720T082643Z-001.zip

日本語ファイル（e-learning 用に翻訳したもの）†

ソースファイル†

LFS201-text-master.zip

行数確認†

元のファイルは UTF-8、CRLF（Windows) 形式

[local] munakata:~/latex/LFS201/JP_orig$ file Chapter9.txt 
Chapter9.txt: UTF-8 Unicode text, with CRLF line terminators

CRLF → LF 一括変換

[local] munakata:~/latex/LFS201/JP_orig$ find . -name '*.txt' | xargs file | grep CRLF | awk -F: '{print $1}' | xargs nkf -Lu --overwrite

空行を除いたファイルをダンプ（部分）

Chapter9.txt:クイズ開始
Chapter9.txt:問題 9.1
Chapter9.txt:zypper install <package>は、新しいパッケージをインストールするために使います。True or False?
Chapter9.txt:A. True
Chapter9.txt:B. False
Chapter9.txt:問題 9.2
Chapter9.txt:zypper updateは、パッケージを引数として指定できません。True or False?
Chapter9.txt:A. True
Chapter9.txt:B. False

空行を除く行数カウント → 3,133 行

[local] munakata:~/latex/LFS201/JP_orig$ grep -v ^\s*$ *.txt | wc -L
3133

変換元データファイルを作成
- 変換元ファイル（ファイルマージ、ファイル名付加、空行削除） ----> JP_orig.txt
- フォーマットは [ファイル名（拡張子なし）]:[index 番号]:日本語テキストとする
- 変換プログラム (add_index.py)
  - add_index.py

変換サンプル

Chapter9:000100:クイズ開始
Chapter9:000101:問題 9.1
Chapter9:000102:zypper install <package>は、新しいパッケージをインストールするために使います。True or False?
Chapter9:000103:A. True
Chapter9:000104:B. False
Chapter9:000105:問題 9.2
Chapter9:000106:zypper updateは、パッケージを引数として指定できません。True or False?
Chapter9:000107:A. True
Chapter9:000108:B. False

英語ファイル†

処理プロトコル案１・・・失敗（detex の精度が低くテキストの再現性が低い）†

tex to txt conversion (drop tex control sequences) ---> OpenDetex or pandoc
eliminate blank lines （done）
add index to each line（done）
reflect index to tex file (aborted)
compare & match JP_index to EN_index
- replace EN text to JP text
- delete index
- try compling tex files

処理プロトコル案２・・・pdf からテキストをインデックス化し tex ファイルに反映†

pdftotest でテキスト化
ファイル名（拡張子抜き）：インデックス：テキストの作成
比較用アプリの作成とインデックスマッチング
オリジナル tex ファイルにインデックスの挿入（または、インデックスに置き換え） → 自動変換のベース

plagiarism detection python (盗用・剽窃チェック) アルゴリズムの検討†

tex ファイル中の該当箇所を検出するアルゴリズムを検討
- 単純に pdf からテキスト化された文章（当然複数の単語からなる）と Texコマンドを含む Tex ソースファイルを比較した場合、適切にマッチできないことが判明。全くマッチしないわけではなく、複数行の最後の部分でマッチするケースもあった。
使えるかもしれない（が、目的が違うので微妙かもしれない）類似プログラム --- pysimilar

単純な文章の類似度判定†

Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜

pdftotext と detex で特殊文字が違ったエンコードになった（些細だが、ハマる）†

'What is "Cloud Native" and how it works?' <----- detex (from Tex)
'What is ”Cloud Native” and how it works?\n'  <---- pdftotext (from PDF)