ShibataProjects の編集

#contents();
* リリース版 (2022-07-18) [#k005c03e]
- &ref(LFS301-JP_V7.3.1.pdf,center,LFS301-JP 7.3.1);
- &ref(LFS201-JP.pdf,center,LFS201-JP 7.3.1)

For LFS301-JP Version 7.3.1:
 https://drive.google.com/drive/folders/1gtNanWnRgvDw5fq_dgsXabsib7GaVDbw?usp=sharing
 
 LFS201-JP Version
 https://drive.google.com/drive/folders/115Uyg8TcwzfTLWRzJPRuB99joBfxs9Sv?usp=sharing
 
 As best I can see, all looks fine for both, but I don't read Japanese.
 
 Please keep in mind that the English version of LFS301 is at Version 8.0,
 released April 8, 2022.  This Japanese release corresponds best to Version 7.2
 released September 2, 2021, so it is close to a year behind the English version.
 
 Also keep in mind that the English version is "end of life" and is receiving
 no updates.  It will be replaced by a new course in the next few months
 which will require an almost complete rework in Japanese, as even the chapters
 that are remaining have been rather thoroughly reviewed and edited page by
 page, and there is no formatting and file re-factoring throughout.  This
 new course is just as long as LFS301.
 
 I expect no more work on the Japanese versions of LFS301-JP and LFS201-JP.
 
 thanks for all the hard work
 
 All is now in the "japanese" branch.  Only changes I made were in version
 numbers and new tags to reflect them.
 
 coop

* [[LF201-JP:https://trainingportal.linuxfoundation.org/learn/manager/courses-beta]] [#ifd9984a]
- ID = gmail
- Pass = Frex7785!

- &ref(LFS301-JP_v73.pdf,center,Reference LFS301-JP (v7.3) generated from japanese branch);
-- git clone -b japanese https://github.com/lftraining/LFS301
-- remane directory name LFS301 -> LFS301-JP
-- make clean; make

- LF指定の修飾
-- ディレクトリ名
 ABCDE
-- コマンド名
 $ ps aux

- 確認事項
-- html ソースコードの取得は可能か？　無駄な修飾が多数ありチェックをかけられないか？
-- 新しいページの作成方法
--- 「17.5 ディスクデバイスとデバイスノードの命名」の後ろにページ追加が必要（「SCSI デバイスの名前について」）
--- 「22.1　ファイルシステムの暗号化」
-- 既存ページの並べ替えの方法
--- 19章 ファイルシステム機能２（スワップの説明を df/du の前に持ってくる（19章）
-- 削除するページ
--- メジャー番号とマイナー番号 (27章)
--- udev とホットプラグ(27章)
--- udev デバイス マネージャ(27章)
-- 外部のイメージデータ（ワーニングメッセージなど）を参照している部分の変更方法は？
--- もうひとつあった（最初の方）
--- カーネルコマンドライン
-- アラートボックス(相当）の中でのディレクトリ名などの色づけは？（この対応の為に外部ファイルを使っているのかも）
--- systemctl （元の平文も残してある ← 色づけあり）
- 確認事項（シリーズ２）
-- [3] Demo: Using renice to Set Priorities
--- How to bold "renice" at the bottom description

* Real Work [#o6d7b1bd]
** V7.2 rebase [#p1fbcb8b]
- &ref(modified_files.txt);
-- &ref(modified_files_OK.txt);
- &ref(LFS301-JP_v72_orig.pdf);
- &ref(LFS301-JP_v72_WTR20211101.pdf);
** clone from Jerry's github (LFS301 & common) [#t8e23292]
 munakata@PGMIT:~/program$ git clone https://github.com/lftraining/LFS301
 Cloning into 'LFS301'...
 Username for 'https://github.com': hmunak
 Password for 'https://hmunak@github.com':
 remote: Enumerating objects: 11955, done.
 remote: Counting objects: 100% (516/516), done.
 remote: Compressing objects: 100% (371/371), done.
 remote: Total 11955 (delta 264), reused 296 (delta 144), pack-reused 11439
 Receiving objects: 100% (11955/11955), 13.00 MiB | 4.50 MiB/s, done.
 Resolving deltas: 100% (8949/8949), done.
 
 munakata@PGMIT:~/program$ git clone https://github.com/lftraining/common
 Cloning into 'common'...
 Username for 'https://github.com': hmunak
 Password for 'https://hmunak@github.com':
 remote: Enumerating objects: 2333, done.
 remote: Counting objects: 100% (198/198), done.
 remote: Compressing objects: 100% (124/124), done.
 remote: Total 2333 (delta 75), reused 172 (delta 58), pack-reused 2135
 Receiving objects: 100% (2333/2333), 3.22 MiB | 2.32 MiB/s, done.
 Resolving deltas: 100% (1238/1238), done.
 
 munakata@PGMIT:~/program$ ls -al
 total 16
 drwxr-xr-x  4 munakata munakata 4096 Jul 22 07:29 .
 drwxr-xr-x  8 munakata munakata 4096 Jul 22 07:23 ..
 drwxr-xr-x  6 munakata munakata 4096 Jul 22 07:28 LFS301
 drwxr-xr-x 10 munakata munakata 4096 Jul 22 07:29 common

** Ubuntu packages install [#x4f64107]
- &color(red){sudo apt install python-is-python3}; がポイント

munakata@PGMIT:~/program/LFS301$ sudo apt update
 munakata@PGMIT:~/program/LFS301$ sudo apt upgrade

munakata@PGMIT:~/program/LFS301$ sudo apt install texlive-full
 munakata@PGMIT:~/program/LFS301$ sudo apt install python3-pygments
 munakata@PGMIT:~/program/LFS301$ sudo apt install python-is-python3

** Try to generate LFS301.pdf [#kc0e3c77]

- just works with 'make' or 'make slides' to reproduce EN version

** Try to generate LFS301-JP.pdf [#g0c77f70]

- fully clone LFS301 directory and named it as LFS301-JP
- inside LFS301-JP directory
-- clone LFS301.tex and named it as LFS301-JP.tex
-- edited LFS301-JP.tex file
--- course name as LFS301-JP
--- edit course title as 'Linux システム管理'
--- remove existing Makefile and created new symbolc-link to commom/Makefile_oneclass_JAPANESE

- At this moment, make works and created pdf file, however
-- Chapter 1 & LABS remains English (even Jerry's reference reflected existing Japanese contents)
-- I can edit CHAPS for Japanese translation

* Reference Files (pulled from following sepatae repos) [#e948b247]
- &ref(LFS201-JP.pdf,center,LFS201-JP (柴田さんにもらった初期バージョン));
- &ref(LFS301-JP_V7.1.pdf,center,LFS301V7.1 (Jerry にもらった英語版));
- &ref(LFS301-JP_V7.2.pdf,center,LFS301V7.2 (Jerry にもらった英語版)); &color(red){[v7.2]};
- &ref(LFS301-JP_v72_Jerry_orig.pdf,center,LFS301V7.2 (Jerry の japanese ブランチから生成したオリジナル)); &color(red){[v7.2]};
- &ref(LFS301_v72_Jerry_full_english.pdf,center,LFS301V7.2 (Jerry の英語版（Labs も英語のオリジナル)); &color(red){[v7.2_all_English]};
- &ref(LFS301_20211109.pdf,center,LFS301V7.2 (Jerry の英語版（最新); &color(red){[v7.2_English_latest(so far)]};

- &ref(LF_courseware.pdf,center,LF_courseware(コーステキスト作成ガイド));  
- &ref(LF_cheatsheet.pdf,center,LF_cheatsheet(Latex カスタムマクロ));
- &ref(LF_translate.pdf,center,LF_translate(翻訳ガイド));
- 
* Git repos [#a4145184]
- https://github.com/lftraining/LFS301
-- git clone &color(red){-b japanese}; URL で明示的に japanese ブランチだけを見るべきである
-- &ref(LFS301-master.zip);
- https://github.com/lftraining/common
-- &ref(common-master.zip);
- https://github.com/tgkz/LFS201-text
-- &ref(LFS201-text-master.zip);
- https://github.com/hmunak/LFS301-JP-local

* Google Drive [#h824d278]
- [[Jerry share:https://drive.google.com/drive/folders/1vbynsIYo1F8KYt4hYGIctxBJTYwleCMG?usp=sharing_eip_m&ts=60f0331f]]
-- &ref(drive-20210719.zip);

-- [[v7.2:https://drive.google.com/drive/folders/1zajfn7U7DnKDFgeEVVcMmEdSq5xM9bw3]]
-- [[v2021-10-20:https://drive.google.com/drive/folders/1VbBDCCthzPRCzkBpL4Ppf_-zvHcXk3OY]]

--- As far as the git repo goes, I only had to add 1 real file: &color(red){LFS301-JP.tex}; @
--- You will have to change the course name when you decide Japanese translation,
--- I also added the current LFS301.tex for reference purposes and the link to LFS301-JP as a directory to LFS301.
--- then all I had to do was "make release-full" to generate these files.

- [[Shibata-san Share:https://drive.google.com/drive/folders/1vT-5-p2OcOZS101vAGojmU_bfrCr7YfW]]
-- &ref(SHARED_ LFS301-JP作成用-20210720T082643Z-001.zip);
-- &ref(LFS301-JP-WIP (20210917).pdf);
-- [[v7.2 校正データ:https://docs.google.com/spreadsheets/d/1m4FzDatOxaENizpwbJbdqia_KmvK_3W_sA9XXbx7l38/edit#gid=0]]
-- [[v7.2 Errata:https://drive.google.com/file/d/15In01nxVsWaorKo14loPFINp0ghozAEV/view?usp=sharing]]

-- [[&color(red){WTR3 Feedback};:https://docs.google.com/spreadsheets/d/1yUKqx1Y5RmFHzGZVtGRa30ijJtfc_EPIylfl_56c3L4/edit#gid=0]]

* 日本語ファイル（e-learning 用に翻訳したもの） [#faa7363d]
*** ソースファイル [#w5594a29]
- &ref(LFS201-text-master.zip);
*** 行数確認 [#scfa83a0]
- 元のファイルは UTF-8、CRLF（Windows) 形式
 [local] munakata:~/latex/LFS201/JP_orig$ file Chapter9.txt 
 Chapter9.txt: UTF-8 Unicode text, with CRLF line terminators

- CRLF → LF 一括変換
 [local] munakata:~/latex/LFS201/JP_orig$ find . -name '*.txt' | xargs file | grep CRLF | awk -F: '{print $1}' | xargs nkf -Lu --overwrite

- 空行を除いたファイルをダンプ（部分）
 Chapter9.txt:クイズ開始
 Chapter9.txt:問題 9.1
 Chapter9.txt:zypper install <package>は、新しいパッケージをインストールするために使います。True or False?
 Chapter9.txt:A. True
 Chapter9.txt:B. False
 Chapter9.txt:問題 9.2
 Chapter9.txt:zypper updateは、パッケージを引数として指定できません。True or False?
 Chapter9.txt:A. True
 Chapter9.txt:B. False

- 空行を除く行数カウント → &color(red){3,133 行};
 [local] munakata:~/latex/LFS201/JP_orig$ grep -v ^\s*$ *.txt | wc -L
 3133

- 変換元データファイルを作成
-- 変換元ファイル（ファイルマージ、ファイル名付加、空行削除） ----> &ref(JP_orig.txt);
-- フォーマットは  &color(red){[ファイル名（拡張子なし）]:[index 番号]:日本語テキスト}; とする
-- [[変換プログラム (add_index.py):https://kgb.hmuna.com/gitweb/?p=LF201;a=summary]]
--- &ref(add_index.py);

- 変換サンプル
 Chapter9:000100:クイズ開始
 Chapter9:000101:問題 9.1
 Chapter9:000102:zypper install <package>は、新しいパッケージをインストールするために使います。True or False?
 Chapter9:000103:A. True
 Chapter9:000104:B. False
 Chapter9:000105:問題 9.2
 Chapter9:000106:zypper updateは、パッケージを引数として指定できません。True or False?
 Chapter9:000107:A. True
 Chapter9:000108:B. False

* 英語ファイル [#bd937947]
** 処理プロトコル案１・・・失敗（detex の精度が低くテキストの再現性が低い） [#v83de5ea]
- tex to txt conversion (drop tex control sequences) ---> [[OpenDetex:https://github.com/pkubowicz/opendetex]] or [[pandoc:https://pandoc.org/]]
- eliminate blank lines （done）
- add index to each line（done）
- reflect index to tex file (aborted)
- compare & match JP_index to EN_index
-- replace EN text to JP text
-- delete index
-- try compling tex files

** 処理プロトコル案２・・・pdf からテキストをインデックス化し tex ファイルに反映 [#n8bcc1e1]
- pdftotest でテキスト化
- ファイル名（拡張子抜き）：インデックス：テキスト の作成
- 比較用アプリの作成と インデックスマッチング
- オリジナル tex ファイルにインデックスの挿入（または、インデックスに置き換え） → 自動変換のベース

** plagiarism detection python (盗用・剽窃チェック) アルゴリズムの検討 [#bab7636f]
- tex ファイル中の該当箇所を検出するアルゴリズムを検討
-- 単純に pdf からテキスト化された文章（当然複数の単語からなる）と Texコマンドを含む Tex ソースファイルを比較した場合、適切にマッチできないことが判明。全くマッチしないわけではなく、複数行の最後の部分でマッチするケースもあった。
-- &ref(debug_1_reached -the-point.png);
- 使えるかもしれない（が、目的が違うので微妙かもしれない）類似プログラム --- pysimilar
-- [[Plagiarism detection with Pysimilar in Python:https://kalebujordan.dev/how-to-easily-compute-similarity-between-documents-using-python/]]
-- [[How to detect plagiarism in text using Python:https://dev.to/kalebu/how-to-detect-plagiarism-in-text-using-python-dpk]]
-- [[plagiarism-detection (github topic search):https://github.com/topics/plagiarism-detection?l=python]]

** 単純な文章の類似度判定 [#m1bbe931]
- [[Pythonで文章の類似度を計算する方法〜TF-IDFとcos類似度〜:https://analysis-navi.com/?p=688]]

** pdftotext と detex で特殊文字が違ったエンコードになった（些細だが、ハマる） [#oec2d682]
 'What is "Cloud Native" and how it works?' <----- detex (from Tex)
 'What is ”Cloud Native” and how it works?\n' <---- pdftotext (from PDF)

* Latex [#y85cf04e]
** 日本語フォント [#ffe9a9b6]
- 基本 IPAexフォントを利用しているが bold が無いので bold 対応フォントを導入
- [[フリーフォントを活用するために:http://www.fugenji.org/~thomas/texlive-guide/free_font.html]]
- [[mixfont-mplus-ipa のインストール方法:http://mix-mplus-ipa.osdn.jp/migmix/]]

- &ref(migmix-1p-20200307.zip);
- &ref(migmix-2p-20200307.zip);
- &ref(migmix-1m-20200307.zip);

- 考え方としては基本は IPAexGothic、IPAexMincho を利用
- bold についてゴチックは migmix-2p、丸ゴチックは migmix-1m を使うように fontmap を設定する。

- &color(red){/usr/share/fonts/truetype の下に migmix というディレクトリーを作り ttf ファイルをコピー};
- fc-cache -fv でフォントを読み込み、fc-list で認識されたことを確認
- xelatex で fontspec={migmix} を指定してみる

[local] munakata:~/Downloads/migmix-1p-20200307$ sudo cp *.ttf /usr/share/fonts/truetype/migmix/
 
 [local] munakata:~/Downloads/migmix-1p-20200307$ ls -al /usr/share/fonts/truetype/migmix/ 
 合計 6432
 drwxr-xr-x  2 root root    4096  7月 26 10:18 .
 drwxr-xr-x 82 root root    4096  7月 26 10:17 ..
 -rw-r--r--  1 root root 3413208  7月 26 10:18 migmix-1p-bold.ttf
 -rw-r--r--  1 root root 3160324  7月 26 10:18 migmix-1p-regular.ttf

[local] munakata:~/Downloads/migmix-1p-20200307$ sudo fc-cache -fv
 
 [local] munakata:~/Downloads/migmix-2p-20200307$ fc-list | grep mig
 /usr/share/fonts/truetype/migmix/migmix-2p-bold.ttf: MigMix 2P:style=Bold <----------------
 /home/munakata/.fonts/migu-1m-regular.ttf: Migu 1M:style=Regular
 /home/munakata/.fonts/migu-1m-bold.ttf: Migu 1M:style=Bold <-------------------------------
 /usr/share/fonts/truetype/migmix/migmix-1p-bold.ttf: MigMix 1P:style=Bold
 /usr/share/fonts/truetype/migmix/migmix-1m-regular.ttf: MigMix 1M:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1p-regular.ttf: MigMix 1P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-2p-regular.ttf: MigMix 2P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1m-bold.ttf: MigMix 1M:style=Bold

** Ubuntu fonts-migmix パッケージの評価 [#lbc69828]
- local install した状態
 [local] munakata:~$ fc-list | grep migmix
 /usr/share/fonts/truetype/migmix/migmix-2p-bold.ttf: MigMix 2P:style=Bold
 /usr/share/fonts/truetype/migmix/migmix-1p-bold.ttf: MigMix 1P:style=Bold
 /usr/share/fonts/truetype/migmix/migmix-1m-regular.ttf: MigMix 1M:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1p-regular.ttf: MigMix 1P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-2p-regular.ttf: MigMix 2P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1m-bold.ttf: MigMix 1M:style=Bold

- fonts-migmix パッケージをインストール
 [local] munakata:~$ sudo apt install fonts-migmix
 パッケージリストを読み込んでいます... 完了
 依存関係ツリーを作成しています                
 状態情報を読み取っています... 完了
 以下のパッケージが新たにインストールされます:
   fonts-migmix
 アップグレード: 0 個、新規インストール: 1 個、削除: 0 個、保留: 24 個。
 11.4 MB のアーカイブを取得する必要があります。
 この操作後に追加で 52.6 MB のディスク容量が消費されます。
 取得:1 http://jp.archive.ubuntu.com/ubuntu focal/universe amd64 fonts-migmix all 20150712-2 [11.4 MB]
 11.4 MB を 2秒 で取得しました (7,450 kB/s)
 以前に未選択のパッケージ fonts-migmix を選択しています。
 (データベースを読み込んでいます ... 現在 510777 個のファイルとディレクトリがインストールされています。)
 .../fonts-migmix_20150712-2_all.deb を展開する準備をしています ...
 fonts-migmix (20150712-2) を展開しています...
 fonts-migmix (20150712-2) を設定しています ...
 fontconfig (2.13.1-2ubuntu3) のトリガを処理しています ...

- インストール後の状況
 [local] munakata:~$ fc-list | grep migmix
 /usr/share/fonts/truetype/migmix/migmix-2m-bold.ttf: MigMix 2M:style=Bold <---------------------- 追加
 /usr/share/fonts/truetype/migmix/migmix-2p-bold.ttf: MigMix 2P:style=Bold
 /usr/share/fonts/truetype/migmix/migu-1m-regular.ttf: Migu 1M:style=Regular
 /usr/share/fonts/truetype/migmix/migu-2m-regular.ttf: Migu 2M:style=Regular <-------------------- 追加 
 /usr/share/fonts/truetype/migmix/migu-1c-regular.ttf: Migu 1C:style=Regular <------------------- 追加
 /usr/share/fonts/truetype/migmix/migu-1p-regular.ttf: Migu 1P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1p-bold.ttf: MigMix 1P:style=Bold
 /usr/share/fonts/truetype/migmix/migmix-2m-regular.ttf: MigMix 2M:style=Regular <---------------- 追加
 /usr/share/fonts/truetype/migmix/migmix-1m-regular.ttf: MigMix 1M:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-1p-regular.ttf: MigMix 1P:style=Regular
 /usr/share/fonts/truetype/migmix/migmix-2p-regular.ttf: MigMix 2P:style=Regular
 /usr/share/fonts/truetype/migmix/migu-2m-bold.ttf: Migu 2M:style=Bold <-------------------------- 追加
 /usr/share/fonts/truetype/migmix/migu-1p-bold.ttf: Migu 1P:style=Bold
 /usr/share/fonts/truetype/migmix/migu-1c-bold.ttf: Migu 1C:style=Bold <-------------------------- 追加
 /usr/share/fonts/truetype/migmix/migu-1m-bold.ttf: Migu 1M:style=Bold
 /usr/share/fonts/truetype/migmix/migmix-1m-bold.ttf: MigMix 1M:style=Bold

- 結論として、Ubuntu 環境であれば font-migmix パッケージをインストールすれば良い

タイムスタンプを変更しない