Download - 進度 流程 Demo
![Page 1: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/1.jpg)
進度流程 Demo
![Page 2: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/2.jpg)
Outline
• 系統架構• 註冊檔案格式 ( 大小及數量 )• Demo process• Q&A
![Page 3: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/3.jpg)
系統架構
Client
DN1
DN2
NAS1
NAS2mount
mountmount
mount
MN
SN
Client directory structure/mnt/HDFS (fuse directory)/mnt/NAS1_NFS/ (NAS1)/mnt/NAS2_NFS/ (NAS2)
MN: Master NameNodeSN: Slave NameNodeDN: Datanode
![Page 4: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/4.jpg)
檔案大小及數量• 1G 以上– 5 個– 最大檔案 :8.5G
• 1G 以下– 25 個
![Page 5: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/5.jpg)
資料夾• 最多三層• 舉例 :– /mnt/NAS_USER/NAS1_DIR– /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2– /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2/
NAS1_DIR_3
![Page 6: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/6.jpg)
Demo 流程• 註冊流程
– 1.Client 先在 DN1(user1) 和 DN2(user2) 上註冊檔案 ( 時間 :5 分鐘 )– 2.Client 在 /mnt/HDFS 上看到剛剛註冊的檔案
• 檔案操作流程– 1.Client 在 /mnt/HDFS 上新增檔案 (addFile1)– 2.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結– 3.Client 在 /mnt/HDFS 上刪除檔案 (addFile1)– 4.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結
被刪除– 5. Client 在 /mnt/HDFS 上修改 NAS1 上註冊的檔案 ( 修改
NAS1_File)– 6. Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連
結
![Page 7: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/7.jpg)
Cell Recovery 流程• Case1: 當 SN 不存在時, FSImage 掛掉,且
NameNode shutdown– NameNode 重新啟動後, Client 在 /mnt/HDFS
看到原來的檔案• Case2: 當 SN 存在, FSImage 掛掉,且
NameNode shutdown– Client 重新設定 NameNode 位置,並重新啟動
Fuse ,在 /mnt/HDFS 看到原來的檔案
![Page 8: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/8.jpg)
註冊流程
![Page 9: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/9.jpg)
1.Client 先在 DN1 和 DN2 上註冊檔案
![Page 10: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/10.jpg)
2.Client 在 /mnt/HDFS 上看到剛剛註冊的檔案
![Page 11: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/11.jpg)
檔案操作流程
![Page 12: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/12.jpg)
1.Client 在 /mnt/HDFS 上新增檔案 (addFile1)
![Page 13: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/13.jpg)
2.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案 (addFile1) 的超連結
![Page 14: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/14.jpg)
3.Client 在 /mnt/HDFS 上刪除檔案 (addFile1)
![Page 15: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/15.jpg)
4.Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結被刪除
![Page 16: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/16.jpg)
5. Client 在 /mnt/HDFS 上修改 NAS1 上註冊的檔案( 修改 NAS1_File)
![Page 17: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/17.jpg)
6. Client 在 /mnt/NAS1_NFS 或 /mnt/NAS2_NFS 上看到檔案的超連結
![Page 18: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/18.jpg)
Cell Recovery 流程
![Page 19: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/19.jpg)
Case1: 當 SN 不存在時, FSImage 掛掉,且 NameNode shutdown
• NameNode 重新啟動後, Client 在 /mnt/HDFS 看到原來的檔案
![Page 20: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/20.jpg)
![Page 21: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/21.jpg)
Case2: 當 SN 存在, FSImage 掛掉,且 NameNode shutdown
• Client 重新設定 NameNode 位置,並重新啟動Fuse ,在 /mnt/HDFS 看到原來的檔案
![Page 22: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/22.jpg)
![Page 23: 進度 流程 Demo](https://reader035.vdocuments.mx/reader035/viewer/2022062222/56815774550346895dc5141c/html5/thumbnails/23.jpg)
Q&A