Shannon's Blog 🐟 技術 | 生活 | 旅行

前言 最近選了一堂AI課程，這是第四個作業，主要教授內容為以下主題： Download Coco dataset User pre-trained version of Faster R-CNN to predict the bounding box Calculate IoU 作業要求 下載coco資料集：Download the file „2017 Val images [5/1GB]“ and „ 2017 Train/Val annotations [241MB]“ from the Coco page. You can use the library pycocotools to load them into your notebook. 隨機從dataset選擇十張：Randomly select 10 images from this dataset. 使用pre-trained模型FasterR-CNN預測bbox：Use a pre-trained version of Faster R-CNN (Resnet50 backbone) to predict t ...

前言 最近選了一堂AI課程，這是第四個作業，主要教授內容為以下主題： Pick a dataset and train a model on it. Transfer Learning - Fine Tuning. Batch Normalization in CNN. 主要參考以下網站： Flower102 Dataset Transfer Learning DataSet of Pytorch Models for transfer learning Shannon’s Blog of Transfer Learning Resnet18 作業要求 Task: 選擇一個DataSet： Check out the torchvision DataSet of Pytorch and decide one dataset that you want to use (no CIFAR, no ImageNet, no FashionMNIST). 印出圖片和資料大小：Show some example images of the dataset in the notebook ...

前言 最近選了一堂AI課程，這是第三個作業，主要參考以下網站： 教授如何使用 Pytorch 搭建 CNN：Pytorch Tutorial 教授如何使用 TensorBoard：Pytorch TensorBoard Tutorial 在 CoLabe 使用 TensorBoard 教學：TensorBoard in CoLabe Tutorial 本篇的主要目的是理解 CNN，並試圖搭建更深層的 Network，並使用GPU加快效率，最後將結果 Loss 與 猜錯的結果 顯示在 TensorBoard 上。 環境設置與作業要求 環境設置： Python 3.10.9 Pytorch 2.0.1 作業要求 Task: 先建立一個CNN：Train the same network as in the PyTorch CNN tutorial. 建立出CNN滿足以下要求：Change now the network architecture as follows and train the network: Conv layer with 3x3 kernel and ...

前言 因為在做資料庫的零信任相關研究，在這篇適用於應用程式AP與資料庫DB之間的零信任架構(ZTA)原則 - 總整理篇有提到幾點跟資料保護重要的技術，也就是DLP跟DRM。為此，本篇主要就是總結目前Survey與DLP相關的文獻。 主要目的是可以找出以下議題的相關論文，並擁有一定的了解： DLP 在做什麼？ DLP 的相關技術？ DLP 跟 Data Risk Labeling 的結合？ DLP 跟 Access Control 的結合？ DLP 關於 Machine Learning 的應用？ DLP 在做什麼？

Reference Ref:很詳細說明Titanic資料裡面的結構狀態 前言 最近選了一堂AI課程，有一個作業是我們寫出一個Nerual Network，並且使用Titanic Dataset來訓練，並且透過增加 hidden layer 跟 neurons 的方式實現overfitting，並透過 dropout 或其他方法來消除 overfitting 的影響。 在此紀錄ㄧ下作業撰寫的過程。 環境設置與作業要求 環境設置： Python 3.10.9 Pytorch 2.0.1 作業要求 Write a custom dataset class for the titanic data (see the data folder on GitHub). Use only the features: “Pclass”, “Age”, “SibSp”, “Parch”, „Fare“, „Sex“, „Embarked“. Preprocess the features accordingly in that class (scaling, one-hot-encoding ...

參考資料 mac m1,m2 安装 提供GPU支持的pytorch和tensorflow Accelerated PyTorch training on Mac Mac OS 在 PyTorch 啟用 GPU 因為我本身使用我重新基于Anaconda安装了一下GPU支持的Pytorch，你不確定是否有安裝Conda可以使用指令conda --version查看是否有安裝。如果成供輸出帶有本身有安裝，如果沒有請至Anaconda官網下載。 （可選）如果想要分開環境，特別建立一個支援GPU的python env，可以使用以下指令 12345678# 建立一個 torch-gpu 的環境 使用 python 3.10.9conda create -n torch-gpu python=3.10.9# 啟用該環境conda activate torch-gpu# 查看 所有環境 conda env list # 查看目前的 python 版本與啟用的 env python 版本是否相同python --version 根據 Pytorch 官網選擇對應的版本，複製安裝指令 您 ...

參考資料 Epoch, Batch size, Iteration, Learning Rate ML Lecture 6: Brief Introduction of Deep Learning ML Lecture 7: Backporpagation 聊一聊深度学习的activation function 台大李鴻毅老師的所有影片 超詳細的activation function推導公式 卷積神經網路(Convolutional neural network, CNN):卷積計算中的步伐(stride)和填充(padding) 史丹佛nerual-networks-3 Nerual Network 主要參考：- ML Lecture 6: Brief Introduction of Deep Learning 每個 neuron 都有一組 weight 跟 bias，下一個neuron = 上一個 neuron 連到的線中，進行運算以上圖為例 11+(-1)(-2) 再加上 bias 1 進行 sigmoid function 得到數值。 就是把 input * weig ...

Introduction I am going to complete something I have always want to do, which is finishing the Design Patterns book written by Eric Freeman. I have read this book for several times, but I never managed to finish it. I believe it’s time to finaly complete it. And for not forgeting the knowledge I have learned, I will write down the notes here. Agenda The following are the agenda of this hands-on. I will try to base on my understanding to explain the design pattern. [ ] Day1: Introd to Design Pat ...

前言 主要是為了自己觀看方便，想把所有跟德國鐵路的相關資訊一併整理在這。 德鐵種類 國鐵分為以下三種，A最快C最慢，要注意早鳥票只有A、B類火車有販售，最早可以提前半年在官網上訂購。 A 長途高速列車 ICE (從法蘭克福搭往Karlsruhe就是這個) Ｂ快速城際火車 IC、EC、CNL Ｃ 區間火車 IRE、RE、RB、S-Bahn、U-Bahn 近郊列車/區間車(S-Bahn)、地鐵/捷運(U-bahn) 在德國市區，S-Bahn跟U-Bahn常常都是會一起出現的，會有綠色S跟藍色U作為標示（如上圖）： S-Bahn就像我們台鐵的區間車，S代表的是Suburban也就是郊區； U-Bahn像我們的捷運，U代表地下Underground。 #購票方式：地鐵站內的自動售票機 #注意事項： 搭車的時候，上下車要自己按鈕開門(超重要！！很多人忘記！！) 一天去超過3個景點就建議購買一日卷 記得準備小鈔或Visa信用卡，機器只接受5歐以下的現金 記得檢查票卷上是否有日期，沒有日期被查票也視同逃票！ 月台沒有閘門及驗票口，可自由通行 電車(Tram) 相對於地鐵，較少 ...

前言 準備9/3飛往德國，在抵達德國前總要知道抵達後應該做的事情，因此整理出這篇文章條列說明，需要做的事情，包含入籍、延簽、居留證、開戶、申請電話卡等。全部一併在這裡準備，我不喜歡分太多文章，如果你想快速知道去德國到底具體要做哪些事情，可以直接參考我這篇～。畢竟網戶很多文章都是單獨分開的，有的入籍，但你不會知道要辦理延簽，有的想要提領帳戶但是不知道要怎麼開戶，還有一堆小事情要處理分散在網路各個不同的地方。 所以我這篇主要目的就是希望提供大家一個快速可以知道自己到底去德國要做什麼事情的整理，和我的心得。但是如果想要知道更詳細的操作畫面，建議還是參考別的網站，但是我主要是希望你可以知道自己具體要準備什麼。 保險+提領帳戶：Expatrio 保險和提領帳戶我是透過 Expatrio 申請，因為他們有提供一個套餐，包含了保險和提領帳戶，而且申請起來也很方便，只需要填寫一些基本資料，就可以申請成功，而且他們的保險也是德國政府認可公保 TK 的，所以我就直接申請了。 選擇Expatrio好處： 速度快（提領帳戶匯錢後當天就更新通知了） 繳交文件方便 公保是TK，如果想打子宮頸疫苗可以免費打 幸 ...