samejack

[samejack]

Ubuntu 安裝 ollama 在本地執行 Llama 3.2 推論模型與 API 服務

Ollama 介紹 Ollama 是一個專注於大語言模型（LLM, Large Language Models）應用的開源專案，旨在幫助開發者輕鬆部署和使用私有的大型語言模型，而無需依賴外部的雲端服務或外部 API，這些模型不��僅只有包括 Meta Llama Model，也提供其他一些 Open LLM Model，像是 Llama 3.3, Phi 3, Mistral, Gemma 2。該專案的核心目的是提供高效、安全、可控的 LLM 推論環境建制。大致上有以下特性： 採用本地機器運行 Ollama 支援在自己的設備上載入模型，無需將數據上傳至雲端，確保數據隱私與安全。通過優化模型運行效率，即使在資源有限的設備上也能流暢進行推論。 開源與可客製化 Ollama 是一個採用 MIT License…

[samejack]

Windows 11 允許多條遠端桌面連線 RDP Mluti-Session

關於 Windows 11 遠端桌面連線人數限制 Windows 11 所有版本是禁止 RDP 多使用者同時連線登入使用，這裡測試了網路傳說修改 DLL 的方法來處理多人連線。正常第二位使用者會踢掉前面的用戶，同時多條 RDP 連線的功能只允許在 Windows Server 的版本，微軟官方論壇有明確的說明 Windows 11 RDP 連線限制。 本文聲明：修改 Windows DLL 的方法不是正規的方式，可能會違反 Microsoft 授權或條款，本文僅僅提供實驗 測試的方法如下： 關閉「遠端桌面」功能 由於我們需要修改 termsrv.dll 檔案，所以需要先關閉服務才可以修改。進入「設定 > 系統 > 遠端桌面」進行關閉，如下： 關閉後重新啟動 Windows 11 安裝「HxD mh-nexus」文字編輯器 HxD mh-nexus…

[samejack]

Windows 11 安裝 NVIDIA NIM 與 Llama 3 LLM 大語言模型

NVIDIA NIM 介紹 2024 NVIDIA Computex 黃仁勳執行長發表了 NIM，NIM 是一個推論微服務隨處部署的架構，使用者可以在雲端或自己的伺服器建立 AI 推論微服務，並且可以整合 K8S 進行動態擴充機制。同時 NVIDIA NIM 也是 NVIDIA AI Enterprise 的一部分，這套易於使用的微服務可提升基礎模型在任何雲端或資料中心的部署速度，且有助於保障資料安全。NVIDIA 官方網站有針對 NIM Development 提供豐富的介紹與文件。 除了推論服務的部屬 NIM 也針對模型進行了 CUDA Runtime 的最佳化，整體的框架如下： Windows 11 安裝 NIM 服務 一般安裝 NIM 如果是使用 Linux 作業系統的話會是最順利的過程，但今天要介紹的是透過 Windows 11 內建的 Windows System…

[samejack]

實現 Omniverse Composer 遠端連線操作的 3 個方法

實現 Omniverse Composer 遠端連線操作的 3 個方法

之前有一個需求，就是需要讓不同 Client 連線進某一台比較強大的 GPU Workstation 進行 Omniverse 操作，並且可以分享硬體資源給其他人。也或者在其他沒有 GPU 的電腦來連線操作雲端上的 Omniverse，目前可以透過三種方法實現： 透過 Linux X-Window 或 Windows RDP 遠端桌面連線 透過 Omniverse Streaming Client 透過 Omniverse WebRTC Browser Client 以下介紹第 2 與 3 種方式 使用 Omniverse Streaming Client 遠端連線 先安裝專用的 Extension 外掛程式，在 Omniverse Composer 進入選單 Windows > Extensions 功能，如下： 安裝 LIVESTREAM NATIVE BACKEND…

[samejack]

NVIDIA Omniverse Nucleus Server Backup

NVIDIA Omniverse Nucleus Server Backup

需要備份 Omniverse Nucleus Server 可以透過 Nucleus Tools, 檔案 Rsync 與實做 omni.client.copy API 三種方法來實現，最後可以將備份的檔案透過 Git LFS 進行管理與版本控制。其實 Omniverse Nucleus 本身對於版本控制是使用 Checkpoint 機制，但是我們這裡是針對低階的備份做討論，主要是確保災難復原與高可用的實現方案。 Nucleus Tools 進行備份 Nucleus Server 這個 Nucleus Tools Package 只有提供在 Enterprise Nucleus Server 屬於付費的版本，如果是使用 Nucleus Workstation 那就很抱歉了，窮人請往下走。如果有安裝 Nucleus Tools 可以透過 docker 參考以下命令 dump_backup,…

[samejack]

透過 Harbor 建制自己的 Docker Registry + 永久憑證更新

建制自己私有的 Docker Registry 以往我們的 Docker Image 都是上傳到 Docker Hub，如果自己在開發上有很多專案需要管理，或者需要自訂複雜的帳號權限，這時候就需要自行建立 Docker Registry 來存放 Image。這裡我們手把手教學如何建立自己的 Harbor Server，並且透過 Caddy 全自動管理 SSL 憑證，這樣一來就可以大量減少維護的時間，也可以有自己專用的 Docker Registry。 Harbor Project 介紹 Harbor 是一個 Open Source 的 Docker Registry，使用 Apache License 進行發布，可以透過 Docker Compose 的方式啟動整個服務，安裝完成後提供完整的 Web 管理介面與服務，可以自訂專案與各種角色成員，算是非常夠用了。畫面如下： Docker…

[samejack]

雲端服務動態擴充磁碟空間 (GCP/AWS EC2 VM)

使用 IaaS 雲端服務可以享受資源動態調整的便利性，空間不足夠的時候也可以直接動態擴充磁碟，最近剛好有遇到這個問題。順便紀錄一下 Linux Disk Resize 的步驟與指令。 我們採用 Snapshop 重新建立新磁碟的方法，這種方法不但快速而且有備份，由於不是對原本的磁碟直接修改，所以如果失敗的話不會影響原始的資料。由於是資料磁碟的擴充，所以整個過程基本上 VM 不需要關機，維護的時間也很短。 透過 GCP / AWS 建立 Snapshot Disk 每個雲端服務的方式都差不多，這裡不詳細介紹。主要是先停止系統服務，然後 umount 卸載要擴充的 Disk，在雲服務 Console 先對磁碟建立 Snapshot，然後針對這個 Snapshot 建立一個比較大的新磁碟，最後掛載到 VM…

[samejack]

透過了解 WhatsApp Hack 方法，讓使用者從多方面來防範並提昇資訊安全

透過了解 WhatsApp Hack ，讓使用者從多方面來防範並提昇資訊安全

你的 WhatsApp 是否���被入侵的風險 WhatsApp 在歐美地區是世界上最出名的社交訊息應用程式之一，WhatsApp 每天傳送海量的訊息，這些訊息在網路傳輸上可能會面臨著巨大的安全風險。本文通過介紹入侵 WhatsApp（WhatsApp Hack）的方式來說明如何防止 WhatsApp 安全性問題，讓資訊安全可以更上一層樓。以下介紹四種 WhatsApp 常被使用的攻擊方式： 通過第三方應用程式監聽 WhatsApp 封包 監聽 WhatsApp 的方法有很多，其中最簡單易行的是使用嗅探應用程式，而 mSpy 又是其中最容易操作、使用最廣的手機應用。 mSpy 是一款免費的手機監控應用程式。一旦 mSpy 被安裝到目標對象的手機，它的 WhatsApp 功能就可以直接啟用，它能夠使你非常輕鬆地從目標對象手機中的 WhatsApp 中監聽到以下內容： 監控 WhatsApp…

[samejack]

5 分鐘整合 Cloudflare API 實做 Cloudflare DDNS 動態 IP 對應網址

透過 Cloudflare API 實現 Cloudflare DDNS 本文教學在 Linux 下如何透過免費的 Cloudflare DNS 服務組合 Cloudflare API 實現 Cloudflare DDNS 的效果，如果伺服器可能會有動態的網路位置 (比如 PPPoE 連線) 就可以透過定時更新 DNS IP 來達到動態網址對應的效果，同時也附上 Cron Shell Script 動態更新程式碼，只要透過 Linux Cron 執行 Script 就可以自動更新 Server DNS 對應的 IP 了。讓需要 PPPoE 撥接上網的浮動 IP 也可以方便地管理主機位置。 什麽是 DDNS 動態域名系統？ DDNS (Dynamic Domain Name System) 中文為動態域名系統，是指一種讓使用者可以透過一個固定的域名來連接到一個網路裝置的服務。 傳統的…

[samejack]

Keras 教學 - 透過微調預先訓練神經網路法訓練高準確度 CNN 模型

Keras 教學 – 透過微調預先訓練神經網路法訓練高準確度 CNN 模型

什麽是微調預先訓練神經網路法？ 簡單來說就是「使用已經訓練好的模型進行調整與重新訓練」，微調預先訓練神經網路法 (Fine-tuning a pretrained network) 是指在 CNN 訓練的時候，使用已經預先訓練好的神經網路模型的權重作為初始權重，然後再進行微調的過程。這種方法的目的是利用已經訓練好的模型所學習到的知識，來加快 CNN 的訓練速度並提高準確度。 常見的預先訓練神經網路有 Google 的 Inception 和 ImageNet，以及 Microsoft 的 ResNet。這些預先訓練的模型已經在大量圖像數據上進行過訓練，因此能夠提供豐富的圖像特徵。 在使用微調預先訓練神經網路法的時候，通常會將預先訓練的模型的某些層的權重固定，而只對其他層進行微調。這樣可以避免預先訓練模型所學習到的知識被破壞，同時又能夠利用這些知識來加快 CNN…

[samejack]

計算 MySQL Server 需要使用多少記憶體

計算 MySQL Server 需要使用多少記憶體

調整 MySQL 設定來規劃 Server 記憶體使用 當 MySQL 使用的記憶體超過系統上限時，Linux 基於預設的管理機制，就會對行程進行刪除。當 MySQL 觸發 OOM 的時候，常常 mysqld 會被 kill 以後被 supervisor 重啟。前陣子剛好處理大量連線與 Query 的問題，所以順便紀錄一下。 資料庫其實是一個需要大量記憶體與 I/O 的服務，尤其是關聯資料在 Join Table 時常常需要大量的資源。以 MySQL 來說，資料讀寫存取都需要在記憶體中完成，最常優化與加速的方法就是加大 Buffer Pool 的記憶體使用空間，但是這其實不是唯一可以控制記憶體的方法。因為 MySQL 針對每一條連線都有定義可以使用的記憶體大小，如果要計算目前 MySQL 設定可能會消耗的最大記憶體，可以透過以下的 Query 來計算。 SELECT…

[samejack]

Keras 教學 - 透過預先訓練神經網路特徵萃取法快速訓練高準確度模型

Keras 教學 – 透過預先訓練神經網路特徵萃取法快速訓練高準確度模型

預先訓練神經網路的特徵萃取法 我們知道 CNN 卷積層的訓練需要很多數據與運算資源，在資料集不足的情況下，從頭訓練卷積層不是一個聰明的方法。何不直接採用大神訓練好的卷積層，加速 AI Time to Market。這樣的方法稱為預先訓練神經網路的特徵萃取法 (Feature extraction with a pertrained network)，由於在 CNN 架構中訓練 Convolutional Layer 成本是很高的，太少的樣本不足以訓練出具有特徵擷取意義的網路。Convolutional Layer 如下： Convolutional 主要用來擷取特徵，在不同的業務需求下，前端對於影響的特徵擷取其實是可以共用的。所以我們想站在巨人的肩膀上，直接使用一些典型網路已經訓練好的 Convolutional Base 來擷取特徵，透過特徵重新訓練自己的 Full…

[samejack]

WordPress 網址更換透過資料庫更新方法 (筆記)

如何變更 WordPress 連線網址 WordPress 是目前世界上最多網站使用的內容管理系統，前陣子剛好有一個網站需要變更網址，修改的方式可以透過後台（設定 > 一般 > WordPress 位置）進行設定，如下： 查了一下資料發現除了透過 WorePress 後台的網址設定功能以外，針對資料庫的資料可能也需要進行刷新，整理刷新 URL 的 SQL 如下，需要進入 MySQL 執行 Query。 UPDATE wp_posts SET guid=REPLACE(guid,'https://old.com.tw','https://new.com.tw'); UPDATE wp_posts SET post_content=REPLACE(post_content,'https://old.com.tw','https://new.com.tw'); UPDATE…

[samejack]

DesignEvo 自己的 Logo 自己做 (內有讀者專用折扣碼)

DesignEvo 自己的 Logo 自己做 (內有讀者專用折扣碼)

透過樣板快速建立企業 Logo 的好工具 DesignEvo 是一款十分簡單易用的 Logo 設計線上製作軟體，以下是DesignEvo的幾大功能特點： 全介面支援繁體中文與字形 7000 多個精心設計的Logo模板。 一百萬多個圖標資源供搜索。 數百種文字字體和形狀供選擇。 功能強大且簡單易用。 目前我們經營的幾個品牌與電商通路，都是透過這個好用的工具設計 Logo，除此之外透過豐富的樣板與設計師溝通也是很好用的技巧。 我們除了推薦以外，官方還提供了專屬的 30%OFF 折扣碼，結帳請輸入使用即可獲得 7 折優惠，DesignEvo 折扣碼如下： TorightBlogDE 新版官網首頁如下，趕快試用看看囉~~  

[samejack]

如何透過 SSH 建立 0.0.0.0 公開連線的反向通道

如何透過 SSH 建立 0.0.0.0 公開連線的反向通道

黑客必學 SSH Tunnel 反向通道防火牆穿越技術 Linux SSH 有一個很好用的功能，就是可以把本機的 TCP Port 透過 ssh 連線對應到遠端主機的 Port，或者遠端主機可以連線的另一個 IP + Port。這樣的方式稱為 SSH Tunnel 我們常說的 SSH  通道，也是跳板技術的種。反之，如果把遠端主機的某一個 TCP Port 連接到本機或本機可以連線的另一個 IP + Port 就稱為反向通道。有了這個技術，只要出的去就進得來，如果在搭配 Port Number 偽裝，幾乎可以繞過所有困難的網路環境限制，也是我們常稱的防火牆穿越黑暗技。 如何建立 SSH Tunnel 反向通道 如果我們在 NAT 網路環境中，內網有一台 Server 需要接收 Internet 的連線，但是由於沒有 Public IP…

[samejack]

Keras 教學 - 如何透過資料擴增法利用少量資料訓練 CNN 網路

Keras 教學 – 如何透過資料擴增法利用少量資料訓練 CNN 網路

如何在少量資料的情況下改善 CNN 模型訓練的效果？ 前面的教學有提過神經網路會需要大量的資料來進行訓練，尤其是 CCN 應用在影像訓練的領域，時常遇到標記的訓練圖片數量不足。為了在這樣的情況也能獲得不錯的訓練效果，我們接下來會陸續介紹三種技巧，可以用來提高 CNN 網路訓練的效率與成效。 接下來要介紹的三種方法分別為： 資料擴增法 (Data augmentation) 預先訓練神經網路的特徵萃取法 (Feature extraction with a pertrained network) 微調預先訓練神經網路法 (Fine-tuning a pretrained network) 從 Kaggle 下載與準備訓練資料 Kaggle 下載的檔案全部都是圖片，由於我們想要從頭訓練一個可以分辨貓或狗的 CNN 網路，開始以前需要先將影像資料進行處理，轉換為可以送進 Keras…

[samejack]

利用 Imagick 轉換 PNG 成為所有格式的 favicon.ico 網站圖標

利用 Imagick 轉換 PNG 成為所有格式的 favicon.ico 網站圖標

如何透過 ImageMigick 命令製作網站圖標 當我們透過瀏覽器開啟網頁，在瀏覽器頁籤出現的小圖示就是「網站圖標」又稱為網站 Icon，今天的教學首先要先安裝 ImageMagick Library Tools，安裝完成以後會有 convert CLI 可以使用。由於目前標準的網站圖標需要很多種不同的格式，所以���要一系列的轉換工作。接下來準備好要製作圖標的透背 PNG 檔案，然後執行以下命令 ($SOURCE_PATH 請替換你的 PNG 圖片來源檔路徑)。 convert '$SOURCE_PATH/favicon.png' -background transparent -define icon:auto-resize=16,24,32,48,64,72,96,128,256 'favicon/favicon.ico' convert…