Blog
超簡單! 一文理解如何使用私有大型語言模型LLM - Ollama＋Open WebUI篇
步驟 安裝 Docker Desktop 使用wsl2 使用 docker compose 2 使用WSL2 打開命令提示字元或Terminal，鍵入: wsl --install 3 使用 docker compose 安裝 3.1 安裝 NVIDIA Container Toolkit讓GPU可以使用 curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit # Configure NVIDIA Container Toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker # Test GPU integration docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi 後續步驟有影片可以對照參考：200 秒內帶你進入私有大型語言模型LLM的世界 - Ollama + Open WebUI
October 3, 2024
inferencing-llm
## mac 安裝 pip install mlx-lm 使用 mac cli python -m mlx_lm.generate --model mlx-community/Phi-3-mini-4k-instruct-4bit --prompt "how are you" import bs4 from langchain import hub from langchain_community.document_loaders import WebBaseLoader from langchain_chroma import Chroma from langchain_core.output_parsers import StrOutputParser from langchain_core.runnables import RunnablePassthrough from langchain_openai import OpenAIEmbeddings from langchain_text_splitters import RecursiveCharacterTextSplitter import getpass import os os.environ["OPENAI_API_KEY"] = "sk-proj-"#getpass.getpass() from langchain_community.document_loaders import PyPDFLoader loader = PyPDFLoader("files/替代役管理作業規定.pdf") pages = loader.load_and_split() from langchain_community.llms.mlx_pipeline import MLXPipeline llm = MLXPipeline.from_model_id( "mlx-community/quantized-gemma-2b-it", # pipeline_kwargs={"max_tokens": 512, "temp": 0.1}, pipeline_kwargs={"temp": 0.1}, ) from huggingface_hub import login login(token="") import os docs = loader.load() text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) splits = text_splitter.split_documents(docs) vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings()) # Retrieve and generate using the relevant snippets of the blog. retriever = vectorstore.as_retriever() prompt = hub.pull("rlm/rag-prompt") def format_docs(docs): return "\n\n".join(doc.page_content for doc in docs) rag_chain = ( {"context": retriever | format_docs, "question": RunnablePassthrough()} | prompt | llm | StrOutputParser() ) question = "替代役管理作業規定是依據甚麼法律?" rag_chain.invoke(f"{question} ") # ' 根據上述法律，替代役管理作業規定主要依據兵役法第 26條。' Ollama 使用 Ollama 執行 TAIDE 的 TAIDE-LX-7B-Chat-4bit 大語言模型 ollama create taide-lx-7b-chat-4bit:latest -f Modelfile 介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型 透過Ollama在本機電腦執行大型語言模型（LLM）：Windows與VS Code篇 Ref
July 4, 2024
20240409-你要如何衡量你的人生
人生方向 樂在工作、挑戰、個人成長、有意義 家庭 婚姻 孩子：學做困難事、價值觀 家庭文化、行為準則 個人：道德原則、不妥協 職涯發展 5特質 Spiritual Heart Abilities Personality Experience 作者是 Rhodes Scholar 牛津讀博 運動、政治、寫作、社區 股市大盜：Dan of thieves 如何知道工作生涯何以成功、快樂 如何知道自己與配偶、兒女、朋友可以快樂 如何知道一生堅守原則，免於牢獄 破壞性創新 - Andy Grove 創新的兩難 理論的Value：從經驗學cost大 每天一睜眼可以為自己喜歡社情欣喜 誘因理論 Michael Jemsem Agent Theory Willian Meckling Two-Factor Theory 動機（發自內心）vs 應因 動機理論 Frederiok Herzberg hygrene factor 保健 e.g. 地位穩定 motivation factor 動機 e.g. 有挑戰性 策略 Hery Mintzberg deliberate strategy 審慎策略 （可預期） emergement strategy 應急策略（不可預期） Walmart 只在小鎮，支援方便，避免削價競爭 發現導向（計畫）- 檢驗哪一比的收穫大 -> 哪些假設新證明為真 重要不確定 vs 不重要但確定 創新的困難 e.g. SonoSite 資源分配的重要 投資困境：為什麼雪球滾不大 （書） 好資金 （少、慢、考慮獲利）、壞資金（大、急於成功） 孩子溝通時要使用：如果…、你還記得… 30個月多說話 公司能力：資源、流程、企業優先順序 Ship of Theseus 人才『書』展翅高飛：培養下一代領導者 經驗的重要 文化的制定 Ref
June 16, 2024
國外工作
歐洲 根據 歐洲資訊科技產業協會: 的資料，歐洲軟體工程師最需要的領域包括： 雲端計算和分散式系統 人工智慧和機器學習 網路安全 大數據和資料分析 軟體開發和工程 行動應用程式開發 遊戲開發 嵌入式系統 這些領域的軟體工程師都比較容易獲得歐洲簽證，因為這些領域的職缺很多，而且這些職缺通常需要高技能的員工。 以下是歐洲一些提供軟體工程師簽證的國家： 德國：德國的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 56,400 歐元的年薪。 Opens in a new windowwww.germany-visa.org Germany visa 荷蘭：荷蘭的知識型移民計畫讓高技能的非歐盟公民可以獲得工作簽證。知識型移民計畫的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。 Opens in a new windowen.siu.com.cn Netherlands visa 英國：英國的全球人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。全球人才簽證的申請人必須有大學學歷，並有至少 25,600 英鎊的年薪。 Opens in a new windowwww.gov.uk UK visa 法國：法國的科技人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。科技人才簽證的申請人必須有大學學歷，並有至少 30,000 歐元的年薪。 Opens in a new windowrjfmac.com
February 27, 2024
20240227-huggingface-nlp
transformers models NLP challenge 人可以很快知道詞相似 Transformers, what can they do? Working with pipelines https://huggingface.co/models from transformers import pipeline classifier = pipeline("sentiment-analysis") classifier("I've been waiting for a HuggingFace course my whole life.") # [{'label': 'POSITIVE', 'score': 0.9598047137260437}] available pipelines
February 27, 2024
20240211-taiwan-job-insights
網頁互動版 資料來源：Levels Fyi 台灣 在台灣 軟體工程師 做什麼最賺錢？ Android先猜應該是因為Google的關係拉高平均，Testing有點意外，Backend也是常常被提到成長幅度較大的，Networking先猜應該是網通廠MTK之類的。 AI 天花板高一點，但整體比做產品、嵌入式系統低。 在台灣 軟體工程師 做什麼底薪最好？ 起薪最高Android，但成長幅度最高是Backend，但只有很少一部分 在台灣 Android 去哪間？ 果然Google最高，但起薪是MTK比較高，之前不知道MTK也有Android，以前以為只有網通 從看到一些強者從Google跳槽到NV後，這張圖好像不會很意外。 這個問我爸後，原來Android不只有手機，許多如smart TV等底層很多都是Android 在台灣 Testing 去哪間？ 原來Testing是被Apple拉高，大部分頂級外商也都有Testing職位 在台灣 ML/AI 去哪間？ 在台灣ML給最高是Amazon，意外的是街口竟然比外商及半導體公司高 在台灣 Production 去哪間？
February 11, 2024
20240209-job-insights
system design1. Scope the problem 可以知道現在有什麼工作機會、該公司位於總體的薪水級距 可以知道最近就業市場中需要的工作技能 如何讓自己更搶手、薪水更高？ 技能vs薪水級距 2. Reasonable Assumptions 雇主資料每天會更新一次 刪除大於半年以上的 job 高價值產業、薪水頻繁更新，其餘不一定 3. Key Component 探索資料 Taiwan 資料：[[20240211-taiwan-job-insights]] 全球 找地區 (reddit) Do most software engineers eventually make $200K+ Occupational Employment and Wages, May 2022 (bls.gov) (reddit) Aren’t EU salaries are too low compared to Eastern European? 全球公司產業排名
February 9, 2024
20240113-data-pay
以下內容為該影片的筆記： 中國經濟變差 政府監管 員工信心 全球資產配置 美股 賺美元全權資產配置 大廠 推行要一年 大廠大家做得跟核心業務沒關 數據 有博士會有加成、做得好不需要博士、性價比不高 有用的DS? 第一份工作很重要 拿到最好的工作 儘早感受真實世界在想什麼比較重要 面試 business sense 統計、SQL、python、analyical、business（商業問題化成數據可解決）、product sense（找重點） 有沒有思考足夠多的trade-off 有沒有把東西推到落地 這個方法的理解是否是本質的理解 ＤＳ學徒制學習 統計理論很重要 Scientist：用科學方法論理解世界、data & model 只是輔助 ML scientist pay 會多一些 很多聰明人擠 apply跟發揮價值很少 懂業務的analytics非常少 Ref https://youtu.be/A8GWS00nYDQ?si=mv4ORUgu4cxO45d1
January 13, 2024
20240108-attention
公司 → 搶奪注意力 太多分心事 克服 決心、自我反省 why? 手機成癮 多巴安 → 採取行動獲得獎勵 看手機→獎勵→空虛 （重複）久了會疲乏 →思考力下降 高度專注任務難以進行 因為需要相同刺激 多巴安排毒 = 減少外在刺激 （激烈）24-48 小時內 斷絕 網路 社群媒體 手機遊戲 ，使用散步 冥想替代 部分排毒：找出最容易分心刺激來源，有意識限制，減少使用時間 找出最容易成癮的 逛網購、短影音 找出想分析原因 戒掉衝動 想為什麼想滑？吸引？當下事情太困難 解決可以解決當前問題的替換事項 找到有停止點的替換事項 e.g. 書 拉筋 放鬆 保持客觀、不批判 感受情緒 延遲享樂 自我控制 現代 太習慣立即性獎賞 滑手機 太習慣立即性想法 影響人際 思考現在的事情對長遠影響 好的留不好的改 有意識計劃每一天：減少分心 早晨看 計畫 e.g. notion ，而不是看email等 → 都在處理別人事情的陷阱 明確的目標、計畫 把零碎時間填滿 Ref https://youtu.be/gvOOgqcpbvU?si=GVwLMdc0DqtdpWC2
January 8, 2024
80分鐘快速了解大型語言模型-5-30有咒術迴戰雷
客製化GPT https://openai.com/blog/introducing-gpts 串接dalle 自動生成頭像 GPT: Generative Pre-trained Transformer others Google Bard anthropic Claude GPT 訓練：文字接龍 e.g. 台灣大->chatGPT-> 學 台灣大->chatGPT-> （機率）學10% 歌、6% https://platform.openai.com/docs/tokenizer ChatGPT目前可以讀300頁pdt chatgpt可能跟 Instruct gpt有關 gpt 3.5 人類去調整
November 10, 2023