<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
lsusb
![](https://i.imgur.com/SRI6jmT.png)
RTL8821AU
https://github.com/brektrou/rtl8821CU
找到對應的git
https://github.com/gnab/rtl8812au
make
sudo make install
## TX20U 在Ubuntu 22.04
https://www.tp-link.com/tw/support/faq/3423/
看到他是 Realtek 8832AU
![](https://i.imgur.com/8YuZ7x7.png)
https://github.com/hyekalhitech/ArcherRTL8832AU

</body>
</html>



## Ref

lsusb
![](https://i.imgur.com/SRI6jmT.png)
RTL8821AU
https://github.com/brektrou/rtl8821CU

找到對應的git
https://github.com/gnab/rtl8812au
make
sudo make install



## TX20U 在Ubuntu 22.04
https://www.tp-link.com/tw/support/faq/3423/
看到他是 Realtek 8832AU
![](https://i.imgur.com/8YuZ7x7.png)

https://github.com/hyekalhitech/ArcherRTL8832AU


ubuntu wifi網卡抓不到

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
Solution: 在bios裡面 boot>UEFI Hard Disk Drive BBS Priorities 設定 Boot Option 第一個要是ubuntu

</body>
</html>



## Ref

Solution: 在bios裡面 boot>UEFI Hard Disk Drive BBS Priorities 設定 Boot Option 第一個要是ubuntu

安裝後直接進到 windows問題

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## 步驟
![](https://i.imgur.com/jycGc1B.png)
1. 安裝 Docker Desktop
2. 使用wsl2
3. 使用 docker compose
## 2 使用WSL2
打開命令提示字元或Terminal，鍵入: `wsl --install`
## 3 使用 docker compose 安裝
### 3.1 安裝  NVIDIA Container Toolkit讓GPU可以使用
```shell
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
&#x26;&#x26; curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
# Configure NVIDIA Container Toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# Test GPU integration
docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi
```
**後續步驟有影片可以對照參考：[200 秒內帶你進入私有大型語言模型LLM的世界 - Ollama + Open WebUI](https://youtu.be/2NGVNUjdoe0?si=-IQvk7y2x583ysY6)**
### 3.2.1 clone repo
`git clone https://github.com/valiantlynx/ollama-docker.git`
### 3.2.2 進入repo
`cd ollama-docker`
### 3.3 使用docker compose 跑服務
`docker-compose -f docker-compose-ollama-gpu.yaml up -d`
![](https://i.imgur.com/GJKhDG5.png)
看到這就跑起來啦
## 4 使用
### 4.1 下載模型
打開瀏覽器: http://localhost:8080/，點選左下角使用者>設定
![](https://i.imgur.com/jbDwuxS.png)
![](https://i.imgur.com/R6uBbGk.png)
請按照1. 2. 3. 順序點選，2可以先輸入使用微軟製作的小模型 phi3:3.8b
### 4.2 可以開始玩拉
![](https://i.imgur.com/0Mipwj2.png)
### 5 關閉
`docker compose down`
—來自Alan Tseng發佈於Alan Tseng的沙龍 https://vocus.cc/article/669aba96fd89780001daf87d

</body>
</html>



## 步驟

![](https://i.imgur.com/jycGc1B.png)
1. 安裝 Docker Desktop
2. 使用wsl2
3. 使用 docker compose


## 2 使用WSL2
打開命令提示字元或Terminal，鍵入: `wsl --install`
## 3 使用 docker compose 安裝
### 3.1 安裝  NVIDIA Container Toolkit讓GPU可以使用
```shell
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

# Configure NVIDIA Container Toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

# Test GPU integration
docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi
```

**後續步驟有影片可以對照參考：[200 秒內帶你進入私有大型語言模型LLM的世界 - Ollama + Open WebUI](https://youtu.be/2NGVNUjdoe0?si=-IQvk7y2x583ysY6)**
### 3.2.1 clone repo
`git clone https://github.com/valiantlynx/ollama-docker.git`
### 3.2.2 進入repo
`cd ollama-docker`
### 3.3 使用docker compose 跑服務
`docker-compose -f docker-compose-ollama-gpu.yaml up -d`
![](https://i.imgur.com/GJKhDG5.png)
看到這就跑起來啦
## 4 使用
### 4.1 下載模型
打開瀏覽器: http://localhost:8080/，點選左下角使用者>設定

![](https://i.imgur.com/jbDwuxS.png)

![](https://i.imgur.com/R6uBbGk.png)
請按照1. 2. 3. 順序點選，2可以先輸入使用微軟製作的小模型 phi3:3.8b
### 4.2 可以開始玩拉 
![](https://i.imgur.com/0Mipwj2.png)
### 5 關閉
`docker compose down`
—來自Alan Tseng發佈於Alan Tseng的沙龍 https://vocus.cc/article/669aba96fd89780001daf87d

超簡單! 一文理解如何使用私有大型語言模型LLM - Ollama＋Open WebUI篇

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

1. ytd get youtube video
2. whisper video -> text
3. video -> 關鍵影格 （變動threshold>0.2）
- `learn-fast/`
```python
import sys
import os
import subprocess
from yt_dlp import YoutubeDL
from mlx_whisper import transcribe
import cv2
import numpy as np
import json
from slugify import slugify
# create mp.json if not exist
if not os.path.exists("mp.json"):
with open("mp.json", "w") as f:
json.dump({}, f)
def download_youtube_video(url, output_path='./videos'):
mp={}
ydl_opts = {
'verbose': True,
'format': 'bestvideo+bestaudio/best',
'outtmpl': os.path.join(output_path, '%(id)s.%(ext)s'),
'merge_output_format': 'mp4',
'quiet': False,
'writesubtitles': True,
'writeautomaticsub': True,
}
info_save = None
with YoutubeDL(ydl_opts) as ydl:
info = ydl.extract_info(url, download=True)
video_title = info['title']
info_save = info
video_file = os.path.join(output_path, f"{id}.mp4")
try:
with open("mp.json", "r") as f:
mp = json.load(f)
except json.JSONDecodeError as e:
print(f"Error reading mp.json: {e}")
print(f"Error position: {e.pos}")
with open("mp.json", "r") as f:
json_data = f.read()
print(f"JSON content up to error position: {json_data[:e.pos]}")
# mp = {}
mp[url] = info_save
with open("mp.json", "w") as f:
json.dump(mp, f)
return f'{output_path}/{mp[url]['id']}.mp4'
def video_to_text(output_folder, audio_file):
print("==", audio_file)
output = transcribe(audio_file, word_timestamps=True)
with open(f"{audio_file}.transcription.json", "w") as f:
json.dump(output, f, default=lambda x: x.item() if isinstance(x, np.float16) else print(x))
return output
def extract_key_frames(video_path, output_folder, threshold=0.2):
cap = cv2.VideoCapture(video_path)
path = os.path.join(output_folder, os.path.splitext(os.path.basename(video_path))[0])
basename = os.path.basename(path)
os.makedirs(output_folder, exist_ok=True)
os.makedirs(f"{output_folder}/{basename}", exist_ok=True)
success, prev_frame = cap.read()
if success:
cv2.imwrite(f"{output_folder}/{basename}/frame_0.jpg", prev_frame)
count = 0
ans = []
while success:
success, curr_frame = cap.read()
if not success:
break
diff = cv2.absdiff(cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY),
cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY))
non_zero_count = np.count_nonzero(diff)
non_zero_ratio = non_zero_count / diff.size
if non_zero_ratio > threshold:
frame_time = cap.get(cv2.CAP_PROP_POS_MSEC) / 1000.0
frame_name = f"{output_folder}/{basename}/frame_{int(frame_time)}.jpg"
cv2.imwrite(frame_name, curr_frame)
print(f"Saved frame at {frame_time:.2f} seconds as {frame_name}")
ans.append(
{
"frame": frame_name,
"time": frame_time
}
)
prev_frame = curr_frame
count += 1
cap.release()
with open(f"{output_folder}/{basename}/keyframes.json", "w") as f:
json.dump(ans, f)
print(f"Extracted frames saved in {output_folder}")
def video_to_audio(video_file=""):
audio_file = f"{video_file}.wav"
subprocess.run(["ffmpeg", "-i", video_file, audio_file], check=True)
return audio_file
def main():
if len(sys.argv) != 2:
print("Usage: python pt.py
<div>
  ")
  return
  youtube_url = sys.argv[1]
  video_output_path = './videos'
  frames_output_folder = './frames'
  threshold = 0.2 # 畫面變動的閾值
  video_file = download_youtube_video(youtube_url, video_output_path)
  audio_file = video_to_audio(video_file)
  transcription = video_to_text("videos", audio_file)
  # extract_key_frames(video_file, frames_output_folder, threshold)
  if __name__ == "__main__":
  main()
  ```
</div>

</body>
</html>



1. ytd get youtube video
2. whisper video -> text
3. video -> 關鍵影格 （變動threshold>0.2）

- `learn-fast/`

```python
import sys

import os

import subprocess

from yt_dlp import YoutubeDL

from mlx_whisper import transcribe

import cv2

import numpy as np

import json

from slugify import slugify

# create mp.json if not exist

if not os.path.exists("mp.json"):

with open("mp.json", "w") as f:

json.dump({}, f)

def download_youtube_video(url, output_path='./videos'):

mp={}

ydl_opts = {

'verbose': True,

'format': 'bestvideo+bestaudio/best',

'outtmpl': os.path.join(output_path, '%(id)s.%(ext)s'),

'merge_output_format': 'mp4',

'quiet': False,

'writesubtitles': True,

'writeautomaticsub': True,

}

info_save = None

with YoutubeDL(ydl_opts) as ydl:

info = ydl.extract_info(url, download=True)

video_title = info['title']

info_save = info

video_file = os.path.join(output_path, f"{id}.mp4")

try:

with open("mp.json", "r") as f:

mp = json.load(f)

except json.JSONDecodeError as e:

print(f"Error reading mp.json: {e}")

print(f"Error position: {e.pos}")

with open("mp.json", "r") as f:

json_data = f.read()

print(f"JSON content up to error position: {json_data[:e.pos]}")

# mp = {}

  

mp[url] = info_save

with open("mp.json", "w") as f:

json.dump(mp, f)

return f'{output_path}/{mp[url]['id']}.mp4'

  

def video_to_text(output_folder, audio_file):

print("==", audio_file)

output = transcribe(audio_file, word_timestamps=True)

with open(f"{audio_file}.transcription.json", "w") as f:

json.dump(output, f, default=lambda x: x.item() if isinstance(x, np.float16) else print(x))

return output

  

def extract_key_frames(video_path, output_folder, threshold=0.2):

cap = cv2.VideoCapture(video_path)

path = os.path.join(output_folder, os.path.splitext(os.path.basename(video_path))[0])

basename = os.path.basename(path)

  

os.makedirs(output_folder, exist_ok=True)

os.makedirs(f"{output_folder}/{basename}", exist_ok=True)

  

success, prev_frame = cap.read()

if success:

cv2.imwrite(f"{output_folder}/{basename}/frame_0.jpg", prev_frame)

  

count = 0

ans = []

while success:

success, curr_frame = cap.read()

if not success:

break

  

diff = cv2.absdiff(cv2.cvtColor(prev_frame, cv2.COLOR_BGR2GRAY),

cv2.cvtColor(curr_frame, cv2.COLOR_BGR2GRAY))

non_zero_count = np.count_nonzero(diff)

non_zero_ratio = non_zero_count / diff.size

if non_zero_ratio > threshold:

frame_time = cap.get(cv2.CAP_PROP_POS_MSEC) / 1000.0

frame_name = f"{output_folder}/{basename}/frame_{int(frame_time)}.jpg"

cv2.imwrite(frame_name, curr_frame)

print(f"Saved frame at {frame_time:.2f} seconds as {frame_name}")

ans.append(

{

"frame": frame_name,

"time": frame_time

}

)

prev_frame = curr_frame

count += 1

  

cap.release()

with open(f"{output_folder}/{basename}/keyframes.json", "w") as f:

json.dump(ans, f)

print(f"Extracted frames saved in {output_folder}")

  

def video_to_audio(video_file=""):

audio_file = f"{video_file}.wav"

subprocess.run(["ffmpeg", "-i", video_file, audio_file], check=True)

return audio_file

  

def main():

if len(sys.argv) != 2:

print("Usage: python pt.py <YouTube URL>")

return

  

youtube_url = sys.argv[1]

video_output_path = './videos'

frames_output_folder = './frames'

threshold = 0.2 # 畫面變動的閾值

  

video_file = download_youtube_video(youtube_url, video_output_path)

audio_file = video_to_audio(video_file)

transcription = video_to_text("videos", audio_file)

# extract_key_frames(video_file, frames_output_folder, threshold)

  

if __name__ == "__main__":

main()
```

更快的影片學習方法

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

![[Pasted image 20240717010914.png]]
```
FROM tiangolo/uvicorn-gunicorn-fastapi:python3.9
COPY ./main.py /app/main.py
```
- fastapi-deployment.yaml
```
apiVersion: apps/v1
kind: Deployment
metadata:
  name: fastapi-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: fastapi
  template:
    metadata:
      labels:
        app: fastapi
    spec:
      containers:
        - name: fastapi-container
          image: alanhc/test:latest
          ports:
            - containerPort: 80
```
- fastapi-service.yaml
```
apiVersion: v1
kind: Service
metadata:
  name: fastapi-service
spec:
  selector:
    app: fastapi
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
  type: NodePort
```
```
from fastapi import FastAPI
app = FastAPI()
@app.get("/")
def read_root():
    return {"Hello": "World"}
```
`kubectl apply -f`
`kubectl get services`
`kubectl port-forward svc/fastapi`
## Ref

</body>
</html>


![[Pasted image 20240717010914.png]]
```
FROM tiangolo/uvicorn-gunicorn-fastapi:python3.9
COPY ./main.py /app/main.py
```
- fastapi-deployment.yaml
```

apiVersion: apps/v1

kind: Deployment

metadata:

  name: fastapi-deployment

spec:

  replicas: 1

  selector:

    matchLabels:

      app: fastapi

  template:

    metadata:

      labels:

        app: fastapi

    spec:

      containers:

        - name: fastapi-container

          image: alanhc/test:latest

          ports:

            - containerPort: 80
```
- fastapi-service.yaml
```
apiVersion: v1

kind: Service

metadata:

  name: fastapi-service

spec:

  selector:

    app: fastapi

  ports:

    - protocol: TCP

      port: 80

      targetPort: 80

  type: NodePort
```

```
from fastapi import FastAPI

app = FastAPI()

@app.get("/")

def read_root():

    return {"Hello": "World"}
```

`kubectl apply -f`

`kubectl get services`

 `kubectl port-forward svc/fastapi`
 
## Ref


fastapi-k8s

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## mac
## 安裝
- `pip install mlx-lm`
### 使用 mac cli
- `python -m mlx_lm.generate --model mlx-community/Phi-3-mini-4k-instruct-4bit --prompt "how are you"`
-
```
import bs4
from langchain import hub
from langchain_community.document_loaders import WebBaseLoader
from langchain_chroma import Chroma
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter
```
```
import getpass
import os
os.environ["OPENAI_API_KEY"] = "sk-proj-"#getpass.getpass()
from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader("files/替代役管理作業規定.pdf")
pages = loader.load_and_split()
```
```
from langchain_community.llms.mlx_pipeline import MLXPipeline
llm = MLXPipeline.from_model_id(
"mlx-community/quantized-gemma-2b-it",
# pipeline_kwargs={"max_tokens": 512, "temp": 0.1},
pipeline_kwargs={"temp": 0.1},
)
```
```
from huggingface_hub import login
login(token="")
```
```
import os
docs = loader.load()
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
# Retrieve and generate using the relevant snippets of the blog.
retriever = vectorstore.as_retriever()
prompt = hub.pull("rlm/rag-prompt")
def format_docs(docs):
return "\n\n".join(doc.page_content for doc in docs)
rag_chain = (
{"context": retriever | format_docs, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)
```
```
question = "替代役管理作業規定是依據甚麼法律?"
rag_chain.invoke(f"{question} ")
# ' 根據上述法律，替代役管理作業規定主要依據兵役法第 26條。'
```
## Ollama
- [使用 Ollama 執行 TAIDE 的 TAIDE-LX-7B-Chat-4bit 大語言模型](https://blog.miniasp.com/post/2024/04/17/Run-TAIDE-LX-7B-Chat-4bit-model-in-Ollama)
- `ollama create taide-lx-7b-chat-4bit:latest -f Modelfile`
- [介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型](https://blog.miniasp.com/post/2024/03/04/Useful-tool-Ollama)
[透過Ollama在本機電腦執行大型語言模型（LLM）：Windows與VS Code篇](https://swf.com.tw/?p=1952)
## Ref
-

</body>
</html>


                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   ## mac
## 安裝
- `pip install mlx-lm`
### 使用 mac cli
- `python -m mlx_lm.generate --model mlx-community/Phi-3-mini-4k-instruct-4bit  --prompt "how are you"`
- 

```
import bs4

from langchain import hub

from langchain_community.document_loaders import WebBaseLoader

from langchain_chroma import Chroma

from langchain_core.output_parsers import StrOutputParser

from langchain_core.runnables import RunnablePassthrough

from langchain_openai import OpenAIEmbeddings

from langchain_text_splitters import RecursiveCharacterTextSplitter
```

```
import getpass

import os

  

os.environ["OPENAI_API_KEY"] = "sk-proj-"#getpass.getpass()
from langchain_community.document_loaders import PyPDFLoader

  

loader = PyPDFLoader("files/替代役管理作業規定.pdf")

pages = loader.load_and_split()

```

```
from langchain_community.llms.mlx_pipeline import MLXPipeline

  

llm = MLXPipeline.from_model_id(

"mlx-community/quantized-gemma-2b-it",

# pipeline_kwargs={"max_tokens": 512, "temp": 0.1},

pipeline_kwargs={"temp": 0.1},

)
```

```
from huggingface_hub import login

login(token="")
```
```
import os

  
  

docs = loader.load()

  

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)

splits = text_splitter.split_documents(docs)

vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

  

# Retrieve and generate using the relevant snippets of the blog.

retriever = vectorstore.as_retriever()

prompt = hub.pull("rlm/rag-prompt")

  

def format_docs(docs):

return "\n\n".join(doc.page_content for doc in docs)

  
  

rag_chain = (

{"context": retriever | format_docs, "question": RunnablePassthrough()}

| prompt

| llm

| StrOutputParser()

)
```

```
question = "替代役管理作業規定是依據甚麼法律?"

rag_chain.invoke(f"{question} ")
# ' 根據上述法律，替代役管理作業規定主要依據兵役法第 26條。'
```

## Ollama 
-  [使用 Ollama 執行 TAIDE 的 TAIDE-LX-7B-Chat-4bit 大語言模型](https://blog.miniasp.com/post/2024/04/17/Run-TAIDE-LX-7B-Chat-4bit-model-in-Ollama)
	- `ollama create taide-lx-7b-chat-4bit:latest -f Modelfile`
-  [介紹好用工具：Ollama 快速在本地啟動並執行大型語言模型](https://blog.miniasp.com/post/2024/03/04/Useful-tool-Ollama)
[透過Ollama在本機電腦執行大型語言模型（LLM）：Windows與VS Code篇](https://swf.com.tw/?p=1952)
## Ref
- 


inferencing-llm

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- 先看 File structure:
![](https://i.imgur.com/HGlGJij.png)
```python
# app.py
import streamlit as st
st.title('Hello World')
```
```python
# hooks/hook-streamlit.py
from PyInstaller.utils.hooks import copy_metadata
datas = copy_metadata("streamlit")
```
```python
# run_app.py
import streamlit
import streamlit.web.cli as stcli
import os, sys
if __name__ == "__main__":
os.chdir(os.path.dirname(__file__))
sys.argv = [
"streamlit",
"run",
"./src/app.py",
"--global.developmentMode=false",
]
sys.exit(stcli.main())
```
### method 1: 第一次打包
`pyinstaller --onefile --additional-hooks-dir=./hooks run_app.py --clean`
第二次打包
### method 2:
`pyi-makespec run_app.py`
會產生run_app.spec
```python
# -*- mode: python ; coding: utf-8 -*-
from PyInstaller.utils.hooks import collect_data_files
from PyInstaller.utils.hooks import copy_metadata
datas = [("/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages/streamlit/runtime", "./streamlit/runtime")]
datas += collect_data_files("streamlit")
datas += copy_metadata("streamlit")
datas += [('./src', './src')]
block_cipher = None
a = Analysis(
['run_app.py'],
pathex=[],
binaries=[],
datas=datas,
hiddenimports=[],
hookspath=['./hooks'],
hooksconfig={},
runtime_hooks=[],
excludes=[],
win_no_prefer_redirects=False,
win_private_assemblies=False,
cipher=block_cipher,
noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)
exe = EXE(
pyz,
a.scripts,
a.binaries,
a.zipfiles,
a.datas,
[],
name='run_app',
debug=False,
bootloader_ignore_signals=False,
strip=False,
upx=True,
upx_exclude=[],
runtime_tmpdir=None,
console=True,
disable_windowed_traceback=False,
argv_emulation=False,
target_arch=None,
codesign_identity=None,
entitlements_file=None,
)
```
- notes: `/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages` 這個可以看 :
- `python -c 'import site; print(site.getsitepackages())'`
- `pyinstaller run_app.spec --clean`
## 加上docx
```
# -*- mode: python ; coding: utf-8 -*-
from PyInstaller.utils.hooks import collect_data_files
from PyInstaller.utils.hooks import copy_metadata
import sys
from os import path
site_packages = next(p for p in sys.path if 'site-packages' in p)
datas = [("/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages/streamlit/runtime", "./streamlit/runtime")]
datas += collect_data_files("streamlit")
datas += copy_metadata("streamlit")
datas += collect_data_files("python_docx")
datas += copy_metadata("python_docx")
datas += collect_data_files("docx")
datas += copy_metadata("docx")
datas += [('./src', './src')]
datas +=[(path.join(site_packages,"docx","templates"), "docx/templates")]
block_cipher = None
a = Analysis(
['run_app.py'],
pathex=[],
binaries=[],
datas=datas,
hiddenimports=["python_docx", "docx"],
hookspath=['./hooks'],
hooksconfig={},
runtime_hooks=[],
excludes=[],
win_no_prefer_redirects=False,
win_private_assemblies=False,
cipher=block_cipher,
noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)
exe = EXE(
pyz,
a.scripts,
a.binaries,
a.zipfiles,
a.datas,
[],
name='run_app',
debug=False,
bootloader_ignore_signals=False,
strip=False,
upx=True,
upx_exclude=[],
runtime_tmpdir=None,
console=True,
disable_windowed_traceback=False,
argv_emulation=False,
target_arch=None,
codesign_identity=None,
entitlements_file=None,
)
```
## Ref

</body>
</html>


- 先看 File structure:
![](https://i.imgur.com/HGlGJij.png)
```python
# app.py
import streamlit as st

st.title('Hello World')
```
```python
# hooks/hook-streamlit.py

from PyInstaller.utils.hooks import copy_metadata

datas = copy_metadata("streamlit")
```
```python
# run_app.py

import streamlit

import streamlit.web.cli as stcli

import os, sys

if __name__ == "__main__":

os.chdir(os.path.dirname(__file__))

sys.argv = [

"streamlit",

"run",

"./src/app.py",

"--global.developmentMode=false",

]

sys.exit(stcli.main())
```
### method 1: 第一次打包
`pyinstaller --onefile --additional-hooks-dir=./hooks run_app.py --clean`
第二次打包
### method 2:
`pyi-makespec run_app.py`
會產生run_app.spec
```python
# -*- mode: python ; coding: utf-8 -*-

from PyInstaller.utils.hooks import collect_data_files
from PyInstaller.utils.hooks import copy_metadata

datas = [("/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages/streamlit/runtime", "./streamlit/runtime")]
datas += collect_data_files("streamlit")
datas += copy_metadata("streamlit")
datas += [('./src', './src')]



block_cipher = None


a = Analysis(
    ['run_app.py'],
    pathex=[],
    binaries=[],
    datas=datas,
    hiddenimports=[],
    hookspath=['./hooks'],
    hooksconfig={},
    runtime_hooks=[],
    excludes=[],
    win_no_prefer_redirects=False,
    win_private_assemblies=False,
    cipher=block_cipher,
    noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)

exe = EXE(
    pyz,
    a.scripts,
    a.binaries,
    a.zipfiles,
    a.datas,
    [],
    name='run_app',
    debug=False,
    bootloader_ignore_signals=False,
    strip=False,
    upx=True,
    upx_exclude=[],
    runtime_tmpdir=None,
    console=True,
    disable_windowed_traceback=False,
    argv_emulation=False,
    target_arch=None,
    codesign_identity=None,
    entitlements_file=None,
)
```

- notes: `/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages` 這個可以看 :
	- `python -c 'import site; print(site.getsitepackages())'`
- `pyinstaller run_app.spec --clean`

## 加上docx
```
# -*- mode: python ; coding: utf-8 -*-

from PyInstaller.utils.hooks import collect_data_files
from PyInstaller.utils.hooks import copy_metadata
import sys
from os import path
site_packages = next(p for p in sys.path if 'site-packages' in p)

datas = [("/Users/alantseng/.pyenv/versions/3.12.4/lib/python3.12/site-packages/streamlit/runtime", "./streamlit/runtime")]
datas += collect_data_files("streamlit")
datas += copy_metadata("streamlit")
datas += collect_data_files("python_docx")
datas += copy_metadata("python_docx")
datas += collect_data_files("docx")
datas += copy_metadata("docx")
datas += [('./src', './src')]
datas +=[(path.join(site_packages,"docx","templates"), "docx/templates")]

block_cipher = None


a = Analysis(
    ['run_app.py'],
    pathex=[],
    binaries=[],
    datas=datas,
    hiddenimports=["python_docx", "docx"],
    hookspath=['./hooks'],
    hooksconfig={},
    runtime_hooks=[],
    excludes=[],
    win_no_prefer_redirects=False,
    win_private_assemblies=False,
    cipher=block_cipher,
    noarchive=False,
)
pyz = PYZ(a.pure, a.zipped_data, cipher=block_cipher)

exe = EXE(
    pyz,
    a.scripts,
    a.binaries,
    a.zipfiles,
    a.datas,
    [],
    name='run_app',
    debug=False,
    bootloader_ignore_signals=False,
    strip=False,
    upx=True,
    upx_exclude=[],
    runtime_tmpdir=None,
    console=True,
    disable_windowed_traceback=False,
    argv_emulation=False,
    target_arch=None,
    codesign_identity=None,
    entitlements_file=None,
)
```
## Ref


python使用pyinstaller製作桌面應用程式

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## 概覽公共雲服務
[(11:45)Top 50+ AWS Services Explained in 10 Minutes](https://youtu.be/JIbIYCM48to?si=gE1287cRSlK16a2y)
- Elastic Compute Cloud (EC2) ->
- -> 有 擴展問題 -> LB -> Cloud Watch -> Auto Scaling -> 太麻煩
- -> Elastic Beanstalk (PAAS) -> 其實不用伺服器 -> Lambda (FAAS aka ServerLess)
- OutPosts: 可以跑 AWS 在自己基礎建設
- SNOW: 自架
- docker: 可以跑不同公雲環境
- 需要更多可以擴展 -> EKS -> 可以自動擴展？-> FARGATE
- 既然有 Container，使用App Runner最簡單
-
- 儲存？ s3: 可以存任何格式 -> 是否有成本低、高延遲的？ -> Glacier ，速度要快？ Block Storage，要更多權限、可控 > Elastic File System
-
- Database? Simple DB(NoSQL) > Dynamo DB ：便宜、可以水平擴展、快，不可Join，有限查詢，-> Document DB > SQL solution> > RDS ，比MSQL 快？ Aurora
- 高度連結資料e.g. social graph > Neptune -> 要快速？ Elastic Cache -> 時序性資料？ Timestream ，不可變的加密交易 Quantum Ledger
- Fulltext search engine: Elastic Search>
- 管理帳單：Budgets
- 分析？Redshift >
- 科學計算？ SageMaker
- 圖片辨識？ Rekognition
- 對話？Alex
- 學習機器學習？ Deep Racer
- 權限管理？ IAM
- 管理登入？ Cognito
-
- [(17:16) The only Cloud services you actually need to know](https://youtu.be/gcfB8iIPtbY?si=UdPVa23KC7HDrnYu)
-
![](https://i.imgur.com/XRqizNJ.png)
![](https://i.imgur.com/yOMWL4G.png)
![](https://i.imgur.com/oCKsNlG.png)
Vendor Lock in
![](https://i.imgur.com/jGLL4JL.png)
![](https://i.imgur.com/Cuu50D5.png)
![](https://i.imgur.com/KNFGJTa.png)
```mermaid
graph TD;
VM[VM]
VM --> CPU
VM --> RAM
VM --> DISK
VM --> Networking
```
VM / CPU / RAM / Disk
## 比較 Public Cloud vs. Open Source
| | OpenSource | AWS |
| ----- | ---------- | -------- |
| NOSQL | MongoDB | DynamoDB |
| SQL | Postgresql | RDS |
| | | |
### SQL
| Feature | **SQLite** | **PostgreSQL** |
| ------------------ | -------------------------------------------- | ----------------------------------------------------------- |
| **Architecture** | Serverless, embedded | Client-server |
| **Setup** | ==No setup required== | Requires setup and administration |
| **Concurrency** | Limited concurrent writes | Excellent concurrency with MVCC |
| **Scalability** | Not designed for high scalability | ==Highly scalable== |
| **Performance** | Fast for read-heavy workloads | High performance for both read and write operations |
| **Features** | Basic SQL features | Advanced SQL features and extensibility |
| **Resource Usage** | ==Minimal== | Higher resource usage |
| **Use Cases** | Small applications, mobile apps, prototyping | Enterprise applications, web applications, data warehousing |
| **Transactions** | ACID compliant | ACID compliant |
| **Data Integrity** | Basic data integrity checks | Advanced data integrity and compliance features |
| | | |
公雲有哪些？
有哪些可以取代Vercel？
- What is Cloud Computing?什麼是雲端運算？
- Benefits of Cloud Computing (Scalability, Cost-efficiency, Flexibility, etc.)雲端運算的好處（可擴展性、成本效益、靈活性等）
- Types of Cloud Services (IaaS, PaaS, SaaS)雲端服務類型（IaaS、PaaS、SaaS）
## Ref

</body>
</html>


## 概覽公共雲服務


[(11:45)Top 50+ AWS Services Explained in 10 Minutes](https://youtu.be/JIbIYCM48to?si=gE1287cRSlK16a2y)
- Elastic Compute Cloud (EC2) ->
- -> 有 擴展問題 -> LB -> Cloud Watch -> Auto Scaling -> 太麻煩
- -> Elastic Beanstalk (PAAS) -> 其實不用伺服器 -> Lambda (FAAS aka ServerLess)
- OutPosts: 可以跑 AWS 在自己基礎建設
- SNOW: 自架
- docker: 可以跑不同公雲環境
- 需要更多可以擴展 -> EKS -> 可以自動擴展？-> FARGATE
- 既然有 Container，使用App Runner最簡單
- 
- 儲存？ s3: 可以存任何格式 -> 是否有成本低、高延遲的？ -> Glacier ，速度要快？ Block Storage，要更多權限、可控 > Elastic File System 
- 
- Database? Simple DB(NoSQL) > Dynamo DB ：便宜、可以水平擴展、快，不可Join，有限查詢，-> Document DB > SQL solution> > RDS ，比MSQL 快？ Aurora 
- 高度連結資料e.g. social graph > Neptune -> 要快速？ Elastic Cache -> 時序性資料？ Timestream ，不可變的加密交易 Quantum Ledger

- Fulltext search engine: Elastic Search>

- 管理帳單：Budgets

- 分析？Redshift > 
- 科學計算？ SageMaker
- 圖片辨識？ Rekognition
- 對話？Alex
- 學習機器學習？ Deep Racer
- 權限管理？ IAM
- 管理登入？ Cognito
- 

- [(17:16) The only Cloud services you actually need to know](https://youtu.be/gcfB8iIPtbY?si=UdPVa23KC7HDrnYu)
	- 
![](https://i.imgur.com/XRqizNJ.png)
  
![](https://i.imgur.com/yOMWL4G.png)

![](https://i.imgur.com/oCKsNlG.png)
Vendor Lock in
![](https://i.imgur.com/jGLL4JL.png)

![](https://i.imgur.com/Cuu50D5.png)

![](https://i.imgur.com/KNFGJTa.png)

```mermaid
graph TD;
    VM[VM]

    VM -->  CPU
    VM --> RAM
    VM --> DISK
    VM --> Networking

   
```


VM / CPU / RAM / Disk

## 比較 Public Cloud vs. Open Source

|       | OpenSource | AWS      |
| ----- | ---------- | -------- |
| NOSQL | MongoDB    | DynamoDB |
| SQL   | Postgresql | RDS      |
|       |            |          |
### SQL
| Feature            | **SQLite**                                   | **PostgreSQL**                                              |
| ------------------ | -------------------------------------------- | ----------------------------------------------------------- |
| **Architecture**   | Serverless, embedded                         | Client-server                                               |
| **Setup**          | ==No setup required==                        | Requires setup and administration                           |
| **Concurrency**    | Limited concurrent writes                    | Excellent concurrency with MVCC                             |
| **Scalability**    | Not designed for high scalability            | ==Highly scalable==                                         |
| **Performance**    | Fast for read-heavy workloads                | High performance for both read and write operations         |
| **Features**       | Basic SQL features                           | Advanced SQL features and extensibility                     |
| **Resource Usage** | ==Minimal==                                  | Higher resource usage                                       |
| **Use Cases**      | Small applications, mobile apps, prototyping | Enterprise applications, web applications, data warehousing |
| **Transactions**   | ACID compliant                               | ACID compliant                                              |
| **Data Integrity** | Basic data integrity checks                  | Advanced data integrity and compliance features             |
|                    |                                              |                                                             |

公雲有哪些？

有哪些可以取代Vercel？

- What is Cloud Computing?什麼是雲端運算？
- Benefits of Cloud Computing (Scalability, Cost-efficiency, Flexibility, etc.)雲端運算的好處（可擴展性、成本效益、靈活性等）
- Types of Cloud Services (IaaS, PaaS, SaaS)雲端服務類型（IaaS、PaaS、SaaS）
## Ref


20240621-公雲學習筆記

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- 人生方向
- 樂在工作、挑戰、個人成長、有意義
- 家庭
- 婚姻
- 孩子：學做困難事、價值觀
- 家庭文化、行為準則
- 個人：道德原則、不妥協
- 職涯發展 5特質
- Spiritual
- Heart
- Abilities
- Personality
- Experience
- 作者是 Rhodes Scholar 牛津讀博
- 運動、政治、寫作、社區
- 股市大盜：Dan of thieves
1. 如何知道工作生涯何以成功、快樂
2. 如何知道自己與配偶、兒女、朋友可以快樂
3. 如何知道一生堅守原則，免於牢獄
- 破壞性創新 - Andy Grove
- 創新的兩難
- 理論的Value：從經驗學cost大
- 每天一睜眼可以為自己喜歡社情欣喜
- 誘因理論 Michael Jemsem
- Agent Theory Willian Meckling
- Two-Factor Theory
- 動機（發自內心）vs 應因
- 動機理論 Frederiok Herzberg
- hygrene factor 保健 e.g. 地位穩定
- motivation factor 動機 e.g. 有挑戰性
- 策略 Hery Mintzberg
1. deliberate strategy 審慎策略 （可預期）
2. emergement strategy 應急策略（不可預期）
- Walmart 只在小鎮，支援方便，避免削價競爭
- 發現導向（計畫）- 檢驗哪一比的收穫大 -> 哪些假設新證明為真
- 重要不確定 vs 不重要但確定
- 創新的困難 e.g. SonoSite 資源分配的重要
- 投資困境：為什麼雪球滾不大 （書）
- 好資金 （少、慢、考慮獲利）、壞資金（大、急於成功）
- 孩子溝通時要使用：如果...、你還記得...
- 30個月多說話
- 公司能力：資源、流程、企業優先順序
- Ship of Theseus
- 人才『書』展翅高飛：培養下一代領導者
- 經驗的重要
- 文化的制定
## Ref

</body>
</html>


- 人生方向
	- 樂在工作、挑戰、個人成長、有意義
	- 家庭
		- 婚姻
		- 孩子：學做困難事、價值觀
		- 家庭文化、行為準則
	- 個人：道德原則、不妥協
- 職涯發展 5特質
	- Spiritual
	- Heart
	- Abilities
	- Personality
	- Experience
- 作者是 Rhodes Scholar 牛津讀博 
	- 運動、政治、寫作、社區
	- 股市大盜：Dan of thieves
	1. 如何知道工作生涯何以成功、快樂
	2. 如何知道自己與配偶、兒女、朋友可以快樂
	3. 如何知道一生堅守原則，免於牢獄
- 破壞性創新 - Andy Grove
- 創新的兩難
- 理論的Value：從經驗學cost大
- 每天一睜眼可以為自己喜歡社情欣喜
- 誘因理論 Michael Jemsem
- Agent Theory Willian Meckling
- Two-Factor Theory 
- 動機（發自內心）vs 應因
- 動機理論 Frederiok Herzberg
	- hygrene factor 保健 e.g. 地位穩定
	- motivation factor 動機 e.g. 有挑戰性
- 策略 Hery Mintzberg
	1. deliberate strategy 審慎策略 （可預期）
	2. emergement strategy 應急策略（不可預期）
- Walmart 只在小鎮，支援方便，避免削價競爭
- 發現導向（計畫）- 檢驗哪一比的收穫大 -> 哪些假設新證明為真
- 重要不確定 vs 不重要但確定
- 創新的困難 e.g. SonoSite 資源分配的重要
- 投資困境：為什麼雪球滾不大 （書）
- 好資金 （少、慢、考慮獲利）、壞資金（大、急於成功）
- 孩子溝通時要使用：如果...、你還記得...
- 30個月多說話
- 公司能力：資源、流程、企業優先順序
- Ship of Theseus
-  人才『書』展翅高飛：培養下一代領導者
- 經驗的重要
- 文化的制定
## Ref


20240409-你要如何衡量你的人生

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

https://tioj.ck.tp.edu.tw/articles/22
## 9/15 演算法初探
[https://slides.com/justinlai2003/deck-5fc968](https://slides.com/justinlai2003/deck-5fc968)
![](https://i.imgur.com/cFyDO7v.png)
![](https://i.imgur.com/zL55736.png)
![](https://i.imgur.com/soakxQZ.png)
![](https://i.imgur.com/cLzKgnt.png)
## 9/22 貪婪、分治與動態規劃：
[https://slides.com/fhvirus/greedy-dq-dp](https://slides.com/fhvirus/greedy-dq-dp)
### Greedy
![](https://i.imgur.com/RCgnTlr.png)
![](https://i.imgur.com/a61drvE.png)
![](https://i.imgur.com/JOWPnlK.png)
![](https://i.imgur.com/oxJZmAh.png)
![](https://i.imgur.com/js38XtN.png)
![](https://i.imgur.com/aHJ7d4e.png)
![](https://i.imgur.com/13QkIdd.png)
![](https://i.imgur.com/koYDF6F.png)
## DQ
![](https://i.imgur.com/SpHJlj2.png)
![](https://i.imgur.com/7NhslcU.png)
![](https://i.imgur.com/1inyxJf.png)
![](https://i.imgur.com/YB6nunP.png)
![](https://i.imgur.com/XI6jrxb.png)
## DP
![](https://i.imgur.com/JuDN5G1.png)
![](https://i.imgur.com/jDerVwN.png)
![](https://i.imgur.com/LbVagyD.png)
![](https://i.imgur.com/eXdhldZ.png)
![](https://i.imgur.com/ruNGDXH.png)
## DP 經典題
![[截圖 2024-04-06 晚上9.21.15 2.png]]
![[截圖 2024-04-06 晚上9.21.32 2.png]]
![[截圖 2024-04-06 晚上9.21.48 2.png]]
![[截圖 2024-04-06 晚上9.21.54 2.png]]
![[截圖 2024-04-06 晚上9.22.07 2.png]]
![[截圖 2024-04-06 晚上9.22.17.png]]
![[截圖 2024-04-06 晚上9.22.27.png]]
![[截圖 2024-04-06 晚上9.22.37.png]]
![[截圖 2024-04-06 晚上9.22.45.png]]
![[截圖 2024-04-06 晚上9.23.08.png]]
![[截圖 2024-04-06 晚上9.23.16.png]]
![[截圖 2024-04-06 晚上9.23.25.png]]
![[截圖 2024-04-06 晚上9.23.31.png]]
![[截圖 2024-04-06 晚上9.23.46.png]]
![[截圖 2024-04-06 晚上9.24.00.png]]
![[截圖 2024-04-06 晚上9.24.06.png]]
![[截圖 2024-04-06 晚上9.24.12.png]]
![[截圖 2024-04-06 晚上9.24.30.png]]
![[截圖 2024-04-06 晚上9.24.37.png]]
![[截圖 2024-04-06 晚上9.24.48 1.png]]
![[截圖 2024-04-06 晚上9.24.54.png]]
![[截圖 2024-04-06 晚上9.25.00 1.png]]
![[截圖 2024-04-06 晚上9.25.08.png]]
![[截圖 2024-04-06 晚上9.25.14.png]]
![[截圖 2024-04-06 晚上9.25.20 1.png]]
![[截圖 2024-04-06 晚上9.25.27.png]]
![[截圖 2024-04-06 晚上9.25.34 1.png]]
![[截圖 2024-04-06 晚上9.25.40 1.png]]
![[截圖 2024-04-06 晚上9.25.50.png]]
![[截圖 2024-04-06 晚上9.25.58 1.png]]
## 資料結構
https://slides.com/justinlai2003/deck-04db52#/1
[STL 之一 Stack・Queue・Deque](https://slides.com/fhvirus/1#/1)
![[截圖 2024-04-06 晚上9.30.02.png]]
![[截圖 2024-04-06 晚上9.31.37.png]]
## Ref

</body>
</html>


https://tioj.ck.tp.edu.tw/articles/22

## 9/15 演算法初探
[https://slides.com/justinlai2003/deck-5fc968](https://slides.com/justinlai2003/deck-5fc968)
![](https://i.imgur.com/cFyDO7v.png)
![](https://i.imgur.com/zL55736.png)

![](https://i.imgur.com/soakxQZ.png)

![](https://i.imgur.com/cLzKgnt.png)
## 9/22 貪婪、分治與動態規劃：
[https://slides.com/fhvirus/greedy-dq-dp](https://slides.com/fhvirus/greedy-dq-dp)
### Greedy
![](https://i.imgur.com/RCgnTlr.png)
![](https://i.imgur.com/a61drvE.png)
![](https://i.imgur.com/JOWPnlK.png)
![](https://i.imgur.com/oxJZmAh.png)
![](https://i.imgur.com/js38XtN.png)
![](https://i.imgur.com/aHJ7d4e.png)
![](https://i.imgur.com/13QkIdd.png)
![](https://i.imgur.com/koYDF6F.png)
## DQ
![](https://i.imgur.com/SpHJlj2.png)
![](https://i.imgur.com/7NhslcU.png)
![](https://i.imgur.com/1inyxJf.png)
![](https://i.imgur.com/YB6nunP.png)
![](https://i.imgur.com/XI6jrxb.png)
## DP

![](https://i.imgur.com/JuDN5G1.png)
![](https://i.imgur.com/jDerVwN.png)
![](https://i.imgur.com/LbVagyD.png)
![](https://i.imgur.com/eXdhldZ.png)
![](https://i.imgur.com/ruNGDXH.png)
## DP 經典題
![[截圖 2024-04-06 晚上9.21.15 2.png]]

![[截圖 2024-04-06 晚上9.21.32 2.png]]

![[截圖 2024-04-06 晚上9.21.48 2.png]]

![[截圖 2024-04-06 晚上9.21.54 2.png]]

![[截圖 2024-04-06 晚上9.22.07 2.png]]

![[截圖 2024-04-06 晚上9.22.17.png]]

![[截圖 2024-04-06 晚上9.22.27.png]]

![[截圖 2024-04-06 晚上9.22.37.png]]

![[截圖 2024-04-06 晚上9.22.45.png]]

![[截圖 2024-04-06 晚上9.23.08.png]]

![[截圖 2024-04-06 晚上9.23.16.png]]

![[截圖 2024-04-06 晚上9.23.25.png]]

![[截圖 2024-04-06 晚上9.23.31.png]]

![[截圖 2024-04-06 晚上9.23.46.png]]

![[截圖 2024-04-06 晚上9.24.00.png]]

![[截圖 2024-04-06 晚上9.24.06.png]]

![[截圖 2024-04-06 晚上9.24.12.png]]

![[截圖 2024-04-06 晚上9.24.30.png]]

![[截圖 2024-04-06 晚上9.24.37.png]]

![[截圖 2024-04-06 晚上9.24.48 1.png]]

![[截圖 2024-04-06 晚上9.24.54.png]]

![[截圖 2024-04-06 晚上9.25.00 1.png]]

![[截圖 2024-04-06 晚上9.25.08.png]]

![[截圖 2024-04-06 晚上9.25.14.png]]

![[截圖 2024-04-06 晚上9.25.20 1.png]]

![[截圖 2024-04-06 晚上9.25.27.png]]

![[截圖 2024-04-06 晚上9.25.34 1.png]]

![[截圖 2024-04-06 晚上9.25.40 1.png]]

![[截圖 2024-04-06 晚上9.25.50.png]]

![[截圖 2024-04-06 晚上9.25.58 1.png]]
## 資料結構
https://slides.com/justinlai2003/deck-04db52#/1

[STL 之一 Stack・Queue・Deque](https://slides.com/fhvirus/1#/1)
![[截圖 2024-04-06 晚上9.30.02.png]]

![[截圖 2024-04-06 晚上9.31.37.png]]

## Ref


閱讀筆記

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

https://slides.com/thanksone/deck
#### Bubble sort
![](https://i.imgur.com/znlGawL.png)
#### Merge sort
![](https://i.imgur.com/sLKaKPk.png)
![](https://i.imgur.com/qBAHcED.png)
![](https://i.imgur.com/mhUolrD.png)
![](https://i.imgur.com/b72d9OR.png)
![](https://i.imgur.com/VPZFDid.png)
#### Quick sort
![](https://i.imgur.com/6dN6b1c.png)
![](https://i.imgur.com/W4jfmXp.png)
![](https://i.imgur.com/zv8jAWg.png)
![](https://i.imgur.com/eJiTM9q.png)
-
## Ref

</body>
</html>


https://slides.com/thanksone/deck
#### Bubble sort
![](https://i.imgur.com/znlGawL.png)
#### Merge sort
![](https://i.imgur.com/sLKaKPk.png)
![](https://i.imgur.com/qBAHcED.png)
![](https://i.imgur.com/mhUolrD.png)
![](https://i.imgur.com/b72d9OR.png)
![](https://i.imgur.com/VPZFDid.png)
#### Quick sort
![](https://i.imgur.com/6dN6b1c.png)
![](https://i.imgur.com/W4jfmXp.png)
![](https://i.imgur.com/zv8jAWg.png)
![](https://i.imgur.com/eJiTM9q.png)

- 
## Ref


閱讀筆記-建中 2021 暑假資讀投影片-謝一

20240324-learn-go

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Backgrounds
I just got rejected by a big tech company. In order to improve my ability to explain interview questions effectively in English, I'm designing an interview warmup tool using LLM and RAG technologies.
## Design
So, I start design a system that could help me practice:
- User Story
- As a recruiter, I want to disguise the user’s answer is correct or not based on the QA dataset so that I could filter potential candidates.
- Scope the Problem
- Recruiter can build his/her QA datasets.
- LLM will provide some technical advice to the recruiter
- Main component
- Storage: JSON file
- Advice: ChatGPT+RAG
![](https://i.imgur.com/n7v6IgB.png)
This project consists of two main components: Retriever and Advisor. Retriever focuses on managing the dataset. Initially, I use Gemini to generate the correct answers, which are then saved in a JSON file. Subsequently, questions and answers are stored in a JSON file due to its advantages:
- **Machine-readable:** Computers can easily process the data.
- **Human-readable:** Users can understand the content readily.
- **Consolidated storage:** All questions and answers are conveniently located in a single file.
To find relevant questions quickly, Retriever employs embedding techniques.
The Advisor component, powered by the ChatGPT API, assesses candidate responses **to** the recruiter's questions. Advisor will then provide its results to the recruiter.
## Sample Code
- `qa.json`
```python
{
"tq":[
{
"q":"What is the order of elements return by the keys() method of a python dict?",
"a":"The order of elements returned by the keys() method of a Python dictionary is not guaranteed to be in any specific order. It may reflect the order the items were added in some cases, but this behavior is not reliable and can change between Python versions. If you depend on a specific order for your keys, you can use the sorted() function along with the keys() method."
}
]
}
```
- `main.py`
```python
import json
from pathlib import Path
file_path='qa.json'
data = json.loads(Path(file_path).read_text())
from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts import ChatPromptTemplate
embedding_function = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
db = Chroma.from_documents(documents, embedding_function)
retriever = db.as_retriever()
template = """Please distinguish the answer is correct or not based only on the following context and question, if the answer is incorrect, please explain why answer is incorrect.:
{context}
Question: {question}
Answer: {answer}
"""
prompt = ChatPromptTemplate.from_template(template)
from langchain_core.runnables import RunnableLambda, RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_openai import ChatOpenAI
import os
os.environ['OPENAI_API_KEY'] = "sk-OOOO"
model = ChatOpenAI()
question = "what is the return order of the dict by using keys() method"
chain = (
{"context": retriever, "answer": RunnablePassthrough(), "question": RunnablePassthrough()}
| prompt
| model
| StrOutputParser()
)
query = "I'm not sure the order. But If I thought I will first sorted by its key to granted the return order of the elements"
print(chain.invoke(query))
```
## Notes
- https://python.langchain.com/docs/get_started/installation

</body>
</html>


## Backgrounds
I just got rejected by a big tech company. In order to improve my ability to explain interview questions effectively in English, I'm designing an interview warmup tool using LLM and RAG technologies.
## Design
So, I start design a system that could help me practice:
- User Story
	- As a recruiter, I want to disguise the user’s answer is correct or not based on the QA dataset so that I could filter potential candidates.
- Scope the Problem
	- Recruiter can build his/her QA datasets.
	- LLM will provide some technical advice to the recruiter
- Main component
	- Storage: JSON file
	- Advice: ChatGPT+RAG
![](https://i.imgur.com/n7v6IgB.png)

This project consists of two main components: Retriever and Advisor. Retriever focuses on managing the dataset. Initially, I use Gemini to generate the correct answers, which are then saved in a JSON file. Subsequently, questions and answers are stored in a JSON file due to its advantages:
- **Machine-readable:** Computers can easily process the data.
- **Human-readable:** Users can understand the content readily.
- **Consolidated storage:** All questions and answers are conveniently located in a single file.
To find relevant questions quickly, Retriever employs embedding techniques.
The Advisor component, powered by the ChatGPT API, assesses candidate responses **to** the recruiter's questions. Advisor will then provide its results to the recruiter.  

## Sample Code
- `qa.json`
```python
{
   "tq":[
      {
         "q":"What is the order of elements return by the keys() method of a python dict?",
         "a":"The order of elements returned by the keys() method of a Python dictionary is not guaranteed to be in any specific order. It may reflect the order the items were added in some cases, but this behavior is not reliable and can change between Python versions. If you depend on a specific order for your keys, you can use the sorted() function along with the keys() method."
      }
   ]
}
```
- `main.py`
```python
import json
from pathlib import Path
file_path='qa.json'
data = json.loads(Path(file_path).read_text())

from langchain.embeddings.sentence_transformer import SentenceTransformerEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.prompts import ChatPromptTemplate
embedding_function = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
db = Chroma.from_documents(documents, embedding_function)
retriever = db.as_retriever()
template = """Please distinguish the answer is correct or not based only on the following context and question, if the answer is incorrect, please explain why answer is incorrect.:
{context}
Question: {question}
Answer: {answer}
"""
prompt = ChatPromptTemplate.from_template(template)
from langchain_core.runnables import RunnableLambda, RunnablePassthrough

from langchain_core.output_parsers import StrOutputParser

from langchain_openai import ChatOpenAI

import os

os.environ['OPENAI_API_KEY'] = "sk-OOOO"

model = ChatOpenAI()

question = "what is the return order of the dict by using keys() method"

chain = (

{"context": retriever, "answer": RunnablePassthrough(), "question": RunnablePassthrough()}
| prompt
| model
| StrOutputParser()
)

query = "I'm not sure the order. But If I thought I will first sorted by its key to granted the return order of the elements"
print(chain.invoke(query))
```
## Notes
- https://python.langchain.com/docs/get_started/installation

20240321-interview-warmup

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

使用 AES（對稱加密） + base64
## 加密
```python
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad, unpad
from Crypto.Protocol.KDF import PBKDF2
from Crypto.Random import get_random_bytes
salt = get_random_bytes(16)
key_enc = PBKDF2(password, salt, dkLen=32)
cipher = AES.new(key_enc, AES.MODE_ECB)
ciphertext = cipher.encrypt(pad(plaintext.encode(), BLOCK_SIZE))
data[k] = base64.b64encode(ciphertext).decode()
with open("password.txt", "w") as f:
json.dump(data, f)
```
## Ref

</body>
</html>


使用 AES（對稱加密） + base64 
## 加密
```python
from Crypto.Cipher import AES
from Crypto.Util.Padding import pad, unpad
from Crypto.Protocol.KDF import PBKDF2
from Crypto.Random import get_random_bytes

salt = get_random_bytes(16)
key_enc = PBKDF2(password, salt, dkLen=32)
cipher = AES.new(key_enc, AES.MODE_ECB)
ciphertext = cipher.encrypt(pad(plaintext.encode(), BLOCK_SIZE))
data[k] = base64.b64encode(ciphertext).decode()
with open("password.txt", "w") as f:
	json.dump(data, f)
```

## Ref


20240303-save-password-python

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## 歐洲
根據 歐洲資訊科技產業協會: 的資料，歐洲軟體工程師最需要的領域包括：
- 雲端計算和分散式系統
- 人工智慧和機器學習
- 網路安全
- 大數據和資料分析
- 軟體開發和工程
- 行動應用程式開發
- 遊戲開發
- 嵌入式系統
這些領域的軟體工程師都比較容易獲得歐洲簽證，因為這些領域的職缺很多，而且這些職缺通常需要高技能的員工。
以下是歐洲一些提供軟體工程師簽證的國家：
- **德國**：德國的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 56,400 歐元的年薪。
[![Image of Germany visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTml15q9rwxKPzDn7nG2u7zVmNq-9hJp5wyGnQze2Sbnk2Bn4JFYDMV2ReG-oqM)Opens in a new window](https://www.germany-visa.org/immigration/residence-permit/)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcTZhwHe2uDKZNVjEmRNYfci9__fVbf9Y_9mYej8OcDmXD1ApbN2l4lEOvOVbNM77QUvLFAkCcjdflGBSOYIot2-0ZGYljHbDl0RK7UIpHA)www.germany-visa.org](https://www.germany-visa.org/immigration/residence-permit/)
Germany visa
- **荷蘭**：荷蘭的知識型移民計畫讓高技能的非歐盟公民可以獲得工作簽證。知識型移民計畫的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
[![Image of Netherlands visa](https://encrypted-tbn1.gstatic.com/images?q=tbn:ANd9GcSm0mMnzlTjeCb9bBocbDVrpJ3rdGaygJzBEPkVPeRxnsSWGFxOcalSTcUq5p-5)Opens in a new window](https://en.siu.com.cn/index.php?s=news&#x26;c=show&#x26;id=360)[![](https://encrypted-tbn2.gstatic.com/favicon-tbn?q=tbn:ANd9GcQsUR_fwQJsMAuGPHNFt8NiIYIQQ7IVBXVQrD6INo2Mjulf5v-mM2bKP8CU5Ltm1Cg87pnMAs5WcHdYVhjhaoLa2GBBm6bLlw)en.siu.com.cn](https://en.siu.com.cn/index.php?s=news&#x26;c=show&#x26;id=360)
Netherlands visa
- **英國**：英國的全球人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。全球人才簽證的申請人必須有大學學歷，並有至少 25,600 英鎊的年薪。
[![Image of UK visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcR1lJt-v4CH3pYtNCkvtLdWFN5oEYCW_DdIRH_gP4HCH-m9jKok6B7_GAkss2zt)Opens in a new window](https://www.gov.uk/government/news/new-online-uk-visa-application-service-launches-in-nepal)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcS-As69jhYANcAuS5CDA_AghyhsBniZqmEY6BHjQh1kv-MzB4X1rz-i5x84kU80lbXGo4K7fzPyJyT9DsQV4StIvm5hPg)www.gov.uk](https://www.gov.uk/government/news/new-online-uk-visa-application-service-launches-in-nepal)
UK visa
- **法國**：法國的科技人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。科技人才簽證的申請人必須有大學學歷，並有至少 30,000 歐元的年薪。
[![Image of France visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTbo-t_dt4G5Biq4z6uoGXv6Ad9qlkto0yK5KdvTgT3USNUi3AWeXObSp55S5dp)Opens in a new window](https://rjfmac.com/2022/03/29/france-long-stay-visa/)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcT3YtZCsKdH9tPAwo7hMYq8PgaKvGiOiErPrTLnyP_x-sFNzjqx9WKOsA2oZqpNm-Ul_TVOg3Z-Y1sDq2wdsw7PfT1Vtw)rjfmac.com](https://rjfmac.com/2022/03/29/france-long-stay-visa/)
France visa
在申請歐洲軟體工程師簽證時，請務必準備好所有必需的文件，包括：
- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明
您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。
中歐、北歐和東歐的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：
- **中歐**：中歐的軟體工程師簽證要求通常與西歐相似。例如，德國、奧地利和瑞士都提供藍卡計畫，讓高技能的非歐盟公民可以獲得工作簽證。
- **北歐**：北歐的軟體工程師簽證要求通常比西歐和中歐更嚴格。例如，丹麥和瑞典要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。
- **東歐**：東歐的軟體工程師簽證要求通常比西歐、中歐和北歐更寬鬆。例如，波蘭和捷克共和國允許非歐盟公民在沒有工作許可的情況下工作最多 6 個月。
以下是中歐、北歐和東歐一些提供軟體工程師簽證的國家：
**中歐**
- **奧地利**：奧地利的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 56,400 歐元的年薪。
- **捷克共和國**：捷克共和國的 Z 卡讓高技能的非歐盟公民可以獲得工作簽證。Z 卡的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
- **匈牙利**：匈牙利的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
- **波蘭**：波蘭的 D 類簽證讓非歐盟公民可以工作最多 6 個月。
**北歐**
- **丹麥**：丹麥的綠卡計畫讓高技能的非歐盟公民可以獲得工作簽證。綠卡的申請人必須有大學學歷，並有至少 360,000 丹麥克朗的年薪。
- **芬蘭**：芬蘭的專家居留許可讓高技能的非歐盟公民可以獲得工作簽證。專家居留許可的申請人必須有大學學歷，並有至少 46,000 歐元的年薪。
- **挪威**：挪威的技術移民計畫讓高技能的非歐盟公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 360,000 挪威克朗的年薪。
- **瑞典**：瑞典的工作許可讓高技能的非歐盟公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有至少 320,400 瑞典克朗的年薪。
**東歐**
- **保加利亞**：保加利亞的 D 類簽證讓非歐盟公民可以工作最多 6 個月。
- **羅馬尼亞**：羅馬尼亞的工作許可讓非歐盟公民可以工作最多 1 年。
- **俄羅斯**：俄羅斯的配額工作許可讓非歐盟公民可以工作。配額工作許可的申請人必須有大學學歷，並有俄羅斯雇主的贊助。
在申請中歐、北歐或東歐的軟體工程師簽證時，請務必準備好所有必需的文件，包括：
- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明
您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。
美洲地區的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：
- **北美洲**：北美洲的軟體工程師簽證要求通常比歐洲更嚴格。例如，美國和加拿大都要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。
- **中美洲**：中美洲的軟體工程師簽證要求通常比北美洲和南美洲更寬鬆。例如，哥斯大黎加和巴拿馬允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。
- **南美洲**：南美洲的軟體工程師簽證要求各不相同。例如，巴西和阿根廷要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗，而智利和烏拉圭則允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。
以下是美洲地區一些提供軟體工程師簽證的國家：
**北美洲**
- **美國**：美國的 H-1B 簽證讓高技能的非美國公民可以獲得工作簽證。H-1B 簽證的申請人必須有大學學歷，並有至少 60,000 美元的年薪。
- **加拿大**：加拿大的技術移民計畫讓高技能的非加拿大公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 75,000 加拿大元的年薪。
**中美洲**
- **哥斯大黎加**：哥斯大黎加的 D 類簽證讓非歐盟公民可以工作最多 90 天。
- **巴拿馬**：巴拿馬的友好國家簽證讓非歐盟公民可以工作最多 90 天。
**南美洲**
- **巴西**：巴西的工作許可讓高技能的非巴西公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有巴西雇主的贊助。
- **阿根廷**：阿根廷的工作許可讓高技能的非阿根廷公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有阿根廷雇主的贊助。
- **智利**：智利的 D 類簽證讓非歐盟公民可以工作最多 90 天。
- **烏拉圭**：烏拉圭的臨時居留許可讓非歐盟公民可以工作最多 90 天。
在申請美洲地區的軟體工程師簽證時，請務必準備好所有必需的文件，包括：
- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明
您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。
以下是一些額外的提示，可幫助您獲得美洲地區的軟體工程師簽證：
- 獲得相關工作經驗。許多美洲國家的軟體工程師簽證要求申請人具有相關工作經驗。獲得相關工作經驗的最佳方法是找到一份實習或初級職位。
- 提高您的英語能力。英語是美洲地區許多國家的官方語言。提高您的英語能力將幫助您在求職和申請簽證時脫穎而出。
- 尋找一家願意為您贊助的雇主。一些美洲國家的軟體工程師簽證要求申請人有雇主的贊助。尋找一家願意為您贊助的雇主將幫助您提高獲得簽證的機會。
-
東南亞和大洋洲的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：
- **東南亞**：東南亞的軟體工程師簽證要求通常比歐洲、北美洲和南美洲更寬鬆。例如，新加坡、馬來西亞和泰國允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。
- **大洋洲**：大洋洲的軟體工程師簽證要求通常比東南亞更嚴格。例如，澳大利亞和紐西蘭都要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。
以下是東南亞和大洋洲一些提供軟體工程師簽證的國家：
**東南亞**
- **新加坡**：新加坡的技術人才通行證讓高技能的非新加坡公民可以獲得工作簽證。技術人才通行證的申請人必須有大學學歷，並有至少 4,500 新加坡元的月薪。
- **馬來西亞**：馬來西亞的第二家園計畫讓非馬來西亞公民可以獲得居留權。第二家園計畫的申請人必須有至少 300,000 馬來西亞令吉的資產。
- **泰國**：泰國的非移民 B 簽證讓非泰國公民可以工作最多 90 天。
**大洋洲**
- **澳大利亞**：澳大利亞的技術移民計畫讓高技能的非澳大利亞公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 65,000 澳大利亞元的年薪。
- **紐西蘭**：紐西蘭的技術移民計畫讓高技能的非紐西蘭公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 52,000 紐西蘭元的年薪。
在申請東南亞和大洋洲的軟體工程師簽證時，請務必準備好所有必需的文件，包括：
- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明
您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。
以下是一些額外的提示，可幫助您獲得東南亞和大洋洲的軟體工程師簽證：
- 獲得相關工作經驗。許多東南亞和大洋洲國家的軟體工程師簽證要求申請人具有相關工作經驗。獲得相關工作經驗的最佳方法是找到一份實習或初級職位。
- 提高您的英語能力。英語是東南亞和大洋洲許多國家的官方語言或通用語言。提高您的英語能力將幫助您在求職和申請簽證時脫穎而出。
- 尋找一家願意為您贊助的雇主。一些東南亞和大洋洲國家的軟體工程師簽證要求申請人有雇主的贊助。尋找一家願意為您贊助的雇主將幫助您提高獲得簽證的機會。
以下是一些東南亞和大洋洲軟體工程師職缺的資源：
- **LinkedIn**：LinkedIn 是尋找軟體工程師職缺的全球性平台。您可以使用 LinkedIn 的搜索功能來查找特定地點或職位的職缺。
- **Indeed**：Indeed 是另一個尋找軟體工程師職缺的全球性平台。您可以使用 Indeed 的搜索功能來查找特定地點或職位的職缺。
- **Glassdoor**：Glassdoor 是一個提供公司薪資和評論的網站。您可以使用 Glassdoor 來查找特定公司或職位的薪資信息。
希望這些資訊對您有所幫助。
## 日本
https://hackmd.io/@WQ0waXxNRLuBfCSPnDc3Kw/Syh6QjzKj
## Ref

</body>
</html>



## 歐洲  
根據 歐洲資訊科技產業協會: 的資料，歐洲軟體工程師最需要的領域包括：

- 雲端計算和分散式系統
- 人工智慧和機器學習
- 網路安全
- 大數據和資料分析
- 軟體開發和工程
- 行動應用程式開發
- 遊戲開發
- 嵌入式系統

這些領域的軟體工程師都比較容易獲得歐洲簽證，因為這些領域的職缺很多，而且這些職缺通常需要高技能的員工。

以下是歐洲一些提供軟體工程師簽證的國家：

- **德國**：德國的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 56,400 歐元的年薪。
    
    [![Image of Germany visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTml15q9rwxKPzDn7nG2u7zVmNq-9hJp5wyGnQze2Sbnk2Bn4JFYDMV2ReG-oqM)Opens in a new window](https://www.germany-visa.org/immigration/residence-permit/)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcTZhwHe2uDKZNVjEmRNYfci9__fVbf9Y_9mYej8OcDmXD1ApbN2l4lEOvOVbNM77QUvLFAkCcjdflGBSOYIot2-0ZGYljHbDl0RK7UIpHA)www.germany-visa.org](https://www.germany-visa.org/immigration/residence-permit/)
    
    Germany visa
    
- **荷蘭**：荷蘭的知識型移民計畫讓高技能的非歐盟公民可以獲得工作簽證。知識型移民計畫的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
    
    [![Image of Netherlands visa](https://encrypted-tbn1.gstatic.com/images?q=tbn:ANd9GcSm0mMnzlTjeCb9bBocbDVrpJ3rdGaygJzBEPkVPeRxnsSWGFxOcalSTcUq5p-5)Opens in a new window](https://en.siu.com.cn/index.php?s=news&c=show&id=360)[![](https://encrypted-tbn2.gstatic.com/favicon-tbn?q=tbn:ANd9GcQsUR_fwQJsMAuGPHNFt8NiIYIQQ7IVBXVQrD6INo2Mjulf5v-mM2bKP8CU5Ltm1Cg87pnMAs5WcHdYVhjhaoLa2GBBm6bLlw)en.siu.com.cn](https://en.siu.com.cn/index.php?s=news&c=show&id=360)
    
    Netherlands visa
    
- **英國**：英國的全球人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。全球人才簽證的申請人必須有大學學歷，並有至少 25,600 英鎊的年薪。
    
    [![Image of UK visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcR1lJt-v4CH3pYtNCkvtLdWFN5oEYCW_DdIRH_gP4HCH-m9jKok6B7_GAkss2zt)Opens in a new window](https://www.gov.uk/government/news/new-online-uk-visa-application-service-launches-in-nepal)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcS-As69jhYANcAuS5CDA_AghyhsBniZqmEY6BHjQh1kv-MzB4X1rz-i5x84kU80lbXGo4K7fzPyJyT9DsQV4StIvm5hPg)www.gov.uk](https://www.gov.uk/government/news/new-online-uk-visa-application-service-launches-in-nepal)
    
    UK visa
    
- **法國**：法國的科技人才簽證計畫讓高技能的非歐盟公民可以獲得工作簽證。科技人才簽證的申請人必須有大學學歷，並有至少 30,000 歐元的年薪。
    
    [![Image of France visa](https://encrypted-tbn0.gstatic.com/images?q=tbn:ANd9GcTbo-t_dt4G5Biq4z6uoGXv6Ad9qlkto0yK5KdvTgT3USNUi3AWeXObSp55S5dp)Opens in a new window](https://rjfmac.com/2022/03/29/france-long-stay-visa/)[![](https://encrypted-tbn3.gstatic.com/favicon-tbn?q=tbn:ANd9GcT3YtZCsKdH9tPAwo7hMYq8PgaKvGiOiErPrTLnyP_x-sFNzjqx9WKOsA2oZqpNm-Ul_TVOg3Z-Y1sDq2wdsw7PfT1Vtw)rjfmac.com](https://rjfmac.com/2022/03/29/france-long-stay-visa/)
    
    France visa
    

在申請歐洲軟體工程師簽證時，請務必準備好所有必需的文件，包括：

- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明

您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。
  
中歐、北歐和東歐的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：

- **中歐**：中歐的軟體工程師簽證要求通常與西歐相似。例如，德國、奧地利和瑞士都提供藍卡計畫，讓高技能的非歐盟公民可以獲得工作簽證。
- **北歐**：北歐的軟體工程師簽證要求通常比西歐和中歐更嚴格。例如，丹麥和瑞典要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。
- **東歐**：東歐的軟體工程師簽證要求通常比西歐、中歐和北歐更寬鬆。例如，波蘭和捷克共和國允許非歐盟公民在沒有工作許可的情況下工作最多 6 個月。

以下是中歐、北歐和東歐一些提供軟體工程師簽證的國家：

**中歐**

- **奧地利**：奧地利的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 56,400 歐元的年薪。
- **捷克共和國**：捷克共和國的 Z 卡讓高技能的非歐盟公民可以獲得工作簽證。Z 卡的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
- **匈牙利**：匈牙利的藍卡計畫讓高技能的非歐盟公民可以獲得工作簽證。藍卡的申請人必須有大學學歷，並有至少 48,000 歐元的年薪。
- **波蘭**：波蘭的 D 類簽證讓非歐盟公民可以工作最多 6 個月。

**北歐**

- **丹麥**：丹麥的綠卡計畫讓高技能的非歐盟公民可以獲得工作簽證。綠卡的申請人必須有大學學歷，並有至少 360,000 丹麥克朗的年薪。
- **芬蘭**：芬蘭的專家居留許可讓高技能的非歐盟公民可以獲得工作簽證。專家居留許可的申請人必須有大學學歷，並有至少 46,000 歐元的年薪。
- **挪威**：挪威的技術移民計畫讓高技能的非歐盟公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 360,000 挪威克朗的年薪。
- **瑞典**：瑞典的工作許可讓高技能的非歐盟公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有至少 320,400 瑞典克朗的年薪。

**東歐**

- **保加利亞**：保加利亞的 D 類簽證讓非歐盟公民可以工作最多 6 個月。
- **羅馬尼亞**：羅馬尼亞的工作許可讓非歐盟公民可以工作最多 1 年。
- **俄羅斯**：俄羅斯的配額工作許可讓非歐盟公民可以工作。配額工作許可的申請人必須有大學學歷，並有俄羅斯雇主的贊助。

在申請中歐、北歐或東歐的軟體工程師簽證時，請務必準備好所有必需的文件，包括：

- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明

您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。

  
美洲地區的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：

- **北美洲**：北美洲的軟體工程師簽證要求通常比歐洲更嚴格。例如，美國和加拿大都要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。
- **中美洲**：中美洲的軟體工程師簽證要求通常比北美洲和南美洲更寬鬆。例如，哥斯大黎加和巴拿馬允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。
- **南美洲**：南美洲的軟體工程師簽證要求各不相同。例如，巴西和阿根廷要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗，而智利和烏拉圭則允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。

以下是美洲地區一些提供軟體工程師簽證的國家：

**北美洲**

- **美國**：美國的 H-1B 簽證讓高技能的非美國公民可以獲得工作簽證。H-1B 簽證的申請人必須有大學學歷，並有至少 60,000 美元的年薪。
- **加拿大**：加拿大的技術移民計畫讓高技能的非加拿大公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 75,000 加拿大元的年薪。

**中美洲**

- **哥斯大黎加**：哥斯大黎加的 D 類簽證讓非歐盟公民可以工作最多 90 天。
- **巴拿馬**：巴拿馬的友好國家簽證讓非歐盟公民可以工作最多 90 天。

**南美洲**

- **巴西**：巴西的工作許可讓高技能的非巴西公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有巴西雇主的贊助。
- **阿根廷**：阿根廷的工作許可讓高技能的非阿根廷公民可以獲得工作簽證。工作許可的申請人必須有大學學歷，並有阿根廷雇主的贊助。
- **智利**：智利的 D 類簽證讓非歐盟公民可以工作最多 90 天。
- **烏拉圭**：烏拉圭的臨時居留許可讓非歐盟公民可以工作最多 90 天。

在申請美洲地區的軟體工程師簽證時，請務必準備好所有必需的文件，包括：

- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明

您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。

以下是一些額外的提示，可幫助您獲得美洲地區的軟體工程師簽證：

- 獲得相關工作經驗。許多美洲國家的軟體工程師簽證要求申請人具有相關工作經驗。獲得相關工作經驗的最佳方法是找到一份實習或初級職位。
- 提高您的英語能力。英語是美洲地區許多國家的官方語言。提高您的英語能力將幫助您在求職和申請簽證時脫穎而出。
- 尋找一家願意為您贊助的雇主。一些美洲國家的軟體工程師簽證要求申請人有雇主的贊助。尋找一家願意為您贊助的雇主將幫助您提高獲得簽證的機會。
-   
東南亞和大洋洲的軟體工程師簽證要求各不相同。以下是一些一般性的資訊：

- **東南亞**：東南亞的軟體工程師簽證要求通常比歐洲、北美洲和南美洲更寬鬆。例如，新加坡、馬來西亞和泰國允許非歐盟公民在沒有工作許可的情況下工作最多 90 天。
- **大洋洲**：大洋洲的軟體工程師簽證要求通常比東南亞更嚴格。例如，澳大利亞和紐西蘭都要求軟體工程師簽證的申請人必須有大學學歷和相關工作經驗。

以下是東南亞和大洋洲一些提供軟體工程師簽證的國家：

**東南亞**

- **新加坡**：新加坡的技術人才通行證讓高技能的非新加坡公民可以獲得工作簽證。技術人才通行證的申請人必須有大學學歷，並有至少 4,500 新加坡元的月薪。
- **馬來西亞**：馬來西亞的第二家園計畫讓非馬來西亞公民可以獲得居留權。第二家園計畫的申請人必須有至少 300,000 馬來西亞令吉的資產。
- **泰國**：泰國的非移民 B 簽證讓非泰國公民可以工作最多 90 天。

**大洋洲**

- **澳大利亞**：澳大利亞的技術移民計畫讓高技能的非澳大利亞公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 65,000 澳大利亞元的年薪。
- **紐西蘭**：紐西蘭的技術移民計畫讓高技能的非紐西蘭公民可以獲得工作簽證。技術移民計畫的申請人必須有大學學歷，並有至少 52,000 紐西蘭元的年薪。

在申請東南亞和大洋洲的軟體工程師簽證時，請務必準備好所有必需的文件，包括：

- 有效護照
- 大學學歷證明
- 工作合約
- 薪資證明
- 健康保險證明

您可能還需要提供其他文件，具體取決於您申請的簽證類型和您申請的國家。

以下是一些額外的提示，可幫助您獲得東南亞和大洋洲的軟體工程師簽證：

- 獲得相關工作經驗。許多東南亞和大洋洲國家的軟體工程師簽證要求申請人具有相關工作經驗。獲得相關工作經驗的最佳方法是找到一份實習或初級職位。
- 提高您的英語能力。英語是東南亞和大洋洲許多國家的官方語言或通用語言。提高您的英語能力將幫助您在求職和申請簽證時脫穎而出。
- 尋找一家願意為您贊助的雇主。一些東南亞和大洋洲國家的軟體工程師簽證要求申請人有雇主的贊助。尋找一家願意為您贊助的雇主將幫助您提高獲得簽證的機會。

以下是一些東南亞和大洋洲軟體工程師職缺的資源：

- **LinkedIn**：LinkedIn 是尋找軟體工程師職缺的全球性平台。您可以使用 LinkedIn 的搜索功能來查找特定地點或職位的職缺。
- **Indeed**：Indeed 是另一個尋找軟體工程師職缺的全球性平台。您可以使用 Indeed 的搜索功能來查找特定地點或職位的職缺。
- **Glassdoor**：Glassdoor 是一個提供公司薪資和評論的網站。您可以使用 Glassdoor 來查找特定公司或職位的薪資信息。

希望這些資訊對您有所幫助。

## 日本
https://hackmd.io/@WQ0waXxNRLuBfCSPnDc3Kw/Syh6QjzKj
## Ref


國外工作

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

發現一個有趣的東西
brew install --cask warp
![](https://assets-global.website-files.com/64b6f3636f598299028e8577/65d5db665ae2b6b691e54ac6_modern-editing%402x.webp)
## Ref
-

</body>
</html>


發現一個有趣的東西
brew install --cask warp
![](https://assets-global.website-files.com/64b6f3636f598299028e8577/65d5db665ae2b6b691e54ac6_modern-editing%402x.webp)
## Ref
- 


20240227-warp-terminal

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

# transformers models
![](https://i.imgur.com/QkCYS7N.png)
![](https://i.imgur.com/72ZHVoq.png)
## NLP
### challenge
- 人可以很快知道詞相似
## Transformers, what can they do?
### Working with pipelines
- https://huggingface.co/models
```python
from transformers import pipeline
classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")
# [{'label': 'POSITIVE', 'score': 0.9598047137260437}]
```
 [available pipelines](https://huggingface.co/transformers/main_classes/pipelines)
### Zero-shot classification
不需要pretrain來進行分類
```python
from transformers import pipeline
classifier = pipeline("zero-shot-classification")
classifier(
"This is a course about the Transformers library",
candidate_labels=["education", "politics", "business"],
)
#{'sequence': 'This is a course about the Transformers library',
# 'labels': ['education', 'business', 'politics'],
# 'scores': [0.8445963859558105, 0.111976258456707, 0.043427448719739914]}
```
### Text generation
```python
from transformers import pipeline
generator = pipeline("text-generation")
generator("In this course, we will teach you how to")
# [{'generated_text': 'In this course, we will teach you how to understand and use ' 'data flow and data interchange when handling user data. We ' 'will be working with one or more of the most commonly used ' 'data flows — data flows of various types, as seen by the ' 'HTTP'}]
```
### Using any model from the Hub in a pipeline
```python
from transformers import pipeline
generator = pipeline("text-generation", model="distilgpt2")
generator(
"In this course, we will teach you how to",
max_length=30,
num_return_sequences=2,
)
# [{'generated_text': 'In this course, we will teach you how to manipulate the world and ' 'move your mental and physical capabilities to your advantage.'}, {'generated_text': 'In this course, we will teach you how to become an expert and ' 'practice realtime, and with a hands on experience on both real ' 'time and real'}]
```
### Mask filling
```python
from transformers import pipeline
unmasker = pipeline("fill-mask")
unmasker("This course will teach you all about
<div>
  models.", top_k=2)
  # [{'sequence': 'This course will teach you all about mathematical models.', 'score': 0.19619831442832947, 'token': 30412, 'token_str': ' mathematical'}, {'sequence': 'This course will teach you all about computational models.', 'score': 0.04052725434303284, 'token': 38163, 'token_str': ' computational'}]
  ```
  ### Named entity recognition
  ```python
  from transformers import pipeline
  ner = pipeline("ner", grouped_entities=True)
  ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")
  # [{'entity_group': 'PER', 'score': 0.99816, 'word': 'Sylvain', 'start': 11, 'end': 18}, {'entity_group': 'ORG', 'score': 0.97960, 'word': 'Hugging Face', 'start': 33, 'end': 45}, {'entity_group': 'LOC', 'score': 0.99321, 'word': 'Brooklyn', 'start': 49, 'end': 57} ]
  ```
  ### Question answering
  ```python
  from transformers import pipeline
  question_answerer = pipeline("question-answering")
  question_answerer(
  question="Where do I work?",
  context="My name is Sylvain and I work at Hugging Face in Brooklyn",
  )
  # {'score': 0.6385916471481323, 'start': 33, 'end': 45, 'answer': 'Hugging Face'}
  ```
  ### Summarization
  ```python
  from transformers import pipeline
  summarizer = pipeline("summarization")
  summarizer(
  """
  America has changed dramatically during recent years. Not only has the number of
  graduates in traditional engineering disciplines such as mechanical, civil,
  electrical, chemical, and aeronautical engineering declined, but in most of
  the premier American universities engineering curricula now concentrate on
  and encourage largely the study of engineering science. As a result, there
  are declining offerings in engineering subjects dealing with infrastructure,
  the environment, and related issues, and greater concentration on high
  technology subjects, largely supporting increasingly complex scientific
  developments. While the latter is important, it should not be at the expense
  of more traditional engineering.
  Rapidly developing economies such as China and India, as well as other
  industrial countries in Europe and Asia, continue to encourage and advance
  the teaching of engineering. Both China and India, respectively, graduate
  six and eight times as many traditional engineers as does the United States.
  Other industrial countries at minimum maintain their output, while America
  suffers an increasingly serious decline in the number of engineering graduates
  and a lack of well-educated engineers.
  """
  )
  # [{'summary_text': ' America has changed dramatically during recent years . The ' 'number of engineering graduates in the U.S. has declined in ' 'traditional engineering disciplines such as mechanical, civil ' ', electrical, chemical, and aeronautical engineering . Rapidly ' 'developing economies such as China and India, as well as other ' 'industrial countries in Europe and Asia, continue to encourage ' 'and advance engineering .'}]
  ```
  ### Translation
  ```python
  from transformers import pipeline
  translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
  translator("Ce cours est produit par Hugging Face.")
  # [{'translation_text': 'This course is produced by Hugging Face.'}]
  ```
  ## How do Transformers work?
  ### A bit of Transformer history
   [Transformer architecture](https://arxiv.org/abs/1706.03762) 2017, June
  ![A brief chronology of Transformers models.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono.svg)
  ### Transformers are language models
  - _causal language modelin_: 預測n個word
  ![Example of causal language modeling in which the next word from a sentence is predicted.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling.svg)
  - _masked language modeling_: 預測空格![Example of masked language modeling in which a masked word from a sentence is predicted.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling.svg)
  ### Transformers are big models
  ![Number of parameters of recent Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/model_parameters.png)
  ![The carbon footprint of a large language model.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint.svg)
  ### Transfer Learning
  - pre training vs Fine-tuning
  ![The pretraining of a language model is costly in both time and money.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining.svg)
  ![The fine-tuning of a language model is cheaper than pretraining in both time and money.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning.svg)
  ### General architecture
  ### Introduction
  ![Architecture of a Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks.svg)
  ### Attention layers
  ### The original architecture
  ![Architecture of a Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers.svg)
  ### Architectures vs. checkpoints
  - **Architecture**: skeleton
  - **Checkpoints**: weights
  - **Model**: This is an umbrella term that isn’t as precise as “architecture” or “checkpoint”: it can mean both. This course will specify _architecture_ or _checkpoint_ when it matters to reduce ambiguity.
  ## Encoder models
  - 具有雙向attension
  - 模型訓練通常使用mask訓練
  - encoder model適合理解完整句子
  - example
  - [ALBERT](https://huggingface.co/docs/transformers/model_doc/albert)
  - [BERT](https://huggingface.co/docs/transformers/model_doc/bert)
  - [DistilBERT](https://huggingface.co/docs/transformers/model_doc/distilbert)
  - [ELECTRA](https://huggingface.co/docs/transformers/model_doc/electra)
  - [RoBERTa](https://huggingface.co/docs/transformers/model_doc/roberta)
  ![](https://i.imgur.com/pSKKssf.png)
  ## Decoder models
  ![](https://i.imgur.com/0AaFRkb.png)
  - example
  - - [CTRL](https://huggingface.co/transformers/model_doc/ctrl)
  - [GPT](https://huggingface.co/docs/transformers/model_doc/openai-gpt)
  - [GPT-2](https://huggingface.co/transformers/model_doc/gpt2)
  - [Transformer XL](https://huggingface.co/transformers/model_doc/transfo-xl)
  ## Sequence-to-sequence models sequence-to-sequence-models
  ![](https://i.imgur.com/hY4WxfB.png)
  - example
  - [BART](https://huggingface.co/transformers/model_doc/bart)
  - [mBART](https://huggingface.co/transformers/model_doc/mbart)
  - [Marian](https://huggingface.co/transformers/model_doc/marian)
  - [T5](https://huggingface.co/transformers/model_doc/t5)
  ## Bias and limitations
  - 可能有偏見，因為他從網路資料訓練
  ### Summary
  | Model | Examples | Tasks |
  | --------------- | ------------------------------------------ | -------------------------------------------------------------------------------- |
  | Encoder | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | Sentence classification, named entity recognition, extractive question answering |
  | Decoder | CTRL, GPT, GPT-2, Transformer XL | Text generation |
  | Encoder-decoder | BART, T5, Marian, mBART | Summarization, translation, generative question answering |
  | | | |
  # using transformers
  ## inside pipline
  ![The full NLP pipeline: tokenization of text, conversion to IDs, and inference through the Transformer model and the model head.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/full_nlp_pipeline.svg)
  ## models
  可以使用 save pretrain
  ```python
  model = BertModel(config)
  model.save_pretrained("directory_on_my_computer")
  import torch
  model_inputs = torch.tensor(encoded_sequences)
  output = model(model_inputs)
  ```
  ## Tokenizer
  ### word based
  - 有可能遇到沒在資料庫的會unknown
  ### Character-based
  ### Subword tokenization
  - BERT 用這
  ![](https://i.imgur.com/HCERX6Z.png)
  ![](https://i.imgur.com/ChfFqii.png)
  ### encoding
  ![](https://i.imgur.com/0spIuRj.png)
  ## Handling multiple sequences
  ## Putting it all together
  # Fine tuning a pre-trained model
  (skip)
  # Sharing
  (skip)
  # Datasets Lib
  (skip)
  # Tokenizer lib
  (skip)
  ## Main NLP tasks
  ### Token Classification
  - **Named entity recognition (NER)**: 找相近
  - **Part-of-speech tagging (POS)**: 分詞性
  - **Chunking**: 分段(?)
  ![](https://i.imgur.com/HAe8XCf.png)
  ### Fine Tuning masked L M
  ### Translation
  ### Summarization
  ### Causal Language Modeling
  - 從前一個字預測下一個
  ### Question answering
  # Building and sharing using Gradio
  ## Ref
  - https://huggingface.co/learn/nlp-course/chapter0/1
</div>

</body>
</html>


# transformers models
![](https://i.imgur.com/QkCYS7N.png)

![](https://i.imgur.com/72ZHVoq.png)

## NLP
### challenge
- 人可以很快知道詞相似
## Transformers, what can they do?
### Working with pipelines
- https://huggingface.co/models
```python
from transformers import pipeline

classifier = pipeline("sentiment-analysis")
classifier("I've been waiting for a HuggingFace course my whole life.")
# [{'label': 'POSITIVE', 'score': 0.9598047137260437}]
```
 [available pipelines](https://huggingface.co/transformers/main_classes/pipelines)
### Zero-shot classification
不需要pretrain來進行分類
```python
from transformers import pipeline

classifier = pipeline("zero-shot-classification")
classifier(
    "This is a course about the Transformers library",
    candidate_labels=["education", "politics", "business"],
)
#{'sequence': 'This is a course about the Transformers library',
# 'labels': ['education', 'business', 'politics'],
# 'scores': [0.8445963859558105, 0.111976258456707, 0.043427448719739914]}
```
### Text generation
```python
from transformers import pipeline

generator = pipeline("text-generation")
generator("In this course, we will teach you how to")
# [{'generated_text': 'In this course, we will teach you how to understand and use ' 'data flow and data interchange when handling user data. We ' 'will be working with one or more of the most commonly used ' 'data flows — data flows of various types, as seen by the ' 'HTTP'}]
```
### Using any model from the Hub in a pipeline
```python
from transformers import pipeline

generator = pipeline("text-generation", model="distilgpt2")
generator(
    "In this course, we will teach you how to",
    max_length=30,
    num_return_sequences=2,
)
# [{'generated_text': 'In this course, we will teach you how to manipulate the world and ' 'move your mental and physical capabilities to your advantage.'}, {'generated_text': 'In this course, we will teach you how to become an expert and ' 'practice realtime, and with a hands on experience on both real ' 'time and real'}]
```
### Mask filling
```python
from transformers import pipeline

unmasker = pipeline("fill-mask")
unmasker("This course will teach you all about <mask> models.", top_k=2)
# [{'sequence': 'This course will teach you all about mathematical models.', 'score': 0.19619831442832947, 'token': 30412, 'token_str': ' mathematical'}, {'sequence': 'This course will teach you all about computational models.', 'score': 0.04052725434303284, 'token': 38163, 'token_str': ' computational'}]
```
### Named entity recognition
```python
from transformers import pipeline

ner = pipeline("ner", grouped_entities=True)
ner("My name is Sylvain and I work at Hugging Face in Brooklyn.")
# [{'entity_group': 'PER', 'score': 0.99816, 'word': 'Sylvain', 'start': 11, 'end': 18}, {'entity_group': 'ORG', 'score': 0.97960, 'word': 'Hugging Face', 'start': 33, 'end': 45}, {'entity_group': 'LOC', 'score': 0.99321, 'word': 'Brooklyn', 'start': 49, 'end': 57} ]
```
### Question answering
```python
from transformers import pipeline

question_answerer = pipeline("question-answering")
question_answerer(
    question="Where do I work?",
    context="My name is Sylvain and I work at Hugging Face in Brooklyn",
)
# {'score': 0.6385916471481323, 'start': 33, 'end': 45, 'answer': 'Hugging Face'}
```

###  Summarization
```python
from transformers import pipeline

summarizer = pipeline("summarization")
summarizer(
    """
    America has changed dramatically during recent years. Not only has the number of 
    graduates in traditional engineering disciplines such as mechanical, civil, 
    electrical, chemical, and aeronautical engineering declined, but in most of 
    the premier American universities engineering curricula now concentrate on 
    and encourage largely the study of engineering science. As a result, there 
    are declining offerings in engineering subjects dealing with infrastructure, 
    the environment, and related issues, and greater concentration on high 
    technology subjects, largely supporting increasingly complex scientific 
    developments. While the latter is important, it should not be at the expense 
    of more traditional engineering.

    Rapidly developing economies such as China and India, as well as other 
    industrial countries in Europe and Asia, continue to encourage and advance 
    the teaching of engineering. Both China and India, respectively, graduate 
    six and eight times as many traditional engineers as does the United States. 
    Other industrial countries at minimum maintain their output, while America 
    suffers an increasingly serious decline in the number of engineering graduates 
    and a lack of well-educated engineers.
"""
)
# [{'summary_text': ' America has changed dramatically during recent years . The ' 'number of engineering graduates in the U.S. has declined in ' 'traditional engineering disciplines such as mechanical, civil ' ', electrical, chemical, and aeronautical engineering . Rapidly ' 'developing economies such as China and India, as well as other ' 'industrial countries in Europe and Asia, continue to encourage ' 'and advance engineering .'}]
```
###  Translation
```python
from transformers import pipeline

translator = pipeline("translation", model="Helsinki-NLP/opus-mt-fr-en")
translator("Ce cours est produit par Hugging Face.")
# [{'translation_text': 'This course is produced by Hugging Face.'}]
```
##  How do Transformers work?
### A bit of Transformer history
 [Transformer architecture](https://arxiv.org/abs/1706.03762) 2017, June
![A brief chronology of Transformers models.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_chrono.svg)
###  Transformers are language models
- _causal language modelin_: 預測n個word
![Example of causal language modeling in which the next word from a sentence is predicted.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/causal_modeling.svg)
- _masked language modeling_: 預測空格![Example of masked language modeling in which a masked word from a sentence is predicted.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/masked_modeling.svg)
###  Transformers are big models
![Number of parameters of recent Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/model_parameters.png)
![The carbon footprint of a large language model.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/carbon_footprint.svg)
### Transfer Learning
- pre training vs Fine-tuning
![The pretraining of a language model is costly in both time and money.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/pretraining.svg)

![The fine-tuning of a language model is cheaper than pretraining in both time and money.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/finetuning.svg)
### General architecture
### Introduction
![Architecture of a Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers_blocks.svg)
### Attention layers
### The original architecture
![Architecture of a Transformers models](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter1/transformers.svg)
### Architectures vs. checkpoints
- **Architecture**: skeleton
- **Checkpoints**: weights 
- **Model**: This is an umbrella term that isn’t as precise as “architecture” or “checkpoint”: it can mean both. This course will specify _architecture_ or _checkpoint_ when it matters to reduce ambiguity.
## Encoder models
- 具有雙向attension
- 模型訓練通常使用mask訓練
- encoder model適合理解完整句子
- example 
	-  [ALBERT](https://huggingface.co/docs/transformers/model_doc/albert)
	- [BERT](https://huggingface.co/docs/transformers/model_doc/bert)
	- [DistilBERT](https://huggingface.co/docs/transformers/model_doc/distilbert)
	- [ELECTRA](https://huggingface.co/docs/transformers/model_doc/electra)
	- [RoBERTa](https://huggingface.co/docs/transformers/model_doc/roberta)
![](https://i.imgur.com/pSKKssf.png)
## Decoder models
![](https://i.imgur.com/0AaFRkb.png)
- example
	- - [CTRL](https://huggingface.co/transformers/model_doc/ctrl)
	- [GPT](https://huggingface.co/docs/transformers/model_doc/openai-gpt)
	- [GPT-2](https://huggingface.co/transformers/model_doc/gpt2)
	- [Transformer XL](https://huggingface.co/transformers/model_doc/transfo-xl)
## Sequence-to-sequence models sequence-to-sequence-models
![](https://i.imgur.com/hY4WxfB.png)
- example
	- [BART](https://huggingface.co/transformers/model_doc/bart)
	- [mBART](https://huggingface.co/transformers/model_doc/mbart)
	- [Marian](https://huggingface.co/transformers/model_doc/marian)
	- [T5](https://huggingface.co/transformers/model_doc/t5)
## Bias and limitations
- 可能有偏見，因為他從網路資料訓練
### Summary
| Model           | Examples                                   | Tasks                                                                            |
| --------------- | ------------------------------------------ | -------------------------------------------------------------------------------- |
| Encoder         | ALBERT, BERT, DistilBERT, ELECTRA, RoBERTa | Sentence classification, named entity recognition, extractive question answering |
| Decoder         | CTRL, GPT, GPT-2, Transformer XL           | Text generation                                                                  |
| Encoder-decoder | BART, T5, Marian, mBART                    | Summarization, translation, generative question answering                        |
|                 |                                            |                                                                                  |
# using transformers
## inside pipline
![The full NLP pipeline: tokenization of text, conversion to IDs, and inference through the Transformer model and the model head.](https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter2/full_nlp_pipeline.svg)

## models
可以使用 save pretrain 
```python
model = BertModel(config)
model.save_pretrained("directory_on_my_computer")
import torch

model_inputs = torch.tensor(encoded_sequences)
output = model(model_inputs)
```
## Tokenizer

### word based
- 有可能遇到沒在資料庫的會unknown
### Character-based
### Subword tokenization
- BERT 用這
![](https://i.imgur.com/HCERX6Z.png)
![](https://i.imgur.com/ChfFqii.png)
### encoding
![](https://i.imgur.com/0spIuRj.png)
##  Handling multiple sequences
## Putting it all together
# Fine tuning a pre-trained model
(skip)
# Sharing
(skip)
# Datasets Lib
(skip)
# Tokenizer lib
(skip)
## Main NLP tasks
### Token Classification
- **Named entity recognition (NER)**: 找相近
- **Part-of-speech tagging (POS)**: 分詞性
- **Chunking**: 分段(?)
![](https://i.imgur.com/HAe8XCf.png)

### Fine Tuning masked L M 

### Translation
### Summarization
### Causal Language Modeling
- 從前一個字預測下一個
### Question answering

# Building and sharing using Gradio
## Ref
- https://huggingface.co/learn/nlp-course/chapter0/1


20240227-huggingface-nlp

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計一個使用chaining（Link List）處理碰撞問題的hash table
## Solution
O(1) 可以使用array但浪費空間
可以使用binary search但就不會是O(1)
## Ref

</body>
</html>


## Question
設計一個使用chaining（Link List）處理碰撞問題的hash table
## Solution
O(1) 可以使用array但浪費空間
可以使用binary search但就不會是O(1)
## Ref


20240227-Hash-Table-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
解釋如何設計in-memory的DS 及 演算法，請可能舉例
## Solution
最簡單就分成有File及Directory他們各自extend Entry
## Ref

</body>
</html>


## Question
解釋如何設計in-memory的DS 及 演算法，請可能舉例
## Solution
最簡單就分成有File及Directory他們各自extend Entry
## Ref


20240227-File-Systems-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
踩地雷遊戲，玩家直到整個盤都探索完畢，玩家點選後如果是炸彈就輸掉，若是空白，消除所有鄰近空白及數字
## Solution
- focus key idea+structure out
### Design:Cell
- enum
### Design:Board
- init, flip
### Design: Game
- host game state
### Algorithm
#### placing the bomb
#### setting number cells
#### expanding a Blank Region
## Ref

</body>
</html>


## Question
踩地雷遊戲，玩家直到整個盤都探索完畢，玩家點選後如果是炸彈就輸掉，若是空白，消除所有鄰近空白及數字
## Solution
- focus key idea+structure out
### Design:Cell
- enum
### Design:Board
- init, flip
### Design: Game
- host game state
### Algorithm
#### placing the bomb
#### setting number cells
#### expanding a Blank Region


## Ref


20240226-minesweeper-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
實作CircularArray class可以有效翻轉array like data structure，這個class需使用generic type(template)，且支援iter notaion（obj o: circularArray）
## Solution
- 拆解問題：實作CircularArray class、支援iteration
### Implementing the CircularArray class
- 注意負數在mod後的使用
### Implementing the Iterator Interface
這邊參考p330
## Ref

</body>
</html>


## Question
實作CircularArray class可以有效翻轉array like  data structure，這個class需使用generic type(template)，且支援iter notaion（obj o: circularArray）
## Solution
- 拆解問題：實作CircularArray class、支援iteration
### Implementing the CircularArray class
- 注意負數在mod後的使用
### Implementing the Iterator Interface
這邊參考p330


## Ref


20240226-Circular-array-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- 文字清理（去除符號、轉小寫）
- 依據詞頻拆分關鍵字網路
- 邊/連結厚度代表關鍵字的相依頻率
- 節點大小代表專見字的頻率
## Ref

</body>
</html>


- 文字清理（去除符號、轉小寫）
- 依據詞頻拆分關鍵字網路
- 邊/連結厚度代表關鍵字的相依頻率
- 節點大小代表專見字的頻率
## Ref


20240222-content-analysis

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
- 設計黑白棋的OOD，黑白棋是如果周遭（上下左右）被圍起來就更換中間（被包圍）顏色，到一方無法下任何棋結束。
## Solution
- core object: game, board, pieces, players
### Shold BlackPiece and WhitePiece be classes?
- 因為棋會一直被翻轉，有一個統一Piece Class可能比較好
### Do we need separate Board and Game classes?
- Pros
- 邏輯上分開board跟game
- Cons
- 需要額外layer
## Who keeps Score?
- 可能可以使用Group、Piece、Board group
- 我們暫時使用board存，這樣分數可以由Board分組
## Should Game be a Singleton class?
- Singleton 好處是所有人可呼叫，而不用每次都pass ref，但只能被初始化一次，與interviewer討論是否可以這樣做
## Ref

</body>
</html>


## Question
- 設計黑白棋的OOD，黑白棋是如果周遭（上下左右）被圍起來就更換中間（被包圍）顏色，到一方無法下任何棋結束。
## Solution
- core object: game, board, pieces, players
### Shold BlackPiece and WhitePiece be classes?
- 因為棋會一直被翻轉，有一個統一Piece Class可能比較好
### Do we need separate Board and Game classes?
- Pros
	- 邏輯上分開board跟game
- Cons
	- 需要額外layer
## Who keeps Score?
- 可能可以使用Group、Piece、Board group
- 我們暫時使用board存，這樣分數可以由Board分組
## Should Game be a Singleton class?
- Singleton 好處是所有人可呼叫，而不用每次都pass ref，但只能被初始化一次，與interviewer討論是否可以這樣做
## Ref


20240221-othello-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
- 請解釋你會怎麼設計一個chat server，請說明你會怎麼設計Backend Component的細節、Class及Method，可能需要解決最困難的問題是什麼
## Solution
- 這問題很大，一開始要scope problem，一開始建議從廣下手，但focus可以再inerview完成的部分
- focus 使用者管理（新增、建立對話、更新狀態）
- 先不管網路、資料怎麼傳送給client等問題
- 要加入聯絡人，要兩方都是才是，支援群組聊天、一對一私人對話，不考慮語、音通話或檔案傳輸
### What specific action does it need to support?
- 與interviewer討論，for example:
- singing online and offline
- 加入request(sending, accepting and rejeccting)
- 更新狀態
- 建立private 及群組訊息
- 在private及群組對話加入訊息
### What can we learn about these requirements?
- 我們需要有使用者、新增request狀態、線上狀態、訊息
### What are the core components of the system?
- 使用database永久儲存資料，SQL很好，如果要scalability，可以使用BigTable之類
- client-server溝通可以使用XML，因為人跟機器可讀，但他不是最好壓縮過的格式
- 資料可能被切分在不同機器，為了避免single point of failure，資料會複製好幾份在不同機器
### What are the key objects and methods
- key objects, includes users, conversations, status message
- UserManager
- userById: map(int=>User)
- userByAccountName: map(string=>User)
- onlineUsers: map(int=>User)
- addUser()
- approveAddRequest()
- rejectAddRequest()
- iserSignedOn()
- iserSignedOff()
### What problems would be the hardest to solve(or the most interesting)?
- 可能會interviewer討論以下問題
- Q1: How do we know If someone is online--I mean, really know?
- 有可能使用者忘記登出，定時去ping client看是否還在
- Q2: How do we deal with conflicting information
- 有些存databse，有些存電腦的memory，如果有些out of sync怎麼辦？哪個才正確？
- Q3: How do we make our server scale?
- 如何設計可以擴展的系統，真實世界資料可能要拆分在不同機器，怎麼處理不同步資料
## Ref

</body>
</html>


## Question
- 請解釋你會怎麼設計一個chat server，請說明你會怎麼設計Backend Component的細節、Class及Method，可能需要解決最困難的問題是什麼
## Solution
- 這問題很大，一開始要scope problem，一開始建議從廣下手，但focus可以再inerview完成的部分
- focus 使用者管理（新增、建立對話、更新狀態）
- 先不管網路、資料怎麼傳送給client等問題
- 要加入聯絡人，要兩方都是才是，支援群組聊天、一對一私人對話，不考慮語、音通話或檔案傳輸
### What specific action does it need to support?
- 與interviewer討論，for example:
	- singing online and offline
	- 加入request(sending, accepting and rejeccting)
	- 更新狀態
	- 建立private 及群組訊息
	- 在private及群組對話加入訊息
### What can we learn about these requirements?
- 我們需要有使用者、新增request狀態、線上狀態、訊息
### What are the core components of the system?
- 使用database永久儲存資料，SQL很好，如果要scalability，可以使用BigTable之類
- client-server溝通可以使用XML，因為人跟機器可讀，但他不是最好壓縮過的格式
- 資料可能被切分在不同機器，為了避免single point of failure，資料會複製好幾份在不同機器
### What are the key objects and methods
- key objects, includes users, conversations, status message
	- UserManager
		- userById: map(int=>User)
		- userByAccountName: map(string=>User)
		- onlineUsers: map(int=>User)
		- addUser()
		- approveAddRequest()
		- rejectAddRequest()
		- iserSignedOn() 
		- iserSignedOff()
### What problems would be the hardest to solve(or the most interesting)?
- 可能會interviewer討論以下問題
- Q1: How do we know If someone is online--I mean, really know?
	- 有可能使用者忘記登出，定時去ping client看是否還在
- Q2: How do we deal with conflicting information
	- 有些存databse，有些存電腦的memory，如果有些out of sync怎麼辦？哪個才正確？
- Q3: How do we make our server scale?
	- 如何設計可以擴展的系統，真實世界資料可能要拆分在不同機器，怎麼處理不同步資料



## Ref


20240219-chat-server-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計一個根據object-oriented principles的parking lot（停車場）
## Solution
- 跟interviewer討論支援什麼類別的車
- 假設
- 停車場有多個level，每個level有多個spots
- 停車長可以停摩托車、汽車及公車
- 有摩托車停車、小客車停車場及大型停車場
- 摩托車可以停在任何停車場
- 小客車可以停在小客車、大型停車場
- 公車只能停在大型停車場
- 建立一個車輛的abstract類別可以讓其他extend
- ParkingLot是多個Level的warpper
- 摩托車停車、小客車停車場及大型停車場可以繼承自ParkingLot
## Ref

</body>
</html>


## Question
設計一個根據object-oriented principles的parking lot（停車場）
## Solution
- 跟interviewer討論支援什麼類別的車
- 假設
	- 停車場有多個level，每個level有多個spots
	- 停車長可以停摩托車、汽車及公車
	- 有摩托車停車、小客車停車場及大型停車場
	- 摩托車可以停在任何停車場
	- 小客車可以停在小客車、大型停車場
	- 公車只能停在大型停車場
- 建立一個車輛的abstract類別可以讓其他extend
- ParkingLot是多個Level的warpper
- 摩托車停車、小客車停車場及大型停車場可以繼承自ParkingLot

## Ref


20240217-parking-lot-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計線上書本閱讀器的資料結構
## Solution
- 因為問題沒解釋很清楚，我們假設提供以下功能
- 用戶帳戶建立、擴增
- 搜尋資料庫的書
- 看書
- 同一時間只可以有一個線上使用者
- 這個使用者指只會有一本acitve的書
- 有可能會有
- User/Book/Library
- get/set/update
## Ref

</body>
</html>


## Question
設計線上書本閱讀器的資料結構
## Solution
- 因為問題沒解釋很清楚，我們假設提供以下功能
	- 用戶帳戶建立、擴增
	- 搜尋資料庫的書
	- 看書
	- 同一時間只可以有一個線上使用者
	- 這個使用者指只會有一本acitve的書
- 有可能會有
	- User/Book/Library
	- get/set/update

## Ref


20240217-online-book-reader-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
使用object-oriented principles設計jukebox musical（點唱機）
## Solution
- 問interviewer釐清設計限制
- 播放CD/錄影/MP3？
- 在PC/實體點唱機？
- 假設
- for example 電腦模擬，要接近實體點唱機
- basic component
- Jukebox
- CD
- Song
- Artist
- Playlist
- Display
- breakdown to find possible actions
- Playlist creation（add/delete/shuffle)
- CD selector
- Song selector
- Queuing up a song
- get next song from playlist
- 使用者可以：
- add
- delete
- credit infomation
-
## Ref

</body>
</html>


## Question
使用object-oriented principles設計jukebox musical（點唱機）
## Solution
- 問interviewer釐清設計限制
	- 播放CD/錄影/MP3？
	- 在PC/實體點唱機？
- 假設
	- for example 電腦模擬，要接近實體點唱機
- basic component
	- Jukebox
	- CD
	- Song
	- Artist
	- Playlist
	- Display
- breakdown to find possible actions
	- Playlist creation（add/delete/shuffle)
	- CD selector
	- Song selector
	- Queuing up a song
	- get next song from playlist
- 使用者可以：
	- add
	- delete
	- credit infomation
- 
## Ref


20240217-jukebox-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
打造一個拼圖遊戲，設計資料結構以及解釋如何破解這個拼圖的演算法。你可以假設有一個fitsWith()，他可以檢查兩個拼圖是否可以拼在一起。
## Solution
- 我們需要針對每一片拼圖儲存位置，可能有兩種儲存情況
- 絕對位置：(x,y)
- 相對位置：還不知道在哪，但知道A在B旁邊
- 主要Class: Puzzle, Piece, Edge
- 形狀(shape): inner, outer, flat
- edge的方向: left, right, top, down
- Puzzle 會有個很多piece的list
- Piece 會有個hashtable(orientation=>edge)，有可能會rotate piece，所以hash有可能會變
### Algorithm to Solve the Puzzle
- 要可以rotate嘗試是否可以塞到角落
## Ref

</body>
</html>


## Question
打造一個拼圖遊戲，設計資料結構以及解釋如何破解這個拼圖的演算法。你可以假設有一個fitsWith()，他可以檢查兩個拼圖是否可以拼在一起。

## Solution
- 我們需要針對每一片拼圖儲存位置，可能有兩種儲存情況
	- 絕對位置：(x,y)
	- 相對位置：還不知道在哪，但知道A在B旁邊
- 主要Class: Puzzle, Piece, Edge
- 形狀(shape): inner, outer, flat
- edge的方向: left, right, top, down
- Puzzle 會有個很多piece的list
- Piece 會有個hashtable(orientation=>edge)，有可能會rotate piece，所以hash有可能會變
### Algorithm to Solve the Puzzle
- 要可以rotate嘗試是否可以塞到角落
## Ref


20240217-jigsaw-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
有一個有三種level員工的call center，respondent, manager, director。當電話進來時，要assign給空閒的respondent，如果他不能回答，必須轉介給manager，也不行就往上給director，設計一個給這問題的class及資料結構，實作一個dispathchCall()指派電話給低一個可用的員工
## solution
- OOD有很多方式可以實作，跟面試官討論，trade off，保持彈性、可維護性設計。
- Call代表一則通話，並且call有最小的rank而且被指定給可以處理的第一個員工
- Employee 是superclass，且是一個abstract類別，不應該直接實例化
- respondent, manager, director可以extend Employee類別
## Ref

</body>
</html>


## Question
有一個有三種level員工的call center，respondent, manager, director。當電話進來時，要assign給空閒的respondent，如果他不能回答，必須轉介給manager，也不行就往上給director，設計一個給這問題的class及資料結構，實作一個dispathchCall()指派電話給低一個可用的員工
## solution
- OOD有很多方式可以實作，跟面試官討論，trade off，保持彈性、可維護性設計。
- Call代表一則通話，並且call有最小的rank而且被指定給可以處理的第一個員工
- Employee 是superclass，且是一個abstract類別，不應該直接實例化
- respondent, manager, director可以extend Employee類別
## Ref


20240217-call-center-ood

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Background
- from a [stack overflow question](https://stackoverflow.com/questions/76496884/how-levels-fyi-is-encoding-the-api-response) , level.fyi encrypt its response
- request
```javascript
GET https://api.levels.fyi/v3/salary/search?countryIds[]=197&#x26;offset=10&#x26;limit=50&#x26;sortBy=offer_date&#x26;sortOrder=DESC&#x26;jobFamilySlug=software-engineer
```
- response
```json
{
"payload": "EofXi7jF2t63a..."
}
```
## solution
- Go to [levels.fyi](https://www.levels.fyi/)> Inspect>Network>JS tab>commonUtils.js>CryptoJS.AES.decrypt
- I wrote a python script :
```python
from Crypto.Cipher import AES
from Crypto.Hash import MD5
from base64 import b64encode, b64decode
import zlib
class ResponseUtil:
def __init__(self):
self.key = "levelstothemoon!!"
self.n = 16
def parse(self, t):
if "payload" not in t:
return t
r = t["payload"]
a = MD5.new(self.key.encode()).digest()
a_base64 = b64encode(a)[: self.n]
cipher = AES.new(a_base64, AES.MODE_ECB)
decrypted_data = cipher.decrypt(b64decode(r))
decompressed_data = zlib.decompress(decrxypted_data)
return json.loads(decompressed_data.decode())
# Example usage:
response_util = ResponseUtil()
parsed_data = response_util.parse(ans)
print(parsed_data)
```
```json
{
"total": 1000,
"hidden": 2,
"rows": [
{
"uuid": "079fb0cf-d9ff-4b58-bb08-70f3a8447521",
"title": "Software Engineer",
"jobFamily": "Software Engineer",
"level": "E7",
"focusTag": "General",
"yearsOfExperience": 5,
"yearsAtCompany": 2,
"yearsAtLevel": 2,
"offerDate": "2024-01-27T02:02:19.682Z",
"location": "Hsin-chu, TP, Taiwan",
"workArrangement": "office",
"compPerspective": "employee",
"cityId": 17410,
"dmaId": 10064,
"countryId": 236,
"exchangeRate": 31.2881,
"baseSalary": 42188.5583,
"baseSalaryCurrency": "TWD",
"totalCompensation": 67757.3815,
"avgAnnualStockGrantValue": null,
"stockGrantCurrency": null,
"avgAnnualBonusValue": 25568.8232,
"bonusCurrency": "TWD",
"salesComp": null,
"negotiatedAmount": null,
"gender": null,
"ethnicity": null,
"education": null,
"otherDetails": null,
"companyInfo": {
"registered": true,
"icon": "https://logo.clearbit.com/mediatek.com",
"name": "MediaTek",
"slug": "mediatek"
},
"vestingSchedule": null,
"tags": null,
"stockType": null
},
...
```
- https://hackmd.io/DXNwbKGJRWamrYYFv6LT_Q
## contract
If you have any questions or needs, please contract me at alan.tseng.cs@gmail.com

</body>
</html>


## Background
- from a [stack overflow question](https://stackoverflow.com/questions/76496884/how-levels-fyi-is-encoding-the-api-response) , level.fyi encrypt its response
- request
```javascript
GET https://api.levels.fyi/v3/salary/search?countryIds[]=197&offset=10&limit=50&sortBy=offer_date&sortOrder=DESC&jobFamilySlug=software-engineer
```
- response
```json
{
    "payload": "EofXi7jF2t63a..."
}
```
## solution
- Go to [levels.fyi](https://www.levels.fyi/)> Inspect>Network>JS tab>commonUtils.js>CryptoJS.AES.decrypt
- I wrote a python script : 

```python
from Crypto.Cipher import AES
from Crypto.Hash import MD5
from base64 import b64encode, b64decode
import zlib
class ResponseUtil:
    def __init__(self):
        self.key = "levelstothemoon!!"
        self.n = 16

    def parse(self, t):
        if "payload" not in t:
            return t
        r = t["payload"]
        a = MD5.new(self.key.encode()).digest()
        a_base64 = b64encode(a)[: self.n]
        cipher = AES.new(a_base64, AES.MODE_ECB)

        decrypted_data = cipher.decrypt(b64decode(r))
        
        decompressed_data = zlib.decompress(decrxypted_data)

        return json.loads(decompressed_data.decode())

# Example usage:
response_util = ResponseUtil()
parsed_data = response_util.parse(ans)
print(parsed_data)

```

```json
{
    "total": 1000,
    "hidden": 2,
    "rows": [
        {
            "uuid": "079fb0cf-d9ff-4b58-bb08-70f3a8447521",
            "title": "Software Engineer",
            "jobFamily": "Software Engineer",
            "level": "E7",
            "focusTag": "General",
            "yearsOfExperience": 5,
            "yearsAtCompany": 2,
            "yearsAtLevel": 2,
            "offerDate": "2024-01-27T02:02:19.682Z",
            "location": "Hsin-chu, TP, Taiwan",
            "workArrangement": "office",
            "compPerspective": "employee",
            "cityId": 17410,
            "dmaId": 10064,
            "countryId": 236,
            "exchangeRate": 31.2881,
            "baseSalary": 42188.5583,
            "baseSalaryCurrency": "TWD",
            "totalCompensation": 67757.3815,
            "avgAnnualStockGrantValue": null,
            "stockGrantCurrency": null,
            "avgAnnualBonusValue": 25568.8232,
            "bonusCurrency": "TWD",
            "salesComp": null,
            "negotiatedAmount": null,
            "gender": null,
            "ethnicity": null,
            "education": null,
            "otherDetails": null,
            "companyInfo": {
                "registered": true,
                "icon": "https://logo.clearbit.com/mediatek.com",
                "name": "MediaTek",
                "slug": "mediatek"
            },
            "vestingSchedule": null,
            "tags": null,
            "stockType": null
        },
        ...
```

- https://hackmd.io/DXNwbKGJRWamrYYFv6LT_Q

## contract
If you have any questions or needs, please contract me at alan.tseng.cs@gmail.com

20240216-levelsfyi-crawler

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
Deck of cards：設計一個給一副牌的generic資料結構，解釋如何設計black-jack(21點)資料結構的子類別
## Solution
- 首先跟面試關確認generic的定義，給Uno、pocker-like還是？
- 假設是poker card:
- Suit
- club, diamond, heart, spade
- value
- getValue()
- getSuitFromValue()
- Deck
- `cards=[]`
- shuffle()
- remainintCards()
- dealHand()
- dealCard()
- Card
- faceValue
- suit
- isAvaliable()
- setAvaliable(state)
- Hand
- `cards=[]`
- score()
- addCard()
- BlackJackHand extends Hand
備註：這邊我除了看書內容，可以問bard: 21點遊戲規則是什麼，請解釋並說明如何使用OOP方式實作
## Ref

</body>
</html>


## Question
Deck of cards：設計一個給一副牌的generic資料結構，解釋如何設計black-jack(21點)資料結構的子類別

## Solution
- 首先跟面試關確認generic的定義，給Uno、pocker-like還是？
- 假設是poker card:
	- Suit
		- club, diamond, heart, spade
		- value
		- getValue()
		- getSuitFromValue()
	- Deck
		- `cards=[]`
		- shuffle()
		- remainintCards()
		- dealHand()
		- dealCard()
	- Card
		- faceValue
		- suit
		- isAvaliable()
		- setAvaliable(state)
	- Hand
		- `cards=[]`
		- score()
		- addCard()
	- BlackJackHand extends Hand

備註：這邊我除了看書內容，可以問bard: 21點遊戲規則是什麼，請解釋並說明如何使用OOP方式實作
## Ref


20240205-Deck-of-cards

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

思路：先用playwright 取得cookies，觀察network直接打API
先取得 geoid (地點id)
```python
q_keywords = "software engineer"
q_location = "taiwan"
r = requests.get(f"https://www.linkedin.com/jobs/search?keywords={q_keywords}&#x26;location={q_location}&#x26;trk=public_jobs_jobs-search-bar_search-submit")
soup = BeautifulSoup(r.text, "html.parser")
geo_id_inputs = soup.select("input[name='geoId']")
geoid = geo_id_inputs[0].get("value")
```
```python
start_n = 0
job_search_link = f"https://www.linkedin.com/voyager/api/voyagerJobsDashJobCards?decorationId=com.linkedin.voyager.dash.deco.jobs.search.JobSearchCardsCollection-192&#x26;count=25&#x26;q=jobSearch&#x26;query=(origin:JOB_SEARCH_PAGE_SEARCH_BUTTON,keywords:software%20engineer,locationUnion:(geoId:{geoid}),spellCorrectionEnabled:true)&#x26;start={start_n}"
headers = [{
'Authority': 'www.linkedin.com',
'Method': 'GET',
'Scheme': 'https',
'Accept': 'application/vnd.linkedin.normalized+json+2.1',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'en-US,en;q=0.9',
'Cookie': "; ".join([f"{key}={value}" for key, value in session.cookies.items()]),
'Csrf-Token': session.cookies.get('JSESSIONID').strip('"'),
'User-Agent': 'OOOO',
'X-Li-Track': 'OOOO'
} for session in [s]]
r = s.get(job_search_link,headers=headers[0])
```
後記：結果發現github有人做了 [linkedin api](https://github.com/tomquirk/linkedin-api)QQ，當作練習吧
- https://github.com/tomquirk/linkedin-api
-
- 這裡有說明如何運作 https://github.com/tomquirk/linkedin-api?tab=readme-ov-file#how-it-works
```python
from linkedin_api import Linkedin
api = Linkedin('acc', 'pass')
profile = api.get_profile('alanhc316')
contact_info = api.get_profile_contact_info('username')
connections = api.get_profile_connections('username')
```
- [官方API](https://github.com/linkedin-developers/linkedin-api-python-client)
## Ref

</body>
</html>


思路：先用playwright 取得cookies，觀察network直接打API

先取得 geoid (地點id)
```python
q_keywords = "software engineer"
q_location = "taiwan"
r = requests.get(f"https://www.linkedin.com/jobs/search?keywords={q_keywords}&location={q_location}&trk=public_jobs_jobs-search-bar_search-submit")
soup = BeautifulSoup(r.text, "html.parser")
geo_id_inputs = soup.select("input[name='geoId']")
geoid = geo_id_inputs[0].get("value")
```

```python
start_n = 0
job_search_link = f"https://www.linkedin.com/voyager/api/voyagerJobsDashJobCards?decorationId=com.linkedin.voyager.dash.deco.jobs.search.JobSearchCardsCollection-192&count=25&q=jobSearch&query=(origin:JOB_SEARCH_PAGE_SEARCH_BUTTON,keywords:software%20engineer,locationUnion:(geoId:{geoid}),spellCorrectionEnabled:true)&start={start_n}"
headers = [{
'Authority': 'www.linkedin.com',
'Method': 'GET',
'Scheme': 'https',
'Accept': 'application/vnd.linkedin.normalized+json+2.1',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'en-US,en;q=0.9',
'Cookie': "; ".join([f"{key}={value}" for key, value in session.cookies.items()]),
'Csrf-Token': session.cookies.get('JSESSIONID').strip('"'),
'User-Agent': 'OOOO',
'X-Li-Track': 'OOOO'
} for session in [s]]

r = s.get(job_search_link,headers=headers[0])
```
後記：結果發現github有人做了 [linkedin api](https://github.com/tomquirk/linkedin-api)QQ，當作練習吧
	- https://github.com/tomquirk/linkedin-api
	- 
- 這裡有說明如何運作 https://github.com/tomquirk/linkedin-api?tab=readme-ov-file#how-it-works
```python
from linkedin_api import Linkedin

api = Linkedin('acc', 'pass')

profile = api.get_profile('alanhc316')

contact_info = api.get_profile_contact_info('username')

connections = api.get_profile_connections('username')
```
- [官方API](https://github.com/linkedin-developers/linkedin-api-python-client)
## Ref


20240212-linkedin-private-api

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

[網頁互動版](https://alanhc.github.io/taiwan_jobs.html)
- 資料來源：Levels Fyi
## 台灣
### 在台灣 軟體工程師 做什麼最賺錢？
![](https://i.imgur.com/GHvjK50.png)
Android先猜應該是因為Google的關係拉高平均，Testing有點意外，Backend也是常常被提到成長幅度較大的，Networking先猜應該是網通廠MTK之類的。
AI 天花板高一點，但整體比做產品、嵌入式系統低。
### 在台灣 軟體工程師 做什麼底薪最好？
![](https://i.imgur.com/TnOjosz.png)
起薪最高Android，但成長幅度最高是Backend，但只有很少一部分
### 在台灣 Android 去哪間？
![](https://i.imgur.com/9hAIRym.png)
果然Google最高，但起薪是MTK比較高，之前不知道MTK也有Android，以前以為只有網通
從看到一些強者從Google跳槽到NV後，這張圖好像不會很意外。
這個問我爸後，原來Android不只有手機，許多如smart TV等底層很多都是Android
### 在台灣 Testing 去哪間？
![](https://i.imgur.com/pkM4DZ5.png)
原來Testing是被Apple拉高，大部分頂級外商也都有Testing職位
### 在台灣 ML/AI 去哪間？
![](https://i.imgur.com/AEGhCQZ.png)
在台灣ML給最高是Amazon，意外的是街口竟然比外商及半導體公司高
### 在台灣 Production 去哪間？
![](https://i.imgur.com/YqAGJtM.png)
產品工程師，最多是NV，其次是群暉、MTK，MTK起薪比較高，群暉天花板高一點
### 在台灣 Embeding 去哪間？
![](https://i.imgur.com/qjN1B2s.png)
做嵌入式系統裡，MTK天花板最高，但其薪資差異也最多，其次AWS、Google
### 在台灣 什麼公司開最高？
![](https://i.imgur.com/mWIzls2.png)
頂級外商(FAANG+NV)、MTK開的都很高
### 在台灣 什麼底薪公司開最高？
![](https://i.imgur.com/v4mnaUj.png)
MTK、瑞昱、街口、頂級外商的薪水底薪都很高
### 在台灣 新鮮人什麼公司開最高？
![](https://i.imgur.com/44n95Pq.png)
### 在台灣 新鮮人(YOE &#x3C; 1y)什麼公司底薪開最高？
![](https://i.imgur.com/4EgIPSw.png)
### 在台灣 工作型態對薪資影響
![](https://i.imgur.com/ruPEhPi.png)
### 在台灣 工作年資對薪資影響
![](https://i.imgur.com/pFTecCG.png)
### 在台灣 工作地區對薪資影響
![](https://i.imgur.com/aJovsL7.png)
中位數、p75花蓮最高
### 在台灣 學位對薪資影響
![](https://i.imgur.com/xTOjfth.png)
博士起新高、中位數高，但碩士的極端值最高，p75也最高
## Ref

</body>
</html>


[網頁互動版](https://alanhc.github.io/taiwan_jobs.html)
- 資料來源：Levels Fyi
## 台灣
### 在台灣 軟體工程師 做什麼最賺錢？
![](https://i.imgur.com/GHvjK50.png)
Android先猜應該是因為Google的關係拉高平均，Testing有點意外，Backend也是常常被提到成長幅度較大的，Networking先猜應該是網通廠MTK之類的。
AI 天花板高一點，但整體比做產品、嵌入式系統低。
### 在台灣 軟體工程師 做什麼底薪最好？
![](https://i.imgur.com/TnOjosz.png)
起薪最高Android，但成長幅度最高是Backend，但只有很少一部分

### 在台灣 Android 去哪間？


![](https://i.imgur.com/9hAIRym.png)

果然Google最高，但起薪是MTK比較高，之前不知道MTK也有Android，以前以為只有網通
從看到一些強者從Google跳槽到NV後，這張圖好像不會很意外。
這個問我爸後，原來Android不只有手機，許多如smart TV等底層很多都是Android
### 在台灣 Testing 去哪間？

![](https://i.imgur.com/pkM4DZ5.png)

原來Testing是被Apple拉高，大部分頂級外商也都有Testing職位
### 在台灣 ML/AI 去哪間？

![](https://i.imgur.com/AEGhCQZ.png)

在台灣ML給最高是Amazon，意外的是街口竟然比外商及半導體公司高
### 在台灣 Production 去哪間？

![](https://i.imgur.com/YqAGJtM.png)

產品工程師，最多是NV，其次是群暉、MTK，MTK起薪比較高，群暉天花板高一點
### 在台灣 Embeding 去哪間？
![](https://i.imgur.com/qjN1B2s.png)
做嵌入式系統裡，MTK天花板最高，但其薪資差異也最多，其次AWS、Google
### 在台灣 什麼公司開最高？
![](https://i.imgur.com/mWIzls2.png)
頂級外商(FAANG+NV)、MTK開的都很高

### 在台灣 什麼底薪公司開最高？
![](https://i.imgur.com/v4mnaUj.png)
MTK、瑞昱、街口、頂級外商的薪水底薪都很高 
### 在台灣 新鮮人什麼公司開最高？
![](https://i.imgur.com/44n95Pq.png)
### 在台灣 新鮮人(YOE < 1y)什麼公司底薪開最高？
![](https://i.imgur.com/4EgIPSw.png)
### 在台灣 工作型態對薪資影響
![](https://i.imgur.com/ruPEhPi.png)
### 在台灣 工作年資對薪資影響
![](https://i.imgur.com/pFTecCG.png)
### 在台灣 工作地區對薪資影響
![](https://i.imgur.com/aJovsL7.png)
中位數、p75花蓮最高
### 在台灣 學位對薪資影響
![](https://i.imgur.com/xTOjfth.png)
博士起新高、中位數高，但碩士的極端值最高，p75也最高
## Ref


20240211-taiwan-job-insights

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計像是『Pastebin』，一個可以讓使用者輸入文字並且取得分享鏈結的系統
## Solutions
### Step 1: Scope the Problem
- 系統不需要有帳戶功能及編輯檔案
- 系統需要追蹤頁面存取次數
- 過舊的檔案要定時刪除
- 使用者不應該很容易猜到網址
- 除了frontend 還有api
- 統計資料會顯示在stats分頁
### Step 2: Make Reasonable Assumptions
- 系統的traffic十分繁重且包含數以百萬的document
- traffic不是平均分散在不同document
### Step 3: Draw the Major Components
- 如何儲存doc?
- db
- file: 因為檔案可能很大，搜尋要比較快的話存檔案比較好
- 簡單設計方式：
```mermaid
graph TD
A(URL to File Database) --> B(server with files)
A(URL to File Database) --> C(server with files)
A(URL to File Database) --> D(server with files)
```
- db 用來存file location
- db存traffic anlysis(timestamp, IP, address and location)
### Step 4: Identify the Key Issue
- 有部分資料會被頻繁讀取，若存在檔案系統，存取會較花時間，因此可能需要cache，由於不會有更新doc，所以cache不會有資料不合法問題
- 考慮從URL建立hash map的 database sharding
- 問題：如果要新增server，如何redistribute doc?
#### Generating URLs
- 鏈結要比較難被猜到
- 使用GUID，缺點：太長
- 10碼英數混合，容易有碰撞問題
- 可以搭配資料庫查詢是否碰撞
#### Analytics
有兩個選擇
- 當每次瀏覽時存取他的rawdata
- Pros: 資料彈性
- 例子：使用log file
- 只存瀏覽次數
- 如果log資料太大？
- 用機率方式儲存log
- 熱門的url 儲存積蓄小，熱門的url可能10次才存一次log
- 可以按照月份存取總瀏覽數
### Follow-up Questions
- 如何支援帳戶
- 如何新增一個分析的property? e.g. 推薦來源
- 如果stats要顯示在每個doc，會如何改變設計？

</body>
</html>


## Question

設計像是『Pastebin』，一個可以讓使用者輸入文字並且取得分享鏈結的系統
## Solutions
### Step 1: Scope the Problem
- 系統不需要有帳戶功能及編輯檔案
- 系統需要追蹤頁面存取次數
- 過舊的檔案要定時刪除
- 使用者不應該很容易猜到網址
- 除了frontend 還有api
- 統計資料會顯示在stats分頁
### Step 2: Make Reasonable Assumptions
- 系統的traffic十分繁重且包含數以百萬的document
- traffic不是平均分散在不同document
### Step 3: Draw the Major Components
- 如何儲存doc? 
	- db
	- file: 因為檔案可能很大，搜尋要比較快的話存檔案比較好
- 簡單設計方式：

```mermaid
graph TD
A(URL to File Database) -->  B(server with files)
A(URL to File Database) -->  C(server with files)
A(URL to File Database) -->  D(server with files)
```
- db 用來存file location
- db存traffic anlysis(timestamp, IP, address and location)
### Step 4: Identify the Key Issue
- 有部分資料會被頻繁讀取，若存在檔案系統，存取會較花時間，因此可能需要cache，由於不會有更新doc，所以cache不會有資料不合法問題
- 考慮從URL建立hash map的 database sharding
	- 問題：如果要新增server，如何redistribute doc?
#### Generating URLs
- 鏈結要比較難被猜到
	- 使用GUID，缺點：太長
	- 10碼英數混合，容易有碰撞問題
		- 可以搭配資料庫查詢是否碰撞
#### Analytics
有兩個選擇
- 當每次瀏覽時存取他的rawdata
	- Pros: 資料彈性
	- 例子：使用log file
- 只存瀏覽次數
- 如果log資料太大？
	- 用機率方式儲存log
		- 熱門的url 儲存積蓄小，熱門的url可能10次才存一次log
	- 可以按照月份存取總瀏覽數
### Follow-up Questions
- 如何支援帳戶
- 如何新增一個分析的property? e.g. 推薦來源
- 如果stats要顯示在每個doc，會如何改變設計？

20240211-pastebin-design

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
如何打造一個個人金融管理系統（mint.com），可以連結銀行帳戶、分析消費習慣及推薦
## Solutions
### Step 1: Scope the Problem
跟面試官討論
- 可以建立account、可以新增多個銀行帳戶、也可以之後再加
- 可以存取金融歷史，也可以根據銀行
- 金融歷史包括收入、支出、現金、投資
- 金融交易包含類別（食物、旅遊、衣服）
- 使用者可以新增自訂類別
- 使用者會取得根據其在的消費群裡的消費推薦
- 目前只需要網站，app之後討論
- 可能需要根據特定條件使用email 通知使用者
- 使用者不能根據自訂rule對交易進行分類
- 假設類別根據銷售商店，而不是價格或日期
### Step 2: Make Reasonable Assumptions
- 新增、移除帳戶相對少用
- 系統是write-heavy，一班使用者每天都會使用，少部分一週使用一次，通常透過email進入網站
- 交易可以被使用者更改類別，但只針對單筆，而不是所有交易歷史裡同一個交易改變
- 銀行不會自動更新資料到我們系統，我們需要自行從銀行取得
- 超出預算的通知不用立即通知，可以在一天內通知即可
### Step 3: Draw the Major Components
```mermaid
graph TD
A(Bank data synchronizer) --> B(raw transcation data)
B(raw transcation data) --> C(Categorizer)
C(Categorizer) --> D(categorized transcations)
D(categorized transcations) &#x3C;--> E(Frontend)
D(categorized transcations) --> F(Budget analyer)
F(Budget analyer) --> G(Budget data)
E(Frontend) &#x3C;--> G(Budget data)
```
- 帳戶更新取決使用者使用頻率，可能每小時/每天
- 資料一開始先暫存，然後交給Categorizer分類後才存到資料庫
- Budget analyer query 分類交易，並儲存使用者的消費
- 前端存取categorized transcations及Budget data的資料，使用者可以改變Budget、類別進行不同的查詢
### Step 4: Identity the Key Issues
- 這是一個data-heavy的系統，為了讓他可以即時反應，會使用非同步（asynchronous）處理
- 有一個task queue，可能包含：擷取銀行資料、重複分析預算、分類銀行資料
- 將task 分優先順序，並確保低優先順序會執行得到
- 假設有很多人註冊不使用，那可能需要凍結或移除
- 可以非同步、使用不同server執行
#### Categorizer and Budge Analyzer
- 一瞬間可能有很多資料，可能不適合使用中心資料庫（沒效率）
- 使用檔案存取可能優於資料庫，並使用商家的名稱命名
- categorizer 流程可能如下：
```mermaid
graph TD
A(raw transcation data, group by seller) --> B(categorized data, group by user)
B(categorized data, group by user) --> C(merge &#x26; group by user &#x26; category)
B(categorized data, group by user) --> E(update categorized transcations)
C(merge &#x26; group by user &#x26; category) --> D(update budges)
```
- 根據商家分類資料，有可能存在cache
- 再根據使用者group，這些交易再根據使用者新增進資料庫
- 原本：商家>使用者、price、日期
- 處理完：使用者>商家>類別>price、日期
#### User Changing Categories
- 重新計算類別，並且找尋該使用者之前的記錄修改
### Follow up
- 如果要讓他可以支援mobile app，要怎麼設計？
- 如何設計一個component將item 分類
- 如何設計推薦預算的feature
- 使用者若要可以自訂rule分類交易商家，要怎麼做？

</body>
</html>


## Question

如何打造一個個人金融管理系統（mint.com），可以連結銀行帳戶、分析消費習慣及推薦
## Solutions
### Step 1: Scope the Problem
跟面試官討論
- 可以建立account、可以新增多個銀行帳戶、也可以之後再加
- 可以存取金融歷史，也可以根據銀行
- 金融歷史包括收入、支出、現金、投資
- 金融交易包含類別（食物、旅遊、衣服）
- 使用者可以新增自訂類別
- 使用者會取得根據其在的消費群裡的消費推薦
- 目前只需要網站，app之後討論
- 可能需要根據特定條件使用email 通知使用者
- 使用者不能根據自訂rule對交易進行分類
- 假設類別根據銷售商店，而不是價格或日期
### Step 2: Make Reasonable Assumptions
- 新增、移除帳戶相對少用
- 系統是write-heavy，一班使用者每天都會使用，少部分一週使用一次，通常透過email進入網站
- 交易可以被使用者更改類別，但只針對單筆，而不是所有交易歷史裡同一個交易改變
- 銀行不會自動更新資料到我們系統，我們需要自行從銀行取得
- 超出預算的通知不用立即通知，可以在一天內通知即可
### Step 3: Draw the Major Components

```mermaid
graph TD
A(Bank data synchronizer) -->  B(raw transcation data)
B(raw transcation data) --> C(Categorizer)
C(Categorizer) --> D(categorized transcations)
D(categorized transcations) <--> E(Frontend)
D(categorized transcations) --> F(Budget analyer)
F(Budget analyer) --> G(Budget data) 
E(Frontend) <--> G(Budget data) 
```
- 帳戶更新取決使用者使用頻率，可能每小時/每天
- 資料一開始先暫存，然後交給Categorizer分類後才存到資料庫
- Budget analyer query 分類交易，並儲存使用者的消費
- 前端存取categorized transcations及Budget data的資料，使用者可以改變Budget、類別進行不同的查詢
### Step 4: Identity the Key Issues
- 這是一個data-heavy的系統，為了讓他可以即時反應，會使用非同步（asynchronous）處理
- 有一個task queue，可能包含：擷取銀行資料、重複分析預算、分類銀行資料
- 將task 分優先順序，並確保低優先順序會執行得到
- 假設有很多人註冊不使用，那可能需要凍結或移除
- 可以非同步、使用不同server執行
#### Categorizer and Budge Analyzer
- 一瞬間可能有很多資料，可能不適合使用中心資料庫（沒效率）
- 使用檔案存取可能優於資料庫，並使用商家的名稱命名
- categorizer 流程可能如下：
```mermaid
graph TD
A(raw transcation data, group by seller) -->  B(categorized data, group by user)
B(categorized data, group by user) --> C(merge & group by user & category)
B(categorized data, group by user) --> E(update categorized transcations)
C(merge & group by user & category) --> D(update budges)
```
- 根據商家分類資料，有可能存在cache
- 再根據使用者group，這些交易再根據使用者新增進資料庫
- 原本：商家>使用者、price、日期
- 處理完：使用者>商家>類別>price、日期
#### User Changing Categories
- 重新計算類別，並且找尋該使用者之前的記錄修改
### Follow up
- 如果要讓他可以支援mobile app，要怎麼設計？
- 如何設計一個component將item 分類
- 如何設計推薦預算的feature
- 使用者若要可以自訂rule分類交易商家，要怎麼做？

20240207-personal-finanicial-manager

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計一個有多類別的產品ranking網站
## Solutions
### Step 1 Scope the problem
- 只跟問題相關、而不是整個系統，包含前端及購買component
- 定義什麼是salesrank，包含前天、上週、上個月
- 假設有多個類別，且不會有子類別
### Step 2 Make Reasonable Assumptions
- 假設不用更新全部資料
- 熱門商品數字要精確、不熱門的可以不用那麼精確
- 熱門資料要每小時更新，其餘的超過7天不用很精確
### Step 3 Draw the Major Component
```mermaid
graph LR
A(Purchase System) --> |orders added to db| B(Database)
B(Database) --> |sort| C(Salesrank Data)
C(Salesrank Data) --> D(Frontend)
A(Purchase System) --> B(Database)
C(Salesrank Data) --> D(Frontend)
```
### Step 4 Identity the Key Issues
- 分析非常昂貴
- 若把資料全部存在一個表，每天會區要更新，所以可以拆分成ID+日期
- example
| Prod ID | Total | Sun | Mon |
| ---- | ---- | ---- | ---- |
| | | | |
| | | | |
| Prod ID | Cat ID |
| --- | --- |
| | |
- 資料庫被頻繁寫入
- 可能會需要batch write，在之前可能先cache在某種memory，但要考慮是否能放進hash table，假設有1000萬筆資料...
- 注意更新sales rank與資料寫入的時間，確保不會有偏差
- join 查詢非常貴
- 與其先將資料裡每個類別sort過再join，會花很多時間，不如一開始使用資料格式
| Prod ID | Cat | Total | Sun | Mon |
| ---- | ---- | ---- | ---- | ---- |
| | | | | |
| | | | | |
| | | | | |
- 資料庫查詢很昂貴
- 如果write/search很昂貴可以使用類似log file像是map reduce
- 每個query使用檔案及資料夾分類
#### Follower up
- 你如何會碰到接下來的bottleneck，如何解釋？
- 如果有子類別？
- 如果資料要很準確，達到30min內都是精確的

</body>
</html>


## Question
設計一個有多類別的產品ranking網站
## Solutions
### Step 1 Scope the problem
- 只跟問題相關、而不是整個系統，包含前端及購買component
- 定義什麼是salesrank，包含前天、上週、上個月
- 假設有多個類別，且不會有子類別
### Step 2 Make Reasonable Assumptions
- 假設不用更新全部資料
- 熱門商品數字要精確、不熱門的可以不用那麼精確
- 熱門資料要每小時更新，其餘的超過7天不用很精確
### Step 3 Draw the Major Component
```mermaid
graph LR
A(Purchase System) --> |orders added to db| B(Database)
B(Database) --> |sort| C(Salesrank Data)
C(Salesrank Data) --> D(Frontend)
A(Purchase System) --> B(Database)
C(Salesrank Data) --> D(Frontend) 
```
### Step 4 Identity the Key Issues
- 分析非常昂貴
	- 若把資料全部存在一個表，每天會區要更新，所以可以拆分成ID+日期
	- example

| Prod ID | Total | Sun | Mon |
| ---- | ---- | ---- | ---- |
|  |  |  |  |
|  |  |  |  |

| Prod ID | Cat ID |
| --- | --- |
|  |  |
- 資料庫被頻繁寫入
	- 可能會需要batch write，在之前可能先cache在某種memory，但要考慮是否能放進hash table，假設有1000萬筆資料...
	- 注意更新sales rank與資料寫入的時間，確保不會有偏差
- join 查詢非常貴
	- 與其先將資料裡每個類別sort過再join，會花很多時間，不如一開始使用資料格式

| Prod ID | Cat | Total | Sun | Mon |
| ---- | ---- | ---- | ---- | ---- |
|  |  |  |  |  |
|  |  |  |  |  |
|  |  |  |  |  |
- 資料庫查詢很昂貴
	- 如果write/search很昂貴可以使用類似log file像是map reduce
		- 每個query使用檔案及資料夾分類
#### Follower up
- 你如何會碰到接下來的bottleneck，如何解釋？
- 如果有子類別？
- 如果資料要很準確，達到30min內都是精確的


20240205-salesrank-design

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

[Python自動化交易](https://youtu.be/eDolz-_Ls4o?si=SWWnmwDFPey1cUHS)
https://www.xq.com.tw/XQlite-Download.aspx
https://ithelp.ithome.com.tw/users/20129306/ironman/3071?page=2
## Ref

</body>
</html>


[Python自動化交易](https://youtu.be/eDolz-_Ls4o?si=SWWnmwDFPey1cUHS)
https://www.xq.com.tw/XQlite-Download.aspx
https://ithelp.ithome.com.tw/users/20129306/ironman/3071?page=2
## Ref


20240203-trading-bot

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- [Elizabeth Sloane](https://www.imdb.com/name/nm1567113/?ref_=tt_ch) : Lobbying is about foresight. About anticipating your opponent's moves and devising counter measures. The winner plots one step ahead of the opposition. And plays her trump card just after they play theirs. It's about making sure you surprise them. And they don't surprise you.
- [Cynthia](https://www.imdb.com/name/nm2543501/?ref_=tt_ch) : That is so cynical
[Elizabeth Sloane](https://www.imdb.com/name/nm1567113/?ref_=tt_ch) : Cynical is a word used by Pollyannas to denote an absence of the naiveté they so keenly exhibit.
## Ref

</body>
</html>


- [Elizabeth Sloane](https://www.imdb.com/name/nm1567113/?ref_=tt_ch) : Lobbying is about foresight. About anticipating your opponent's moves and devising counter measures. The winner plots one step ahead of the opposition. And plays her trump card just after they play theirs. It's about making sure you surprise them. And they don't surprise you.
-  [Cynthia](https://www.imdb.com/name/nm2543501/?ref_=tt_ch) : That is so cynical
    [Elizabeth Sloane](https://www.imdb.com/name/nm1567113/?ref_=tt_ch) : Cynical is a word used by Pollyannas to denote an absence of the naiveté they so keenly exhibit.

## Ref


quotes

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
再設計爬蟲時，如何避免無限迴圈
## Solutions
問題：無限迴圈何時發生？因為我們將鏈結化作graph，所以有可能有無限迴圈，有可能使用`hashtable[v]=true`及BFS ，但v怎麼設定？
但遇到URL parameters可能會有問題，比如example.com?pid=google及example.com?pid=apple可能是不同，但example.com?foo=hi 跟example.com是相同網頁
根據內容？使用 相似度，首先爬取children，計算子頁相似度極優先度，如下
1. 開啟網頁、建立page signature根據 頁面、url
2. query database看簽名是否最近被爬取過
3. 如果有，新增到db到low priority
4. 如果沒有，爬取網頁並新增資料庫

</body>
</html>


## Question
再設計爬蟲時，如何避免無限迴圈


## Solutions
問題：無限迴圈何時發生？因為我們將鏈結化作graph，所以有可能有無限迴圈，有可能使用`hashtable[v]=true`及BFS ，但v怎麼設定？
但遇到URL parameters可能會有問題，比如example.com?pid=google及example.com?pid=apple可能是不同，但example.com?foo=hi 跟example.com是相同網頁
根據內容？使用 相似度，首先爬取children，計算子頁相似度極優先度，如下
1. 開啟網頁、建立page signature根據 頁面、url
2. query database看簽名是否最近被爬取過
3. 如果有，新增到db到low priority
4. 如果沒有，爬取網頁並新增資料庫


20240125-web_srawler_design

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
如何儲存1000萬的url，每個字4 byte、頁面平均100字，這樣大約會有4TB
## Solutions
### Solution 1: Disk Storage
使用two pass
first pass: 將URL hash 儲存，分成 每個1G，共4000chunk，儲存URL u到`
<div>
  .txt`
  `
  <div>
    .txt where x = hash(u%4000)`
    second pass: 讀入memory、建立hash table、尋找重複
    ### Solution 2: Multiple Machines
    跟two pass一樣，只是在不同機器
    - Pros
    - 可以平行處理，對大型資料效率佳
    - Cons
    - 複雜、維護多個機器困難
  </div>
</div>

</body>
</html>


## Question
如何儲存1000萬的url，每個字4 byte、頁面平均100字，這樣大約會有4TB


## Solutions

### Solution 1: Disk Storage
使用two pass
first pass: 將URL hash 儲存，分成 每個1G，共4000chunk，儲存URL u到`<x>.txt`
`<x>.txt where x = hash(u%4000)`
second pass: 讀入memory、建立hash table、尋找重複
### Solution 2: Multiple Machines
跟two pass一樣，只是在不同機器
- Pros
	- 可以平行處理，對大型資料效率佳
- Cons
	- 複雜、維護多個機器困難


20240125-duplicate-url-design

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計一個簡單搜尋引擎的webserver，假設系統有100台機器負責回應queries，有個昂貴的function，processSearch(string query)，機器的選擇是隨機的，同一台機器回應可能會不一樣，請設計最相關queries的caching機制，請解釋當資料改變時如何更新cache
## Solutions
與面試官討論假設
### Assumptions
沒有最正確的答案
- 所有的query 發生在機器最初呼叫時
- cache的queries要有百萬等級
- 在機器間呼叫要相對快
- 結果是order list，並且有50字以內title及200字summary
- 最熱門的會極端熱門，而且隨時都應該在cache
### System Requirements
- 根據key有效檢索
- 過期舊資料應該被刪除
### Step 1 design a cache for a single system
如何有效根據key新增及刪除資料？
- lined list 可以有效快速刪除特定節點、限制長度
- hashtable可以有效找尋data
使用hashmap map query 到特定node
### Step 2 Expand to many machines
#### Option 1: Each machine has its own cache
- Pros
- 相對快、因為沒有machine-to-machine call
- Cons
- 如果有很多重複的query會很沒有效率
#### Option 2: Each machine has a copy of the cache
- Pros
- 在cache一定會找得到
- Cons
- 更新、佔用空間大、cache總數會較小
#### Option 3: Each machine stores a segment of the cache
根據 `hash(query)%N`
- Pros
- 相對可儲存多
- Cons
- 增加machine-to-machine call
### Step 3 Updating results when contents change
數量大、太熱門會需要時間快取或按照需求快取(和interviewer討論)
確認什麼時候資料會怎麼改變
1. URL 裡面內容 改變
2. 根據page ranking改變
3. 根據特定query改變
1,2 可以使用hash table，根據特定URL cache query
資料不需同步的話，可以根據時間爬取
3 可以再快取裡面使用 auto-matic time out，只cache特定時間，否則timeout，可以確保資料定時更新
### Step 4: Further Enhancements
轉送情形可以在中間節點cache
重新設計架構，不是隨機導流，而是使用hash
導入資料time out機制，刪除過久資料

</body>
</html>


## Question
設計一個簡單搜尋引擎的webserver，假設系統有100台機器負責回應queries，有個昂貴的function，processSearch(string query)，機器的選擇是隨機的，同一台機器回應可能會不一樣，請設計最相關queries的caching機制，請解釋當資料改變時如何更新cache

## Solutions
與面試官討論假設
### Assumptions
沒有最正確的答案
- 所有的query 發生在機器最初呼叫時
- cache的queries要有百萬等級
- 在機器間呼叫要相對快
- 結果是order list，並且有50字以內title及200字summary
- 最熱門的會極端熱門，而且隨時都應該在cache
### System Requirements
- 根據key有效檢索
- 過期舊資料應該被刪除
### Step 1 design a cache for a single system
如何有效根據key新增及刪除資料？
- lined list 可以有效快速刪除特定節點、限制長度
- hashtable可以有效找尋data
使用hashmap map query 到特定node
### Step 2 Expand to many machines
#### Option 1: Each machine has its own cache
- Pros
	- 相對快、因為沒有machine-to-machine call
- Cons
	- 如果有很多重複的query會很沒有效率
#### Option 2: Each machine has a copy of the cache
- Pros
	- 在cache一定會找得到
- Cons
	- 更新、佔用空間大、cache總數會較小
#### Option 3: Each machine stores a segment of the cache
根據 `hash(query)%N`
- Pros
	- 相對可儲存多
- Cons
	- 增加machine-to-machine call
### Step 3 Updating results when contents change
數量大、太熱門會需要時間快取或按照需求快取(和interviewer討論)
確認什麼時候資料會怎麼改變
1. URL 裡面內容 改變
2. 根據page ranking改變
3. 根據特定query改變
1,2 可以使用hash table，根據特定URL cache query
資料不需同步的話，可以根據時間爬取
3 可以再快取裡面使用 auto-matic time out，只cache特定時間，否則timeout，可以確保資料定時更新
### Step 4: Further Enhancements
轉送情形可以在中間節點cache
重新設計架構，不是隨機導流，而是使用hash
導入資料time out機制，刪除過久資料


20240125-cache-design

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

今日看到好玩的東西，改天有時間來玩
## Ref
- https://github.com/g1879/DrissionPage

</body>
</html>


今日看到好玩的東西，改天有時間來玩
## Ref
- https://github.com/g1879/DrissionPage

20240124-break-cloudflare-bot-prevention

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

論文研究如何避免黃牛的賣票策略，其實也順便研究了黃牛
## 黃牛訪談影片
[【紀錄片】黃牛末日？直擊台灣黃牛產業鏈 - 第九人稱](https://youtu.be/m2gGWCkKkIM?si=0T8543LItJcNVrY7)
[【國昌直播】看看上週立法院在做什麼_0410 ｜連線前黃牛](https://www.youtube.com/live/cskG3nfWXjs?si=Tth1Bfr-loNKDAGM)
## bot
https://github.com/max32002/tixcraft_bot?tab=readme-ov-file
## Ref

</body>
</html>


論文研究如何避免黃牛的賣票策略，其實也順便研究了黃牛

## 黃牛訪談影片
[【紀錄片】黃牛末日？直擊台灣黃牛產業鏈 - 第九人稱](https://youtu.be/m2gGWCkKkIM?si=0T8543LItJcNVrY7)
[【國昌直播】看看上週立法院在做什麼_0410 ｜連線前黃牛](https://www.youtube.com/live/cskG3nfWXjs?si=Tth1Bfr-loNKDAGM)
## bot
https://github.com/max32002/tixcraft_bot?tab=readme-ov-file
## Ref


20240123-scalper

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Question
設計一個可以有1000 client 可以取得最後的開高收低，已經有資料、可以自行決定儲存，要怎麼設計client說明幾種不同的方法及為甚麼使用，可以用任意技術及可以選擇任意分散機制
## Solutions
先考慮以下幾點
- Client Ease of use: 對顧客使用簡單且有用
- Ease for Our selves: 對我們來說好實作且好維護
- Flexibility for future demand: 如何根據真實世界需求彈性調整
- Scalability and Efficiency: 注意解決有效性
### Propsal 1 file
使用簡單text file，且讓顧客透過FTP下載
- Pros
- 簡單好維護、方便閱讀、備份
- Cons
- 搜尋、排序困難
- 新增資料會break paring mechanism
### Propsal 2 SQL
- Pros
- 方便查詢且有效率
- rolling back, backing up, security 已經有，不用重新造輪子
- 方便整合現有應用，因為SQL幾乎是軟體開發標準
- Cons
- 笨重，會複雜化系統
- 人類難閱讀
- 對於client要注意、不該給的權限、使否執行昂貴、沒效率的queries
### Propsal 3 XML
- Pros
- easy to distirbute, 對機器、人類好閱讀
- 大部分程式都支援XML
- 很好新增 插入
- 有很多工具可以back up
- Cons
- 執行query 需要取得全部data
- client 會有全部資料，會沒有效率
沒有正確的答案，雖然看起來file的做法最不好，每種方法都有trade off
## Ref

</body>
</html>


## Question
設計一個可以有1000 client 可以取得最後的開高收低，已經有資料、可以自行決定儲存，要怎麼設計client說明幾種不同的方法及為甚麼使用，可以用任意技術及可以選擇任意分散機制
## Solutions
先考慮以下幾點
- Client Ease of use: 對顧客使用簡單且有用
- Ease for Our selves: 對我們來說好實作且好維護
- Flexibility for future demand: 如何根據真實世界需求彈性調整
- Scalability and Efficiency: 注意解決有效性 
### Propsal 1 file
使用簡單text file，且讓顧客透過FTP下載
- Pros
	- 簡單好維護、方便閱讀、備份
- Cons
	- 搜尋、排序困難
	- 新增資料會break paring mechanism
### Propsal 2 SQL
- Pros
	- 方便查詢且有效率
	- rolling back, backing up, security 已經有，不用重新造輪子
	- 方便整合現有應用，因為SQL幾乎是軟體開發標準
- Cons
	- 笨重，會複雜化系統
	- 人類難閱讀
	- 對於client要注意、不該給的權限、使否執行昂貴、沒效率的queries
### Propsal 3 XML
- Pros
	- easy to distirbute, 對機器、人類好閱讀
	- 大部分程式都支援XML
	- 很好新增 插入
	- 有很多工具可以back up 
- Cons
	- 執行query 需要取得全部data
	- client 會有全部資料，會沒有效率
沒有正確的答案，雖然看起來file的做法最不好，每種方法都有trade off


## Ref


20240122-stock-data

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
- https://www.youtube.com/watch?v=hT6A8zRn0Ck&#x26;t=31s&#x26;ab_channel=%E9%82%8A%E7%B7%A3%E4%BA%BA%E7%9A%84%E5%9E%83%E5%9C%BE%E6%A1%B6

</body>
</html>



## Ref
- https://www.youtube.com/watch?v=hT6A8zRn0Ck&t=31s&ab_channel=%E9%82%8A%E7%B7%A3%E4%BA%BA%E7%9A%84%E5%9E%83%E5%9C%BE%E6%A1%B6


20240122-ntu-cool-video-download

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

[Voice Control for ChatGPT](https://chromewebstore.google.com/detail/voice-control-for-chatgpt/eollffkcakegifhacjnlnegohfdlidhn)
## Ref
- https://youtu.be/UPh0iQbg4iU?si=WVHhbe66odXGZaUK

</body>
</html>


[Voice Control for ChatGPT](https://chromewebstore.google.com/detail/voice-control-for-chatgpt/eollffkcakegifhacjnlnegohfdlidhn)

## Ref
- https://youtu.be/UPh0iQbg4iU?si=WVHhbe66odXGZaUK

沒環境講英文？如何跟 ChatGPT 對話，快速加強口說

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- https://github.com/alanhc/bot/blob/main/instagram.ipynb
## Ref
https://youtu.be/iJGvYBH9mcY?si=lVPMP3EG68ppn5y_

</body>
</html>


- https://github.com/alanhc/bot/blob/main/instagram.ipynb
## Ref
https://youtu.be/iJGvYBH9mcY?si=lVPMP3EG68ppn5y_

20240121-Web-Scraping-Instagram-with-Selenium

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

- 一開始看到
- [The KK Show - 187 中共網軍的敵人 - 沈伯洋](https://youtu.be/Da2LDllZjHQ?si=KfYkfcB_ok7PZ_VH)
- [【賀瓏夜夜秀】沈伯洋 被攻擊炎上是榮幸](https://youtu.be/eiBJmdjTOwU?si=HhDiyqeQFqkg7MT_)
- [The KK Show - 34 小粉紅殺手 - 沈伯洋（助理）教授](https://youtu.be/XCBjCtCNcSQ?si=MRj2qceUZOXN-jqd)
- 攻敵必救、遊說、關鍵人物、
- [網軍常見手法全面解析，製造網路恐懼效應，應立法管制嗎？【時事評判】](https://youtu.be/NSt4RUKkkik?si=U-urp9djmwXdl-KR)
- 相關文章
- [【滲透測試LAB】如何使用OSINT - SpiderFoot 執行情蒐](https://minmin0625.medium.com/滲透測試lab-如何使用osint-spiderfoot-執行情蒐-425de6e9198c)
- [肉搜神器theHarvester　學APT攻擊找開源情資](https://www.netadmin.com.tw/netadmin/zh-tw/technology/E6BE51392849415BA8F586310A091CA5)
https://www.nss.com.tw/socialmarketing/product/ptt%E9%96%8B%E6%96%87%E4%B8%80%E9%96%8B%E4%BA%94%E5%9B%9E%E6%AF%8F%E7%AF%87/
https://sectools.tw/sherlock/
[簡單操作 Facebook 爬蟲：Facebook scraper 套件介紹](https://vocus.cc/article/63cd303ffd89780001d86678)
https://github.com/kevinzg/facebook-scraper
https://github.com/topics/osint
https://github.com/topics/osint-tools
https://github.com/jivoi/awesome-osint
https://github.com/alishahlakhani/Facebook-comments-exporter-chrome-extension/blob/master/src/scripts/background.js: 擷取facebook comments
https://www.youtube.com/watch?v=2MJt1dTqbPk&#x26;ab_channel=%E5%B0%8FLin%E8%AF%B4: 擷取facebook comments
## sherlock (從帳號名稱找註冊網站)
- 可以使用
https://github.com/sherlock-project/sherlock
## Twint （從twitter找貼文）
- 不確定是否可以使用
Analyzing Tweets with NLP in minutes with Spark, Optimus and Twint
[How to use Twint as an OSINT tool](https://pielco11.ovh/posts/twint-osint/)
## Osintagram (Instagram osint工具)
- 可以使用
https://github.com/Datalux/Osintgram?tab=readme-ov-file
## Ref

</body>
</html>


- 一開始看到
	- [The KK Show - 187 中共網軍的敵人 - 沈伯洋](https://youtu.be/Da2LDllZjHQ?si=KfYkfcB_ok7PZ_VH)
	- [【賀瓏夜夜秀】沈伯洋 被攻擊炎上是榮幸](https://youtu.be/eiBJmdjTOwU?si=HhDiyqeQFqkg7MT_)
	- [The KK Show - 34 小粉紅殺手 - 沈伯洋（助理）教授](https://youtu.be/XCBjCtCNcSQ?si=MRj2qceUZOXN-jqd)
	- 攻敵必救、遊說、關鍵人物、
	- [網軍常見手法全面解析，製造網路恐懼效應，應立法管制嗎？【時事評判】](https://youtu.be/NSt4RUKkkik?si=U-urp9djmwXdl-KR)
- 相關文章
	- [【滲透測試LAB】如何使用OSINT - SpiderFoot 執行情蒐](https://minmin0625.medium.com/滲透測試lab-如何使用osint-spiderfoot-執行情蒐-425de6e9198c)
	- [肉搜神器theHarvester　學APT攻擊找開源情資](https://www.netadmin.com.tw/netadmin/zh-tw/technology/E6BE51392849415BA8F586310A091CA5)
https://www.nss.com.tw/socialmarketing/product/ptt%E9%96%8B%E6%96%87%E4%B8%80%E9%96%8B%E4%BA%94%E5%9B%9E%E6%AF%8F%E7%AF%87/
https://sectools.tw/sherlock/

[簡單操作 Facebook 爬蟲：Facebook scraper 套件介紹](https://vocus.cc/article/63cd303ffd89780001d86678)
https://github.com/kevinzg/facebook-scraper
https://github.com/topics/osint
https://github.com/topics/osint-tools
https://github.com/jivoi/awesome-osint
https://github.com/alishahlakhani/Facebook-comments-exporter-chrome-extension/blob/master/src/scripts/background.js: 擷取facebook comments
https://www.youtube.com/watch?v=2MJt1dTqbPk&ab_channel=%E5%B0%8FLin%E8%AF%B4: 擷取facebook comments
## sherlock (從帳號名稱找註冊網站)
- 可以使用
https://github.com/sherlock-project/sherlock

## Twint （從twitter找貼文）
- 不確定是否可以使用
Analyzing Tweets with NLP in minutes with Spark, Optimus and Twint
[How to use Twint as an OSINT tool](https://pielco11.ovh/posts/twint-osint/)

## Osintagram (Instagram osint工具)
- 可以使用
https://github.com/Datalux/Osintgram?tab=readme-ov-file

## Ref


20240119-OSINT

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

在台灣，跟商品有關的統計資料價格大約一年100w (客製化程度不同)
統計資訊包含 競品分析 競爭對手售價 客製化報告等等
why? 品牌商想知道自己跟對手銷售情形
線上臨售 -(raw)-> OO Corp. -(客製化分析報告)-> 商品品牌
台灣市場規模不大
馬來西亞 數值輸入 -> 台灣整理+分析
加拿大 diploma -> 美國工作
## Ref
- 跟別人聊天

</body>
</html>


在台灣，跟商品有關的統計資料價格大約一年100w (客製化程度不同)
統計資訊包含 競品分析 競爭對手售價 客製化報告等等
why? 品牌商想知道自己跟對手銷售情形
線上臨售 -(raw)-> OO Corp. -(客製化分析報告)-> 商品品牌
台灣市場規模不大
馬來西亞 數值輸入 -> 台灣整理+分析 
加拿大 diploma  -> 美國工作
## Ref
- 跟別人聊天


20240114-product-insight

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

以下內容為該影片的筆記：
中國經濟變差 政府監管 員工信心
全球資產配置 美股 賺美元全權資產配置
大廠 推行要一年
大廠大家做得跟核心業務沒關
數據 有博士會有加成、做得好不需要博士、性價比不高
有用的DS?
第一份工作很重要 拿到最好的工作
儘早感受真實世界在想什麼比較重要
面試
business sense
統計、SQL、python、analyical、business（商業問題化成數據可解決）、product sense（找重點）
1. 有沒有思考足夠多的trade-off
2. 有沒有把東西推到落地
3. 這個方法的理解是否是本質的理解
ＤＳ學徒制學習
統計理論很重要
Scientist：用科學方法論理解世界、data &#x26; model 只是輔助
ML scientist pay 會多一些 很多聰明人擠 apply跟發揮價值很少
懂業務的analytics非常少
## Ref
- https://youtu.be/A8GWS00nYDQ?si=mv4ORUgu4cxO45d1

</body>
</html>


以下內容為該影片的筆記：

中國經濟變差 政府監管 員工信心

全球資產配置 美股 賺美元全權資產配置

大廠 推行要一年

大廠大家做得跟核心業務沒關

數據 有博士會有加成、做得好不需要博士、性價比不高

有用的DS?

第一份工作很重要 拿到最好的工作

儘早感受真實世界在想什麼比較重要

面試

business sense

統計、SQL、python、analyical、business（商業問題化成數據可解決）、product sense（找重點）

1. 有沒有思考足夠多的trade-off
2. 有沒有把東西推到落地
3. 這個方法的理解是否是本質的理解

ＤＳ學徒制學習

統計理論很重要

Scientist：用科學方法論理解世界、data & model 只是輔助

ML scientist pay 會多一些 很多聰明人擠 apply跟發揮價值很少

懂業務的analytics非常少
## Ref
- https://youtu.be/A8GWS00nYDQ?si=mv4ORUgu4cxO45d1


20240113-data-pay

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

公司 → 搶奪注意力
太多分心事
- 克服
- 決心、自我反省
why? 手機成癮
多巴安 → 採取行動獲得獎勵
看手機→獎勵→空虛 （重複）久了會疲乏 →思考力下降 高度專注任務難以進行 因為需要相同刺激
多巴安排毒 = 減少外在刺激
1. （激烈）24-48 小時內 斷絕 網路 社群媒體 手機遊戲 ，使用散步 冥想替代
2. 部分排毒：找出最容易分心刺激來源，有意識限制，減少使用時間
1. 找出最容易成癮的 逛網購、短影音
2. 找出想分析原因 戒掉衝動 想為什麼想滑？吸引？當下事情太困難
3. 解決可以解決當前問題的替換事項 找到有停止點的替換事項 e.g. 書 拉筋 放鬆 保持客觀、不批判 感受情緒
4. 延遲享樂 自我控制
1. 現代 太習慣立即性獎賞
2. 滑手機 太習慣立即性想法 影響人際 思考現在的事情對長遠影響 好的留不好的改
5. 有意識計劃每一天：減少分心
1. 早晨看 計畫 e.g. notion ，而不是看email等 → 都在處理別人事情的陷阱
2. 明確的目標、計畫
3. 把零碎時間填滿
## Ref
- https://youtu.be/gvOOgqcpbvU?si=GVwLMdc0DqtdpWC2

</body>
</html>


公司 → 搶奪注意力

太多分心事

- 克服
    - 決心、自我反省

why? 手機成癮

多巴安 → 採取行動獲得獎勵

看手機→獎勵→空虛 （重複）久了會疲乏 →思考力下降 高度專注任務難以進行 因為需要相同刺激

多巴安排毒 = 減少外在刺激

1. （激烈）24-48 小時內 斷絕 網路 社群媒體 手機遊戲 ，使用散步 冥想替代
2. 部分排毒：找出最容易分心刺激來源，有意識限制，減少使用時間
    1. 找出最容易成癮的 逛網購、短影音
    2. 找出想分析原因 戒掉衝動 想為什麼想滑？吸引？當下事情太困難
    3. 解決可以解決當前問題的替換事項 找到有停止點的替換事項 e.g. 書 拉筋 放鬆 保持客觀、不批判 感受情緒
    4. 延遲享樂 自我控制
        1. 現代 太習慣立即性獎賞
        2. 滑手機 太習慣立即性想法 影響人際 思考現在的事情對長遠影響 好的留不好的改
    5. 有意識計劃每一天：減少分心
        1. 早晨看 計畫 e.g. notion ，而不是看email等 → 都在處理別人事情的陷阱
        2. 明確的目標、計畫
        3. 把零碎時間填滿

## Ref
- https://youtu.be/gvOOgqcpbvU?si=GVwLMdc0DqtdpWC2

20240108-attention

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

使用這套件可以讓notion嵌入到網站
因為不能使用iframe 將notion嵌入，而大多數的solution都要付費
## Ref
- https://github.com/NotionX/react-notion-x
- https://github.com/NotionX/react-notion-x/tree/master/examples/minimal

</body>
</html>


使用這套件可以讓notion嵌入到網站
因為不能使用iframe 將notion嵌入，而大多數的solution都要付費
## Ref
- https://github.com/NotionX/react-notion-x
- https://github.com/NotionX/react-notion-x/tree/master/examples/minimal

20240107-notion-websire

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

https://signal.org/blog/facebook-messenger/
https://github.com/signalapp/libsignal-protocol-javascript
## Ref
https://socket.io/docs/v4/tutorial/ending-notes

</body>
</html>


https://signal.org/blog/facebook-messenger/
https://github.com/signalapp/libsignal-protocol-javascript
## Ref
https://socket.io/docs/v4/tutorial/ending-notes

20231222-socket-io

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## 先請AI生成資料
### prompt
```text
請生成三組男女，各有各的自我介紹，僅說明自己，這個叫做content 請將這三組男女配對 用第一個使用者去敘述他配對的對象，這叫做mate 生成以上敘述的json資料，共會有六筆，有mate, content, gender, wish_gender欄位
```
### 回傳
```json
{
"mate":"我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。",
"content":"我是一名 25 歲的男性軟體工程師。我喜歡閱讀、寫作和旅行。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。",
"gender":"male",
"wish_gender":"female"
},
{
"mate":"我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。",
"content":"我是一名 24 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。",
"gender":"female",
"wish_gender":"male"
},
{
"mate":"我心目中的理想伴侶是一個溫柔、體貼、有愛心的女性。她應該是一個善解人意，能夠包容我的人。她應該也是一個有愛心的女性，能夠與我一起去關愛他人。",
"content":"我是一名 26 歲的男性律師。我喜歡運動、打球和聽音樂。我是一個溫柔、體貼、有愛心的人，希望找到一個和我一樣的人。",
"gender":"male",
"wish_gender":"female"
},
{
"mate":"我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。",
"content":"我是一名 25 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。",
"gender":"female",
"wish_gender":"male"
},
{
"mate":"我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。",
"content":"我是一名 26 歲的男性軟體工程師。我喜歡運動、打球和聽音樂。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。",
"gender":"male",
"wish_gender":"female"
}
```
## Vector Database
```python
%load_ext dotenv
%dotenv
import weaviate, os
# Connect with Weaviate Embedded
client = weaviate.connect_to_embedded(
version="1.22.4",
headers={
"X-OpenAI-Api-Key": os.environ[
"OPENAI_API_KEY"
], # Replace with your inference API key
},
)
client.is_ready()
```
```python
import weaviate.classes as wvc
if client.collections.exists("Dating"):
client.collections.delete("Dating")
client.collections.create(
name="Dating",
vectorizer_config=wvc.Configure.Vectorizer.text2vec_openai(), # wvc.Configure.Vectorizer.text2vec_cohere()
)
```
### Insert
```python
questions = client.collections.get("Dating")
questions.data.insert_many(data)
```
## search
```python
print(data[0]["mate"])
from weaviate.classes import Filter
response = questions.query.hybrid(
data[0]["mate"],
alpha=0.7,
filters=(
Filter("gender").equal(data[0]["wish_gender"])
&#x26; (
Filter("wish_gender").equal(data[0]["gender"])
| Filter("wish_gender").equal("others")
)
),
limit=2,
)
for item in response.objects:
print(item.properties)
```
```text
我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。 {'mate': '我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。', 'wish_gender': 'others', 'gender': 'female', 'content': '我是一名 25 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。'} {'content': '我是一名 24 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。', 'wish_gender': 'male', 'gender': 'female', 'mate': '我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。'}
```
## Ref
-

</body>
</html>


## 先請AI生成資料
### prompt
```text
請生成三組男女，各有各的自我介紹，僅說明自己，這個叫做content 請將這三組男女配對 用第一個使用者去敘述他配對的對象，這叫做mate 生成以上敘述的json資料，共會有六筆，有mate, content, gender, wish_gender欄位
```
### 回傳
```json
{
   "mate":"我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。",
   "content":"我是一名 25 歲的男性軟體工程師。我喜歡閱讀、寫作和旅行。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。",
   "gender":"male",
   "wish_gender":"female"
},
{
   "mate":"我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。",
   "content":"我是一名 24 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。",
   "gender":"female",
   "wish_gender":"male"
},
{
   "mate":"我心目中的理想伴侶是一個溫柔、體貼、有愛心的女性。她應該是一個善解人意，能夠包容我的人。她應該也是一個有愛心的女性，能夠與我一起去關愛他人。",
   "content":"我是一名 26 歲的男性律師。我喜歡運動、打球和聽音樂。我是一個溫柔、體貼、有愛心的人，希望找到一個和我一樣的人。",
   "gender":"male",
   "wish_gender":"female"
},
{
   "mate":"我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。",
   "content":"我是一名 25 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。",
   "gender":"female",
   "wish_gender":"male"
},
{
   "mate":"我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。",
   "content":"我是一名 26 歲的男性軟體工程師。我喜歡運動、打球和聽音樂。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。",
   "gender":"male",
   "wish_gender":"female"
}
```
## Vector Database
```python
%load_ext dotenv
%dotenv
import weaviate, os

# Connect with Weaviate Embedded
client = weaviate.connect_to_embedded(
    version="1.22.4",
    headers={
        "X-OpenAI-Api-Key": os.environ[
            "OPENAI_API_KEY"
        ],  # Replace with your inference API key
    },
)

client.is_ready()
```

```python
import weaviate.classes as wvc

if client.collections.exists("Dating"):
    client.collections.delete("Dating")
client.collections.create(
    name="Dating",
    vectorizer_config=wvc.Configure.Vectorizer.text2vec_openai(),  # wvc.Configure.Vectorizer.text2vec_cohere()
)

```
### Insert
```python
questions = client.collections.get("Dating")
questions.data.insert_many(data)
```
## search
```python
print(data[0]["mate"])
from weaviate.classes import Filter

response = questions.query.hybrid(
    data[0]["mate"],
    alpha=0.7,
    filters=(
        Filter("gender").equal(data[0]["wish_gender"])
        & (
            Filter("wish_gender").equal(data[0]["gender"])
            | Filter("wish_gender").equal("others")
        )
    ),
    limit=2,
)

for item in response.objects:
    print(item.properties)
```

```text
我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。 {'mate': '我心目中的理想伴侶是一個善良、聰明、有趣的人。她應該是一個有自己興趣愛好，能夠獨立思考和行動的人。她應該也是一個幽默風趣的人，能夠讓我的生活充滿樂趣。', 'wish_gender': 'others', 'gender': 'female', 'content': '我是一名 25 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個善良、聰明、有趣的人，希望找到一個和我一樣的人。'} {'content': '我是一名 24 歲的女性護士。我喜歡烹飪、看電影和逛街。我是一個陽光、幽默、有責任心的人，希望找到一個和我一樣的人。', 'wish_gender': 'male', 'gender': 'female', 'mate': '我心目中的理想伴侶是一個陽光、幽默、有責任心的人。他應該是一個熱愛生活，積極向上的人。他應該也是一個有責任心的人，能夠照顧好我和家庭。'}
```
## Ref
- 


20231217-ntu-matches

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
- https://www.kaggle.com/code/alanhc/gemini-api-starter-notebook
- https://makersuite.google.com/app/library

</body>
</html>



## Ref
- https://www.kaggle.com/code/alanhc/gemini-api-starter-notebook
- https://makersuite.google.com/app/library

20231217-google-gemini

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
- https://learn.microsoft.com/en-us/azure/databricks/pandas/pyspark-pandas-conversion
- https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PySpark_Cheat_Sheet_Python.pdf
- [Pandas vs PySpark..!](https://medium.com/geekculture/pandas-vs-pyspark-fe110c266e5c)
- [Data Processing: Pandas vs PySpark vs Polars](https://medium.com/@benpinner1997/data-processing-pandas-vs-pyspark-vs-polars-fc1cdcb28725)
- [Polars vs. pandas: What’s the Difference?](https://blog.jetbrains.com/dataspell/2023/08/polars-vs-pandas-what-s-the-difference/)
-

</body>
</html>



## Ref
- https://learn.microsoft.com/en-us/azure/databricks/pandas/pyspark-pandas-conversion
-  https://s3.amazonaws.com/assets.datacamp.com/blog_assets/PySpark_Cheat_Sheet_Python.pdf
- [Pandas vs PySpark..!](https://medium.com/geekculture/pandas-vs-pyspark-fe110c266e5c)
- [Data Processing: Pandas vs PySpark vs Polars](https://medium.com/@benpinner1997/data-processing-pandas-vs-pyspark-vs-polars-fc1cdcb28725)
- [Polars vs. pandas: What’s the Difference?](https://blog.jetbrains.com/dataspell/2023/08/polars-vs-pandas-what-s-the-difference/)
- 

20231213-pyspark

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## medium
https://github.com/dtesler/medium-to-markdown
## Blogger
https://codebeautify.org/html-to-markdown
https://github.com/cheshrkat/blogger-archive-converter
## Ref

</body>
</html>


## medium
https://github.com/dtesler/medium-to-markdown
## Blogger
https://codebeautify.org/html-to-markdown
https://github.com/cheshrkat/blogger-archive-converter

## Ref


20231210-convert-post-markdown

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Docker
`docker search tensorflow`
`docker pull jupyter/tensorflow-notebook`
`docker run jupyter/tensorflow-notebook -p 8000:8888`
- -p out:in
Transformers
`from transformers import pipeline`
`pip install transformers`
## docker compose
```yaml
services:
transformers-notebook:
build: ./Dockerfile | image: jupyter/tensorflow-notebook
- 8000:8888
environment
- JUPYTER_TOKEN=token
volumes
- ./:/home/{user}
```
```Dockerfile
FROM jupyter/tensorflow-notebook
USER $NB_UID //user | USER root
RUN pip install --upgrade pip &#x26;&#x26;\
pip install transformers &#x26;&#x26; \
pip install pysrt &#x26;&#x26; \
fix-permissions "/home/${NB_USER}"
COPY file.srt Translate.ipynb ./
```
`docker-compose up`
`from transformers import pipeline`
`pip install transformers`
```python
translator = pipeline("translation_en_to_fr")
fr = translator("Hi there I'm Alan!")
```
pysrt 讀取字幕檔
`docker images`
`docker image tag OOOOOOO-transformers-notebook:latest {user}/srt-translator:1.0`
`docker push {user}/srt-translator:1.0`
`docker container prune`
`docker rmi {user}/srt-translator:1.0`
`docker run -p 5000:8888 {user}/srt-translator:1.0`
## Ref
- https://youtu.be/-l7YocEQtA0?si=GOfJLcaa5CL8NBaX

</body>
</html>


## Docker
`docker search tensorflow`
`docker pull jupyter/tensorflow-notebook`
`docker run jupyter/tensorflow-notebook -p 8000:8888`
- -p out:in

Transformers
`from transformers import pipeline`
`pip install transformers`
## docker compose
```yaml
services:
	transformers-notebook:
			build: ./Dockerfile | image: jupyter/tensorflow-notebook
				- 8000:8888
			environment
				- JUPYTER_TOKEN=token
			volumes
				- ./:/home/{user}
```

```Dockerfile
FROM jupyter/tensorflow-notebook
USER $NB_UID   //user | USER root
RUN pip install --upgrade pip &&\
	pip install transformers && \
	pip install pysrt && \
	fix-permissions "/home/${NB_USER}"
COPY file.srt Translate.ipynb ./

```

`docker-compose up`

`from transformers import pipeline`
`pip install transformers`
```python
translator = pipeline("translation_en_to_fr")
fr = translator("Hi there I'm Alan!")

 ```
 pysrt 讀取字幕檔

`docker images`

`docker image tag OOOOOOO-transformers-notebook:latest {user}/srt-translator:1.0`

`docker push {user}/srt-translator:1.0`

`docker container prune`
`docker rmi {user}/srt-translator:1.0`

`docker run -p 5000:8888 {user}/srt-translator:1.0`

## Ref
- https://youtu.be/-l7YocEQtA0?si=GOfJLcaa5CL8NBaX


20231209-docker-machine-learning

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

AI 音樂風格轉換太酷了
[Frank Sinatra - A Cruel Angel's Thesis](https://youtu.be/IM_EDpvY4vA?si=jrhDvSM1wWdcnZgG)
[Careless Whisper - Frank Sinatra AI Cover](https://youtu.be/_Y543NEiR5w?si=uLzQnCi-u3sp-ZSV)
## Ref

</body>
</html>


AI 音樂風格轉換太酷了
[Frank Sinatra - A Cruel Angel's Thesis](https://youtu.be/IM_EDpvY4vA?si=jrhDvSM1wWdcnZgG)
[Careless Whisper - Frank Sinatra AI Cover](https://youtu.be/_Y543NEiR5w?si=uLzQnCi-u3sp-ZSV)
## Ref


20231209-AI-music-example

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## 1. 使用 twitter API
1. 先去 [dashboard]( https://developer.twitter.com/en/portal/dashboard )建立App，並在User authentication settings > 設定
![](https://i.imgur.com/zzfs8d9.png)
2. 複製 Keys and tokens
![](https://i.imgur.com/ifnkpvQ.png)
## 建立tweet
```python
import tweepy
bearer_token = ""
consumer_key = ""
consumer_secret = ""
access_token = ""
access_token_secret = ""
client = tweepy.Client(
consumer_key=consumer_key, consumer_secret=consumer_secret,
access_token=access_token, access_token_secret=access_token_secret
)
response = client.create_tweet(
text="This Tweet was Tweeted using Tweepy and Twitter API v2!"
)
print(f"https://twitter.com/user/status/{response.data['id']}")
# return
# Response(data={'edit_history_tweet_ids': ['1730651881314414696'], 'id': '1730651881314414696', 'text': 'This Tweet was Tweeted using Tweepy and Twitter API v2!1'}, includes={}, errors=[], meta={})
# get me
response = client.get_me()
response
```
免費版只有幾個 API
https://developer.twitter.com/en/docs/twitter-api/getting-started/about-twitter-api
## 2. 使用 seleium
```python
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('https://twitter.com/i/flow/login')
username = driver.find_element(By.TAG_NAME, 'input')
username.send_keys("")
all_btn = driver.find_elements(By.XPATH, "//div[@role='button']")
all_btn[-2].click()
password = driver.find_element(By.XPATH, '//input[@type="password"]')
password.send_keys("")
all_btn = driver.find_elements(By.XPATH, "//div[@role='button']")
all_btn[-1].click()
keyword = "cat"
driver.get(f"https://twitter.com/search?q={keyword}&#x26;src=typed_query")
retweet = driver.find_elements(By.XPATH, "//div[@data-testid='retweet']")
retweet[0].click()
quote_tweet = driver.find_elements(By.XPATH, "//a[@role='menuitem']")
quote_tweet[0].click()
quote = driver.find_element(By.XPATH, "//div[contains(@class, 'public-DraftStyleDefault-block')]")
quote.send_keys("OMG!")
tweet = driver.find_element(By.XPATH, "//div[@data-testid='tweetButton']")
tweet.click()
driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")
```
## Ref
https://developer.twitter.com/en/portal/dashboard
https://github.com/tweepy/tweepy/blob/master/examples/API_v2/create_tweet.py

</body>
</html>


## 1. 使用 twitter API
1. 先去 [dashboard]( https://developer.twitter.com/en/portal/dashboard )建立App，並在User authentication settings > 設定
![](https://i.imgur.com/zzfs8d9.png)
2. 複製 Keys and tokens 
![](https://i.imgur.com/ifnkpvQ.png)


## 建立tweet
```python
import tweepy

bearer_token = ""


consumer_key = ""

consumer_secret = ""

  
access_token = ""

access_token_secret = ""


client = tweepy.Client(

consumer_key=consumer_key, consumer_secret=consumer_secret,

access_token=access_token, access_token_secret=access_token_secret

)

response = client.create_tweet(

text="This Tweet was Tweeted using Tweepy and Twitter API v2!"

)
print(f"https://twitter.com/user/status/{response.data['id']}")
# return
# Response(data={'edit_history_tweet_ids': ['1730651881314414696'], 'id': '1730651881314414696', 'text': 'This Tweet was Tweeted using Tweepy and Twitter API v2!1'}, includes={}, errors=[], meta={})
  
# get me
response = client.get_me()

response
```
免費版只有幾個 API
https://developer.twitter.com/en/docs/twitter-api/getting-started/about-twitter-api
## 2. 使用 seleium
```python
  

from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get('https://twitter.com/i/flow/login')

username = driver.find_element(By.TAG_NAME, 'input')
username.send_keys("")

all_btn = driver.find_elements(By.XPATH, "//div[@role='button']")
all_btn[-2].click()

password = driver.find_element(By.XPATH, '//input[@type="password"]')

password.send_keys("")

all_btn = driver.find_elements(By.XPATH, "//div[@role='button']")
all_btn[-1].click()

keyword = "cat"
driver.get(f"https://twitter.com/search?q={keyword}&src=typed_query")

retweet = driver.find_elements(By.XPATH, "//div[@data-testid='retweet']")
retweet[0].click()

quote_tweet = driver.find_elements(By.XPATH, "//a[@role='menuitem']")

quote_tweet[0].click()
  

quote = driver.find_element(By.XPATH, "//div[contains(@class, 'public-DraftStyleDefault-block')]")

quote.send_keys("OMG!")

tweet = driver.find_element(By.XPATH, "//div[@data-testid='tweetButton']")

tweet.click()

driver.execute_script("window.scrollTo(0,document.body.scrollHeight);")

```
## Ref
https://developer.twitter.com/en/portal/dashboard
https://github.com/tweepy/tweepy/blob/master/examples/API_v2/create_tweet.py

20231202-twitter-bot

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Advance RAG Pipeline
![](https://i.imgur.com/8shM4tw.png)
![](https://i.imgur.com/EB5Xooa.png)
![](https://i.imgur.com/2RalCzF.png)
![](https://i.imgur.com/pMnkW5A.png)
![](https://i.imgur.com/ecL5SPj.png)
## RAG Triad of metrics
![](https://i.imgur.com/CSDiw5n.png)
![](https://i.imgur.com/VPFQWYN.png)
![](https://i.imgur.com/DOR4AMd.png)
![](https://i.imgur.com/0Qp6uFU.png)
![](https://i.imgur.com/mFGAbeG.png)
看到13:01
## Ref
- https://learn.deeplearning.ai/building-evaluating-advanced-rag

</body>
</html>


## Advance RAG Pipeline
![](https://i.imgur.com/8shM4tw.png)

![](https://i.imgur.com/EB5Xooa.png)
![](https://i.imgur.com/2RalCzF.png)

![](https://i.imgur.com/pMnkW5A.png)

![](https://i.imgur.com/ecL5SPj.png)
## RAG Triad of metrics
![](https://i.imgur.com/CSDiw5n.png)


![](https://i.imgur.com/VPFQWYN.png)
![](https://i.imgur.com/DOR4AMd.png)
![](https://i.imgur.com/0Qp6uFU.png)

![](https://i.imgur.com/mFGAbeG.png)
看到13:01

## Ref
- https://learn.deeplearning.ai/building-evaluating-advanced-rag

20231130-Building-and-Evaluating-Advanced-RAG (未完)

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## Ref
https://www.youtube.com/watch?v=y9k-U9AuDeM
![](https://i.imgur.com/RU3QUqs.png)

</body>
</html>



## Ref
https://www.youtube.com/watch?v=y9k-U9AuDeM
![](https://i.imgur.com/RU3QUqs.png)



Should You Use Open Source Large Language Models?

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

# 方式一 使用 GUI
## run service
e.g. `docker run -p 80:80 -d nginx`
## cloudflare 設定
https://dash.cloudflare.com/
dash > Zerotrust
![](https://i.imgur.com/C3QMcBJ.png)
![](https://i.imgur.com/h1tR17V.png)
![](https://i.imgur.com/DtY5i1w.png)
## 機器下載
註：windows 需要使用msi，用wsl 使用 docker會有問題
![](https://i.imgur.com/BVdQu81.png)
## 設定service位址
![](https://i.imgur.com/3swAtw9.png)
## 結果
訪問 前一個步驟設定的網址，成功🎉
![](https://i.imgur.com/QPcQh08.png)
# 方式2 使用 docker compose
TOKEN 為
```yaml
version: "3.9"
services:
nginx:
image: nginx:latest
expose:
- 80
cloudflared:
image: cloudflare/cloudflared:latest
command: tunnel run
environment:
- TUNNEL_TOKEN={TOKEN}
```
public host 設定
`docker-compose up -d`
## Ref

</body>
</html>


# 方式一 使用 GUI
## run service
e.g. `docker run -p 80:80 -d nginx`
## cloudflare 設定
https://dash.cloudflare.com/
dash > Zerotrust
![](https://i.imgur.com/C3QMcBJ.png)
![](https://i.imgur.com/h1tR17V.png)
![](https://i.imgur.com/DtY5i1w.png)
## 機器下載
註：windows 需要使用msi，用wsl 使用 docker會有問題
![](https://i.imgur.com/BVdQu81.png)
## 設定service位址

![](https://i.imgur.com/3swAtw9.png)

## 結果
訪問 前一個步驟設定的網址，成功🎉
![](https://i.imgur.com/QPcQh08.png)

# 方式2 使用 docker compose
TOKEN 為
```yaml
version: "3.9"  
services:  
nginx:  
image: nginx:latest  
expose:  
- 80  
cloudflared:  
image: cloudflare/cloudflared:latest  
command: tunnel run  
environment:  
- TUNNEL_TOKEN={TOKEN}
```
public host 設定 
`docker-compose up -d`
## Ref


20231125-cloudflare-tunnel

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

vercel token: https://vercel.com/guides/how-do-i-use-a-vercel-api-access-token
npx create-next-app nextjs-terraform-demo
main.tf
```terraform
terraform {
required_providers {
vercel = {
source = "vercel/vercel"
version = "~> 0.3"
}
}
}
```
`terraform init`
```terraform
terraform {
required_providers {
vercel = {
source = "vercel/vercel"
version = "~> 0.3"
}
}
}
resource "vercel_project" "example" {
name = "terraform-test-project"
framework = "nextjs"
git_repository = {
type = "github"
repo = "alanhc/nextjs-terraform-demo"
}
}
```
terraform apply
## Ref
- https://vercel.com/guides/integrating-terraform-with-vercel
- https://developer.hashicorp.com/terraform/tutorials/aws-get-started/install-cli
- https://vercel.com/guides/how-do-i-use-a-vercel-api-access-token

</body>
</html>


vercel token: https://vercel.com/guides/how-do-i-use-a-vercel-api-access-token
npx create-next-app nextjs-terraform-demo
main.tf
```terraform
terraform {
  required_providers {
    vercel = {
      source = "vercel/vercel"
      version = "~> 0.3"
    }
  }
}
```
`terraform init`
```terraform
terraform {
  required_providers {
    vercel = {
      source = "vercel/vercel"
      version = "~> 0.3"
    }
  }
}
resource "vercel_project" "example" {
  name      = "terraform-test-project"
  framework = "nextjs"
  git_repository = {
    type = "github"
    repo = "alanhc/nextjs-terraform-demo"
  }
}
```
terraform apply
## Ref
- https://vercel.com/guides/integrating-terraform-with-vercel
- https://developer.hashicorp.com/terraform/tutorials/aws-get-started/install-cli
- https://vercel.com/guides/how-do-i-use-a-vercel-api-access-token

20231124-terraform-vercel

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

RAG -> vector database
![](https://i.imgur.com/EDn3CJo.png)
## how-to-obtain-vector-representations-of-data
![](https://i.imgur.com/OdWVtRa.png)
![](https://i.imgur.com/pW8RpmW.png)
![[L1_Embeddings]]
## search-for-similar-vectors
![](https://i.imgur.com/sHpnu1f.png)
![](https://i.imgur.com/tXyrNpE.png)
![[L2_kNN (1)]]
## approximate-nearest-neighbours
![](https://i.imgur.com/dhCmV9R.png)
![](https://i.imgur.com/PuuhCfX.png)
![](https://i.imgur.com/zM1uhkl.png)
![](https://i.imgur.com/HIbOnKD.png)
![](https://i.imgur.com/ARkaKNP.png)
![](https://i.imgur.com/UXKVBIP.png)
![](https://i.imgur.com/2dzDBMZ.png)
![](https://i.imgur.com/fBe2Jwc.png)
![](https://i.imgur.com/AkDazPU.png)
![](https://i.imgur.com/2Ckgxvl.png)
![[L3_approximate_nearest_neighbours]]
## vector-databases
![[L4_Objects_Vectors]]
## sparse,-dense,-and-hybrid-search
![](https://i.imgur.com/X0Sdkgn.png)
![](https://i.imgur.com/SD5AbUM.png)
![](https://i.imgur.com/lw9WLkZ.png)
![](https://i.imgur.com/VuWuQfv.png)
![](https://i.imgur.com/Rd2FsOC.png)
![[L5_HybridSearch]]
## application---multilingual-search
![](https://i.imgur.com/uXHEwdA.png)
![](https://i.imgur.com/y3e7Uoy.png)
![](https://i.imgur.com/a91aqXe.png)
![](https://i.imgur.com/QyhQ2DD.png)
![](https://i.imgur.com/0JVqpXl.png)
![[L6_Multilingual_RAG_Search]]
## Ref
- https://learn.deeplearning.ai/vector-databases-embeddings-applications

</body>
</html>


RAG -> vector database
 
![](https://i.imgur.com/EDn3CJo.png)

## how-to-obtain-vector-representations-of-data
![](https://i.imgur.com/OdWVtRa.png)
![](https://i.imgur.com/pW8RpmW.png)

![[L1_Embeddings]]
## search-for-similar-vectors

![](https://i.imgur.com/sHpnu1f.png)

![](https://i.imgur.com/tXyrNpE.png)

![[L2_kNN (1)]]
## approximate-nearest-neighbours

![](https://i.imgur.com/dhCmV9R.png)

![](https://i.imgur.com/PuuhCfX.png)

![](https://i.imgur.com/zM1uhkl.png)

![](https://i.imgur.com/HIbOnKD.png)

![](https://i.imgur.com/ARkaKNP.png)

![](https://i.imgur.com/UXKVBIP.png)

![](https://i.imgur.com/2dzDBMZ.png)

![](https://i.imgur.com/fBe2Jwc.png)

![](https://i.imgur.com/AkDazPU.png)

![](https://i.imgur.com/2Ckgxvl.png)
![[L3_approximate_nearest_neighbours]]

## vector-databases
![[L4_Objects_Vectors]]
## sparse,-dense,-and-hybrid-search

![](https://i.imgur.com/X0Sdkgn.png)


![](https://i.imgur.com/SD5AbUM.png)

![](https://i.imgur.com/lw9WLkZ.png)

![](https://i.imgur.com/VuWuQfv.png)

![](https://i.imgur.com/Rd2FsOC.png)
![[L5_HybridSearch]]
## application---multilingual-search
![](https://i.imgur.com/uXHEwdA.png)

![](https://i.imgur.com/y3e7Uoy.png)
![](https://i.imgur.com/a91aqXe.png)
![](https://i.imgur.com/QyhQ2DD.png)
![](https://i.imgur.com/0JVqpXl.png)
![[L6_Multilingual_RAG_Search]]

## Ref
- https://learn.deeplearning.ai/vector-databases-embeddings-applications

20231116-Vector-Databases-from-Embeddings-to-Applications

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

16:52
twich 創辦人（Michael Seibel）
![](https://i.imgur.com/dLhPAHZ.png)
## 1. 從使用者學習
![](https://i.imgur.com/Rxqo8ls.png)
![](https://i.imgur.com/1t93zk7.png)
不要害怕失去客戶，因為才剛開始
Fake steve jobs
不要執著打造完美產品
e.g. 第一次的iphone 沒有app store的iphone 都是 經過時間迭代的產品
![](https://i.imgur.com/efBCb1M.png)
第一代 Airbnb
![](https://i.imgur.com/VIuNtyJ.png)
![](https://i.imgur.com/nqHbCFI.png)
![](https://i.imgur.com/omzsTHQ.png)
![](https://i.imgur.com/4zBBiLk.png)
解決問題是你的責任，不是客戶的
從市場中學習
一個MVP是最快從客戶學習的方法
![](https://i.imgur.com/uYLXQyJ.png)
## Ref
- https://youtu.be/QRZ_l7cVzzU?si=oGWmErG3cp8hxwtq

</body>
</html>


16:52
twich 創辦人（Michael Seibel）

![](https://i.imgur.com/dLhPAHZ.png)
## 1. 從使用者學習

![](https://i.imgur.com/Rxqo8ls.png)

![](https://i.imgur.com/1t93zk7.png)
不要害怕失去客戶，因為才剛開始
Fake steve jobs
不要執著打造完美產品
e.g. 第一次的iphone 沒有app store的iphone 都是 經過時間迭代的產品

![](https://i.imgur.com/efBCb1M.png)
第一代 Airbnb 
![](https://i.imgur.com/VIuNtyJ.png)

![](https://i.imgur.com/nqHbCFI.png)

![](https://i.imgur.com/omzsTHQ.png)
![](https://i.imgur.com/4zBBiLk.png)
解決問題是你的責任，不是客戶的
從市場中學習
一個MVP是最快從客戶學習的方法

![](https://i.imgur.com/uYLXQyJ.png)

## Ref
- https://youtu.be/QRZ_l7cVzzU?si=oGWmErG3cp8hxwtq


20231115-How-to-Build-An-MVP-Startup-School

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

![](https://i.imgur.com/0k8rQsV.png)
problem?
關鍵字搜尋
![](https://i.imgur.com/mTMj2P7.png)
![](https://i.imgur.com/9W5ClYB.png)
vector embeding
![](https://i.imgur.com/3v1g4KG.png)
![](https://i.imgur.com/bs7knP1.png)
https://github.com/weaviate-tutorials/multimodal-workshop
可以直接使用openai 提供 或 self host
## 1.1
## 1.2
alpha: 1: 使用100%vector search 0.7:70% vector 0.3: keyword
## 2
![](https://i.imgur.com/30KnOPa.png)
![](https://i.imgur.com/XZVyg8O.png)
![](https://i.imgur.com/dRkv1Hw.png)
![](https://i.imgur.com/0y3PEE3.png)
![](https://i.imgur.com/yBShmFS.png)
![](https://i.imgur.com/bPdIbwa.png)
![](https://i.imgur.com/ugwLGJq.png)
## Ref
- https://www.youtube.com/watch?v=3WUobZryyok
- https://github.com/weaviate-tutorials/multimodal-workshop
- https://github.com/alanhc/multimodal-workshop
- https://docs.google.com/presentation/d/1sS-bxJ-k9EuESH2VhpwnybY3QyV_9FdxHLmZLCSpuSM/edit#slide=id.g29ae64ebf98_0_5

</body>
</html>





![](https://i.imgur.com/0k8rQsV.png)
problem?
關鍵字搜尋
![](https://i.imgur.com/mTMj2P7.png)

![](https://i.imgur.com/9W5ClYB.png)
vector embeding


![](https://i.imgur.com/3v1g4KG.png)


![](https://i.imgur.com/bs7knP1.png)


https://github.com/weaviate-tutorials/multimodal-workshop
可以直接使用openai 提供 或 self host
## 1.1
## 1.2
alpha: 1: 使用100%vector search  0.7:70% vector 0.3: keyword


## 2
![](https://i.imgur.com/30KnOPa.png)


![](https://i.imgur.com/XZVyg8O.png)

![](https://i.imgur.com/dRkv1Hw.png)

![](https://i.imgur.com/0y3PEE3.png)

![](https://i.imgur.com/yBShmFS.png)

![](https://i.imgur.com/bPdIbwa.png)



![](https://i.imgur.com/ugwLGJq.png)

## Ref
- https://www.youtube.com/watch?v=3WUobZryyok
- https://github.com/weaviate-tutorials/multimodal-workshop
- https://github.com/alanhc/multimodal-workshop
- https://docs.google.com/presentation/d/1sS-bxJ-k9EuESH2VhpwnybY3QyV_9FdxHLmZLCSpuSM/edit#slide=id.g29ae64ebf98_0_5


20211115-LIVEBuilding-Multi-Modal-Search-with-Vector-Databases

<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<title>Contents</title>
<meta name="viewport" content="width=device-width, initial-scale=1">
</head>
<body>

## upload api
```js
import { connectToDb, fileExists } from "@/lib/mongodb";
import { NextResponse } from "next/server";
import { Readable } from "stream";
import formidable, { errors as formidableErrors } from 'formidable';
var fs = require('fs');
var md5 = require('md5');
export const config = {
api: {
bodyParser: false,
}
};
type ProcessedFiles = Array&#x3C;[string, File]>;
export default async function handler(req: any, res: any) {
const { bucket } = await connectToDb();
// get the form data
// const data = await req.formData();
// Access uploaded files directly using req.files
//const files = Array.from(req.files.entries());
let status = 200,
resultBody = { status: 'ok', message: 'Files were uploaded successfully' };
const form = formidable({ uploadDir: "/tmp" });
let fields;
let files;
try {
form.parse(req, async (err, fields, files) => {
console.log('fields:', fields);
console.log('files:', files);
for (const [key, value] of Object.entries(files)) {
const isFile = typeof value == "object";
if (isFile) {
let file: any = value[0]
let filename = file.originalFilename
let type = file.mimetype
let buffer = fs.readFileSync(file.filepath);
const stream = Readable.from(buffer);
const hash = md5(buffer)
const existing = await fileExists(hash);
if (existing) {
// If file already exists, let's skip it.
// If you want a different behavior such as override, modify this part.
continue;
}
const uploadStream = bucket.openUploadStream(filename, {
// make sure to add content type so that it will be easier to set later.
contentType: type,
metadata: {
hash:hash
}, //add your metadata here if any
});
// pipe the readable stream to a writeable stream to save it to the database
await stream.pipe(uploadStream);
res.status(200).json({
hash: hash
})
}
}
});
} catch (err: any) {
// example to check for a very specific error
if (err.code === formidableErrors.maxFieldsExceeded) {
}
console.error(err);
res.writeHead(err.httpCode || 400, { 'Content-Type': 'text/plain' });
res.end(String(err));
return;
}
return res.json({ success: true });
}
```
## response image
```js
import { MongoClient, ObjectId, GridFSBucket } from 'mongodb';
import clientPromise, { connectToDb } from "@/lib/mongodb";
export default async function handler(req:any, res:any) {
const client = await clientPromise;
const {hash} = req.query;
const db = client.db("fanstick");
const metadata:any = await db
.collection('media.files')
.find({"metadata.hash":hash})
.toArray()
console.log(metadata)
const {bucket}= await connectToDb()
res.writeHead(200, { 'Content-Type': metadata[0].contentType });
bucket.openDownloadStream(metadata[0]._id)
.on('data', (chunk) => {
res.write(chunk);
})
.on('end', () => {
res.end();
})
.on('error', (err) => {
res.status(500).json({ error: err.message });
});
// const file:any = await db
// .collection('media.chunks')
// .find({"files_id":metadata[0]._id})
// .toArray()
// console.log(file[0].data)
// res.setHeader('Content-Type', metadata[0].contentType)
// res.send(file[0].data)
}
```
## Frontend
```js
fetch(`/backend/upload/file`, {
method: "POST",
body: formData
}).then((res) => res.json())
.then(({hash}) => {
const image_url = `${process.env.Deploy_URL}/api/file/${hash}`
setImage(image_url)
form.setFieldValue(field.name,image_url)
})
```
## Ref
- https://github.com/gapon2401/upload-files-nextjs/blob/master/pages/api/upload.ts
- https://reacthustle.com/blog/how-to-upload-retrieve-images-to-mongodb-using-nextjs-13-app-router

</body>
</html>


## upload api
```js

import { connectToDb, fileExists } from "@/lib/mongodb";

import { NextResponse } from "next/server";

import { Readable } from "stream";

import formidable, { errors as formidableErrors } from 'formidable';

var fs = require('fs');

var md5 = require('md5');

  

export const config = {

api: {

bodyParser: false,

}

};

type ProcessedFiles = Array<[string, File]>;

export default async function handler(req: any, res: any) {

const { bucket } = await connectToDb();

// get the form data

// const data = await req.formData();

// Access uploaded files directly using req.files

//const files = Array.from(req.files.entries());

  

let status = 200,

resultBody = { status: 'ok', message: 'Files were uploaded successfully' };

  

const form = formidable({ uploadDir: "/tmp" });

let fields;

let files;

try {

form.parse(req, async (err, fields, files) => {

console.log('fields:', fields);

console.log('files:', files);

for (const [key, value] of Object.entries(files)) {

const isFile = typeof value == "object";

if (isFile) {

let file: any = value[0]

let filename = file.originalFilename

let type = file.mimetype

let buffer = fs.readFileSync(file.filepath);

const stream = Readable.from(buffer);

const hash = md5(buffer)

const existing = await fileExists(hash);

if (existing) {

// If file already exists, let's skip it.

// If you want a different behavior such as override, modify this part.

continue;

}

const uploadStream = bucket.openUploadStream(filename, {

// make sure to add content type so that it will be easier to set later.

contentType: type,

metadata: {

hash:hash

}, //add your metadata here if any

});

  

// pipe the readable stream to a writeable stream to save it to the database

await stream.pipe(uploadStream);

res.status(200).json({

hash: hash

})

}

  

}

});

  
  

} catch (err: any) {

// example to check for a very specific error

if (err.code === formidableErrors.maxFieldsExceeded) {

  

}

console.error(err);

res.writeHead(err.httpCode || 400, { 'Content-Type': 'text/plain' });

res.end(String(err));

return;

}

  

return res.json({ success: true });

}
```
## response image
```js
import { MongoClient, ObjectId, GridFSBucket } from 'mongodb';

import clientPromise, { connectToDb } from "@/lib/mongodb";


export default async function handler(req:any, res:any) {

const client = await clientPromise;

const {hash} = req.query;

const db = client.db("fanstick");

const metadata:any = await db

.collection('media.files')

.find({"metadata.hash":hash})

.toArray()

console.log(metadata)

const {bucket}= await connectToDb()

res.writeHead(200, { 'Content-Type': metadata[0].contentType });

bucket.openDownloadStream(metadata[0]._id)

.on('data', (chunk) => {

res.write(chunk);

})

.on('end', () => {

res.end();

})

.on('error', (err) => {

res.status(500).json({ error: err.message });

});

// const file:any = await db

// .collection('media.chunks')

// .find({"files_id":metadata[0]._id})

// .toArray()

// console.log(file[0].data)

// res.setHeader('Content-Type', metadata[0].contentType)

// res.send(file[0].data)

}
```
## Frontend
```js
fetch(`/backend/upload/file`, {

method: "POST",

body: formData

}).then((res) => res.json())

.then(({hash}) => {

const image_url = `${process.env.Deploy_URL}/api/file/${hash}`

setImage(image_url)

form.setFieldValue(field.name,image_url)

})
```
## Ref
- https://github.com/gapon2401/upload-files-nextjs/blob/master/pages/api/upload.ts
- https://reacthustle.com/blog/how-to-upload-retrieve-images-to-mongodb-using-nextjs-13-app-router