2023年11月21日 星期二

使用OpenAI 的LLM


OpenAI 目前提供的API 種類有這些: 


但使用這些API ,要先在 OpenAI https://platform.openai.com/ 註冊並取得API Key 才能呼叫。但取得API  Key 是需要付費的。 使用 Free trial  API Key 須付 5塊美金,此 Key 有效期為 3 個月。到期後,必須填寫信用卡資訊轉換成付費帳戶。

針對不同的AI模型, 如 聲音識別的 whisper-1, 文字生成影像 dall-e-2, 大型語言模型(LLM) gpt-3.5-turbo , 均有不同的使用資費。如下



1. GET API Key

 1. First, create an OpenAI account or sign in. Next, navigate to the API key page and "Create new secret key", optionally naming the key

2. Install the OpenAI Python library

 > pip install  openai langchain 

3. 程式測試





2023年11月20日 星期一

WSGI Server + Application Server(Flask)



 Flask 內部實現了精簡的 WSGI 接口, 不過這只適合在開發階段使用,因為效能不佳,所以進入到產品化階段,須使用性能高的WSGI 伺服器



WSGI Server + Application Server(Flask)

# On Windows

  原本python app.py 改成用waitress 啓動web 服務

     pip install waitress

waitress-serve --host=0.0.0.0 --port=5000 app:app


#On Linux

可以用 gunicorn 作為WSGI Server

References:

2023年11月19日 星期日

OCR using Google vision API

OCR
OCR by google vision API 





CAPTCHA Demo



  • 用 HTTP 讀取網頁並記錄此Session
  • 以Beautiful Soup 解析HTML , 取出 CAPTCHA 所在的標籤, 另存圖片
  • 對CAPTCHA圖片進行OCR , 解碼出文字
  • HTTP Seesion 傳送解碼後的文字給Web Server 



啓用WSGI Server + Flask 的版本





模仿瀏覽器的行為(使用session)




mimic the behavior of browser

session = requests.Session()

用sesson 送出 HTTP 請求(get/post)  會將session id 存在內部的cookie中。下次再發送session.post()或session.get() 會帶出相同的session-id . 否則會被認為這是不同的HTTP 請求。用這種方法才能將同一個請求,視為同一個對話(Session) 才能正確模仿瀏覽器的行為。




2023年10月4日 星期三

Linux kernel : SPI device 兩種存取模式


Raw SPI Device Access

 $ sudo modprobe spi_bcm2835

 $ ls -l /dev/spidev*

crw-rw---- 1 root spi 153, 0 Nov 19 11:13 /dev/spidev0.0

crw-rw---- 1 root spi 153, 1 Nov 19 11:13 /dev/spidev0.1

Now everything is ready to access the SPI devices from a user-space application using the SPIDEV interface. There is abundant documentation in the Internet on how to use SPIDEV in application code. 



Access SPI Flash as MTD

sudo modprobe mtd
sudo modprobe spi-nor
sudo insmod m25p80.ko


/ # cat /proc/mtd
dev: size erasesize name
mtd0: 00020000 00020000 "flash_uboot_env"
mtd1: 00a00000 00020000 "flash_linux_image"
mtd2: 005e0000 00020000 "flash_jffs2"
mtd3: 00100000 00010000 "spi_flash_part0"
mtd4: 00300000 00010000 "spi_flash_part1"

2023年9月1日 星期五

[Linux 系統程式設計] Pipe 與 fork


(1) 先產生Pipe再做fork 和 fork 再產生Pipe 差別在哪?

先產生Pipe 再Fork ==> parent/Child 可以交換資料
先 Fork 再產生pipe  ==> parent/Child 各自應用, 而不是要交換資料 , pipe換成一般檔案也是相同的概念