twpolitwoops final
DESCRIPTION
politwooooooooooops.twTRANSCRIPT
Politwoops .tw
我說錯了嘛
期中後的預計進度：
說好的前端呢?
架是架了, 但...
其實勉強還是有東西可以看 畢竟有先做了一個MVP
長這樣：
實做的 screenshot, 但總是會有bug的
運作方式
Custom ≠ Public，截圖程式(未登入)抓不到
先回顧一下架構 畢竟多了 screenshot 有點不一樣
原本的架構
beanstalkd
MySQL
Streaming
新的架構
beanstalkd
MySQL
Streaming
First Insert.
AWS S3
新的架構
beanstalkd
MySQL
Streaming
First Insert.
AWS S3
Screenshot diff:
• Twitter • 截取 tweet 內附帶的網址內容 • 不截取原始的 tweet 畫面
• Facebook • 截取原始的 feed 畫面 • 截取 feed 附帶的連結產生的畫面
• Storage: 一樣都放到 AWS S3
已知的各種問題:
• 空白的圖檔/ 檔案大小 = 0bytes • 可能是截圖失敗( 原 source 會推回 beanstalkd, 但未做處理 ) • 或是該頁面的讀取時間過長
• 網址的讀取權限 • 只有發生在截取原始 feed 的情況下可能產生(感覺應該是無
解…)
之前待解的各種問題:
• For merge back: -> 兩個都只完成部份 • 將原本相關的參數都獨立出來使用新的
• Database tables 的 rename.
• For bugs: Check edited 的時間差
編碼問題
Check feeds should separate by time.
• access token should rewrite into .ini
Other Issues:
• FB api’s Feature:App 總 calls 必須在 600次/10min 以內 • 實際的影響：
• Feeds-checker.py 的呼叫次數
• Streaming.py(client) 每次讀取的數量
• 待解： • FB 當機的時候沒有 handle.
• Normal user 新增時應該通知 admin.
• 抓到 deleted feed 時應該附上圖片
看來還有好多未完成 前端啊….
DEMO TIME