巫紘碩(GDX) - 學習日誌

Python 學習筆記 - HTML Parser - EOF in middle of construct

2008-09-13T09:53:00.000-07:00

最近用HTMLParser的時候發生了因為EOF(EOF in middle of construct)而產生exception的問題
後來將網頁儲存後發現是因為網頁內容不符合規範所造成的
範例:
< img //這裡不是用空白而是用換行(\n '0A')
src="" />
因此將內容中的換行全部replace成空白得以解決
看來以後要避免這種鳥問題還是先做這些前處理比較好...

TSQL 筆記 - 利用 SQL Server 2005 的 row_number() 選出在資料庫中指定資料的分頁

2008-07-29T21:01:00.000-07:00

前幾天研究室學長問的問題，嘗試了一下，可以用 SQL Server 2005 的 row_number() 函數來解決
範例問題：
    我們要知道 Table 中指定資料所在的分頁
範例 Table [t1]：
    id    data
    1     'CCN'
    2     'icools'
    3     'GDX'
    4     'jpst'
目標：
    取得 data 欄位的 'GDX' 所在列數 (row)
解決方法：
    DECLARE @id int
    SET @id = (SELECT [id] FROM [t1] WHERE [data] = 'GDX')
    SELECT count(*) / 3 + 1 FROM [test] WHERE id < @id

目標(2)：
    取得 data 欄位的 'GDX' 所在列數 (用 data 欄位做排序)
解決方法：
set @id = (
    SELECT TOP 1 [rid]
    FROM (
        SELECT row_number() over (order by [data] ASC) as [rid], [data]
        FROM [t1]
    ) AS b
    WHERE b.[data] = 'GDX'
)

SELECT count / 3 + 1
FROM (
    SELECT row_number() over (order by [data] ASC) as rid
    FROM [t1]) AS b
WHERE b.rid < @id

Python 學習筆記 - 自訂模組路徑

2008-07-16T23:39:00.000-07:00

在windows中直接設定環境變數PYTHONPATH即可

在Linux中必須修改~/.profile，加入一行 export PYTHONPATH=/path/to/module

Ubuntu 學習筆記 - sudo 指令後面的參數不能用 tab auto complete

2008-06-23T22:17:00.000-07:00

前幾天發生這怪怪的問題
以前輸入 sudo apt-g 之後按 tab 應該會自動完成 sudo apt-get
或是輸入 sudo apt- 案兩次 tab 後會顯示可輸入指令
不過好像某次安全性更新後這功能就失效了，若不加上 sudo 指令是可以正常 work 的
後來 google 的結果找到了解決方法
用文字編輯器開啟 /etc/bash.bashrc 檔案
然後把以下內容去註解或是加入
# enable bash completion in interactive shells
if [ -f /etc/bash_completion ]; then
. /etc/bash_completion
fi
這樣就可以正常 work 囉^_^

Google App Engine - urlfetch

2008-06-16T20:11:00.000-07:00

在 GAE 中不能使用 Python Standard Library 的任何有用到 Socket 的模組
像是 urllib、httplib 等都是被禁止的
因此若有需要存取其他網頁，則必須使用 GAE 提供的 urlfetch
範例：
from google.appengine.api import urlfetch
r = urlfetch.fetch('http://www.google.com/', method="GET")
if r.status_code == 200:
print result.content

在 GAE 的 urlfetch 介紹頁提到
urlfetch 僅能對 port 80 (http) 和 port 443 (https) 進行存取
timeout 也不能設定
而 Http Redirect 也以最大五次為限

而在實際的測試中，也發現 urlfetch 似乎有內定的 cooldown
不能在短時間內發出大量 urlfetch，否則會出現 DownloadError Exception
這對某些類型的網站並不是很方便 :(

不知道付費版本會不會有這些限制 :P

參考資料：Urlfetch Overview

Google App Engine - 上傳靜態檔案

2008-06-16T10:14:00.000-07:00

在一個 App Engine 專案裡面所有要上傳的檔案都必須在 app.yaml 檔案中設定
如果我們要上傳 css 和 js 資料夾，則必須在 app.yaml 加入以下的敘述:
handlers:
- url: /css
static_dir: css

- url: /js
static_dir: js

Python 學習筆記 - copy

2008-06-15T07:14:00.000-07:00

copy 這個模組可以讓你複製 Python 的物件
範例:
import copy
a = copy.copy(x)
b = copy.deepcopy(x)

copy 和 deepcopy 不同之處在於 copy 儘會複製當前物件
而 deepcopy 則是若該物件有屬性指向其他物件，則也會一併複製
範例:
class test:
def __init__(self, data):
self.data = data
l = [1, 2, 3, 4]
t = test(l)
import copy
a = copy.copy(t)
b = copy.deepcopy(t)
l.append(5)
print a.data
print b.data

將會輸出:
[1, 2, 3, 4, 5]
[1, 2, 3, 4]

加速USB Serial使3G/3.5G網卡在Linux中發揮應有速度

2008-05-22T09:46:00.000-07:00

之前在Ubuntu下使用3G/3.5G網卡上網(以Telit UM20為例)這篇文章中提到了如何在Ubuntu底下掛載3G/3.5G網卡並撥接上網

相信有在Ubuntu使用3G/3.5G網卡的人一定覺得很奇怪
怎麼下載速度一直都沒辦法突破60KB，即使你擁有3.5G

這個問題一直困擾我很久，google了許多天都找不到解答，最後終於在這篇文章中獲得解答!
原因大約是封包大小被限制在64byte，間接造成了傳輸速率降低

要解決這個問題，文章中利用修改並重新編譯usbserial的這個模組來達成
以下是詳細步驟：

取得您目前使用版本的Linux Kernel Source (Ubuntu 8.04下使用sudo apt-get install linux-source)
或者可以到http://www.kernel.org/下載
之後解壓縮下載的檔案(tar -jxvf linux-source-2.x.xx.tar.bz2)
Ubuntu 8.04 apt-get後檔案會存在/usr/src/底下
解壓縮後cd linux-source-2.x.xx/drivers/usb/serial/
底下有個usb-serial.c的檔案，用文字編輯器編輯他(sudo gedit usb-serial.c)
在 static int debug; 前一行加上 static ushort maxSize = 0;
在 buffer_size = le16_to_cpu(endpoint->wMaxPacketSize); 後一行加上 buffer_size = (endpoint->wMaxPacketSize > maxSize)?endpoint->wMaxPacketSize:maxSize;
在檔案最後面加上
module_param(maxSize, ushort,0);
MODULE_PARM_DESC(maxSize,”User specified USB endpoint size”);
之後儲存
編輯完usb-serial.c後我們將目錄切換回linux-source-2.x.xx底下
然後用make指令編譯所有檔案(我嘗試使用gcc單獨編譯usb-serial.c，可是一直無法成功，望高人指點:))
等待編譯完後linux-source-2.x.xx/drivers/usb/serial/底下會多usbserial.ko的檔案
將usbserial.ko複製到/lib/modules/2.x.xx-xx-generic/kernel/drivers/usb/serial/中即可
建議先備份原本的usbserial.ko
成功的話，之後使用modprobe的時候會多個maxSize的參數
sudo modprobe usbserial vendor=0×1bc7 product=0×1002 maxSize=2048

以上都成功的話重新撥接，就可以用正常的3G/3.5G上網囉!

Ubuntu 學習筆記 - apt-file

2008-05-09T10:25:00.000-07:00

apt-file是個好用的工具
當你只知道缺少某個檔案，卻不知道該檔案在哪個套件中時
就可以用apt-file來尋找該檔案是在哪個套件中

安裝apt-file:

sudo apt-get install apt-file

安裝完記得先update更新cache:

sudo apt-file update

然後就可以使用apt-file了:)
使用apt-file，範例:

sudo apt-file find gtkwidget.h

如此就可以找出gtkwidget.h所在的套件:)

Python 學習筆記 - gtk - 產生一個window

2008-05-05T03:33:00.000-07:00

import pygtk
pygtk.require(r'2.0')
import gtk

class MyWindow:
    def __init__(self):
        #建立一個新的gtk window
        self.window = gtk.Window(gtk.WINDOW_TOPLEVEL)
        #設定window大小
        self.window.set_size_request(300, 300)
        #window被銷毀的時候離開gtk
        self.window.connect(r'destory', lambda: w: gtk.main_quit())
        顯示window
        self.window.show()

    def main():
        #開始gtk
        gtk.main()

w = MyWindow()
w.main()

Ubuntu下使用3G/3.5G網卡上網(以Telit UM20為例)

2008-04-29T01:37:00.001-07:00

現在的3G網卡似乎都是將驅動程式虛擬成一台光碟機

這在Windows下還蠻方便的，插下去就可以直接裝驅動程式上網了

可是在Ubuntu下這卻是很大的缺點…

Ubuntu只會抓到那台虛擬的光碟機，而不會知道他其實是一台數據機

導致要撥號抓不到數據機的囧境發生XD

因此若要在Ubuntu下用3G網卡上網的話，要先將光碟機移除

然後跟Ubuntu說它其實是一台數據機…XD

步驟如下(以Telit UM20為例)：

sudo umount /media/UM20
sudo rmmod usbserial
sudo modprobe usbserial vendor=0×1bc7 product=0×1002

vender和product可以下lsusb來看

順利的話用dmesg就可以看到ttyUSB0~4掛載上去了(有時候數字會不太一樣)

之後就可以用wvdial撥號上網囉

首先設定/etc/wvdial.conf的內容如下

[Dialer Defaults]
Phone = *98#
APN = internet
Username = username
Password = password
Stupid Mode = 1
Dial Command = ATDT
Modem = /dev/ttyUSB1
Baud = 460800
Init2 = ATZ
Init3 = ATQ0 V1 E1 S0=0 &C1 &D2 +FCLASS=0
ISDN = 0
Modem Type = Analog Modem

注意這是撥號Hinet的設置，其他電信的Phone好像不太一樣

Modem的設定要設定第二個USB

也就是如果是掛載ttyUSB0~3，就必須設定ttyUSB1 (這是Telit UM20的例子，不確定其他廠牌是否一樣)

設定好/etc/wvdial.conf的內容，就可以用wvdial &指令撥號上網囉:-)

Python - PyPicLens 0.1 - 用 PicLens 瀏覽電腦中的圖片

2008-04-15T11:27:00.000-07:00

這是無聊寫來玩的東西，可以利用 PicLens 來瀏覽電腦中的照片
食用方法：
將下載後的 pypiclens.exe 放到你的圖片目錄執行即可

下載 pypiclens.exe for windows

Python 筆記 - CherryPy.Session

2008-04-09T09:09:00.000-07:00

在 TurboGears 中要使用 Session 要先在 dev.cfg 中的 [global] 區塊加入
session_filter.on = True

之後便可以使用 Session

Example Code:
import cherrypy
s = cherrypy.session
s['test'] = s.get('test', True)
print s['test']

Python 筆記 - 產生 md5 字串

2008-04-09T00:05:00.000-07:00

以下代碼將產生一32長度的md5字串
import md5
return md5.new('Test').hexdigest()

Python 筆記 - 連結資料庫

2008-03-17T04:15:00.000-07:00

在 Python 存取資料庫的地方嚐試了許多 Library
最後覺得以 pyodbc 這套 library 較好
支援了 Unicode、Commit、Rollback、ConnectionString、DSN 等等的功能
有完整的資料庫欄位型態，寫法也很精簡
還有一個重點是 Library 不會太大

pyodbc 官網：http://pyodbc.sourceforge.net/

範例：
import pyodbc
connStr = 'DRIVER={SQL Server};SERVER=server;DATABASE=database;UID=user;PWD=password'
conn = pyodbc.connect(connStr)
cur = conn.cursor()
cur.execute('SELECT user, status FROM Users')
for r in cur:
print cur.user, cur.status
cur.close()
conn.close()

SQL Server T-SQL中的Try...Catch

2008-03-16T20:40:00.000-07:00

在SQL中的Try...Catch寫法
Begin Try
    ....
End Try
Catch Try
    ....
End Try

範例:
若指定資料存在則更新，不存在則新增

Table user:
username    status

Begin Try
    //嘗試更新GDX的狀態
    Update user Set status = 'busy' Where username = 'GDX'
End Try
Begin Catch
    //更新錯誤，新增GDX的狀態
    Insert Into user (username, status) Values ('GDX', 'busy')
End Catch

SQL - 分頁

2008-02-28T07:35:00.000-08:00

以前還沒有那麼熟SQL語法的時候
只會作將資料庫資料讀出來、寫入、更新等等基本的動作，以為這就是SQL的全部了
後來作的東西越來越多、看的越來越多，經驗也比以前豐富了
發現SQL真是博大精深，很多複雜的動作都可以在SQL裡完成
而不需要將資料讀出再交由程式作處理，也減少了程式的複雜度

例如最常用到的分頁，以前總想著把資料全部讀出來再用程式選取需要的資料
但這樣實在太浪費校能和記憶體了
資料量小倒是還好，當資料量一大，成千上萬筆的資料不可能一次選出
因此在此做了筆記

範例資料表名稱: a
範例資料表結構:
id: 主索引
data: 資料

利用以下語法即可達到不需程式控制的分頁技巧

SELECT TOP pSize * FROM [a]
WHERE [a].[id] NOT IN
(SELECT TOP pSize * pIndex [b].[id] FROM [a] AS [b] ORDER BY [b].[id])
ORDER BY [a].[id] DESC

pSize代表一頁的資料筆數
pIndex代表目前的頁面(從0開始)

Python 練習程式 - 無名相簿下載 Ver 1.0.2

2008-02-18T17:37:00.000-08:00

加入了下載相片頁面的影片和mp3檔的功能:-)
現在還是 Console 介面
改天有空玩玩 wxPython 寫成 Windows 介面~

py2exe Build 出來的 Win32 exe 的 dependent 檔案好大阿XD

Download Win32 exe: WretchPW.exe

P.S 這只是練習 Python 寫的程式
如有需要無名相簿下載器, 可以使用 WretchXD
在 http://soft.ccn.tw 可以下載^_^

Python 練習程式 - 無名相簿下載 Ver 1.0.1

2008-02-18T08:34:00.000-08:00

加入了下載密碼相簿的功能 :-)
還有移除了許多 Garbage Code

Download Win32 exe: WretchPW.exe

Python 練習程式 - 無名相簿下載 Ver 1.0

2008-02-18T00:08:00.000-08:00

最近在學習 Python
很多地方和以前習慣的 C, C++, C#, Java 都有很大不同
也因此花了許多時間來習慣

像是程式區塊的 { }
在Python中是用強制縮排來取代
以 C 為例
一段 if statement 在 C 中是長這樣:
if (a > b) {
printf(a);
}
而在 Python 中則是
if a > b:
print a
整個就是清爽很多XD
當然這種強制的設定有褒有貶
我個人是非常贊同這種設定的
至少看別人的 code 不會因為排版習慣不同而看得很辛苦了

在這個練習題中練習了 Python 中 Http 的通訊協定
還有一些基本的觀念
喔，密碼的相簿還沒處理，所以還不能下載XD

Download Win32 exe: WretchPW.exe

學的更多之後再上來發表心得 :-)

PHP筆記(1) - 取得Http Content Data

2008-01-26T04:33:00.000-08:00

以前在ASP.NET的時候會將上傳的檔案以自己的方式作處理
透過BinaryWriter來寫入資料到RequestStream裡
Server端再用BinaryReader從Request.InputStream讀出來
轉到php的時候找了很久都找不太到相似的方法
本來以為要改寫了
今天終於google到了@@
使用php://input即可達到相同效果
還有一些有用的參數

php://stdin
php://stdout
php://stderr
php://output
php://input
php://filter

資料來源:
http://php.chinaunix.net/manual/zh/wrappers.php.php

利用SQL選取資料表中相同類型的前N筆資料

2008-01-21T20:44:00.000-08:00

這是在最近IR Project碰到的問題

範例資料表 - 人事：
編號人名階級
1 王小明主管
2 張小明主管
3 李小明主管
4 陳小明主管
5 李安員工
6 張安員工
7 王安員工
8 陳安員工
9 平安員工

我們希望選出主管和員工的前兩筆資料，也就是
編號人名階級
1 王小明主管
2 張小明主管
5 李安員工
6 張安員工

可以利用SQL LEFT OUTER JOIN Statement來達成
解答：
SELECT ta.編號, ta.人名, ta.階級
FROM 人事 AS ta
LEFT OUTER JOIN 人事 AS tb
ON ta.階級 = tb.階級 AND ta.編號 <= tb.編號
GROUP BY ta.階級, ta.編號, ta.人名
HAVING COUNT(1) < 2
ORDER BY ta.階級, ta.編號

查詢誰刪除了你的MSN聯絡人 - WhoDeleteMe Ver1.0.0.0

2008-01-12T07:25:00.000-08:00

最近正在利用DotMSN寫MSN Bot
順手的小產物0.0
需要輸入帳號密碼, 查詢期間你的MSN會被登出

System Required: .NET Framework 2.0+
下載

南台科技大學校園IP流量監控 Ver 1.0.0.0

2008-01-07T11:10:00.000-08:00

隨手寫的一個很簡單的IP流量偵測程式
只是去讀取流量網頁作分析而已
會紀錄log在同目錄下的 "IP位址日期log.txt"
目前只有偵測單一IP的功能
以後有時間再增加功能吧

System Required：.NET Framework 2.0+
下載

取得本機對外IP位址 - 利用.NET web reference

2008-01-07T10:57:00.000-08:00

在專案中加入Web參考 http://checkrealip.com/IP.asmx
即可以使用 com.checkrealip.IP 來取得本機對外IP位址