Latest from ChinaonRails: luofeiyu

ruby网络库解释 ... no reply

luofeiyu — Thu, 09 Sep 2010 22:30:30 +0800

code1
require 'open-uri'
open('http://ruby-gnome2.sourceforge.jp/hiki.cgi?tut-gtk-helloworld-details') { |http|
puts http.read
}

code2
require 'net/http'
Net::HTTP.start('ruby-gnome2.sourceforge.jp', 80) { |http|
response = http.get('/hiki.cgi?tut-gtk-helloworld-details')
puts response.body
}

code1的意思很清楚，我经常用。
code2显示和code1一样，但是，有搞不清楚的地方，
1.为何要把http://ruby-gnome2.sourceforge.jp/hiki.cgi?tut-gtk-helloworld-details分成两节？
2.code2中那个http究竟指什么？

如何切割？ ... 5 replies

luofeiyu — Wed, 08 Sep 2010 14:23:42 +0800

有一个txt文档，格式如下：
AASTROM BIOSCIENCES INC 887359 02907
China Green Agriculture 857949 33567
DELTA NATURAL GAS 277375 07345

每行有三列，现在我需要用三个数组来装，怎么办，无法切割！
a=[]
b=[]
c=[]
open('/home/mylife','r'){|file|
while line=file.gets
line=line.chomp
a<<line.split(" ")[0]
b<<line.split(" ")[1]
c<<line.split(" ")[2]
end}
这样不行，每一行的第一列，都含有空格，直观上我们都知道，如何精确表达呢？

如何写这个xpath表达式？ ... 16 replies

luofeiyu — Tue, 07 Sep 2010 13:11:49 +0800

有个html文件：
<table>
<tr>
<td>ok
<strong>Sep 10</strong>
| <a href="ttt">Oct 10</a>
| <a href="kkk">Dec 10</a>
<table>
<tr>
<td>
123
</td>
<td>
567
</td>
</tr>
</table>
</td>
</tr>
</table>
用firefox打开显示成：
ok Sep 10 | Oct 10 | Dec 10
123 567
我想得到：
ok Sep 10 | Oct 10 | Dec 10
写了下面的代码
require 'rubygems'
require 'nokogiri'
web='/home/test'
doc = Nokogiri::HTML.parse(open(web))
data=doc.xpath('/html/body/table/tr/td')
puts data
得到的结果是：
<td>ok
<strong>Sep 10</strong>
| <a href="ttt">Oct 10</a>
| <a href="kkk">Dec 10</a>
<table><tr>
<td>
123
</td>
<td>
567
</td>
</tr></table>
</td>
我想得到的是
ok
<strong>Sep 10</strong>
| <a href="ttt">Oct 10</a>
| <a href="kkk">Dec 10</a>
请问，如何写xpath表达式？

花生壳安装不上有何办法？ ... no reply

luofeiyu — Sun, 05 Sep 2010 18:46:38 +0800

今天，我成功安装了vsftp,将一个视频放在上面让朋友下了，极大鼓舞了我的信心，想将我的电脑变成一个网站，我的上网方式，中国电信adsl，动态ip,下载了花生壳for linux，可是无法安装上，
出现错误：
Log /var/log/phlinux.log opened.
2010/09/05 18:33:35.508| Init phservice2.oray.net with user peter/******
2010/09/05 18:33:36.666| Initservice OK!
2010/09/05 18:33:36.666| Soapinvoke begined with url: /userinfo.asmx/GetMiscInfo
2010/09/05 18:33:37.998| RESULT_NODE: GetMiscInfoResponse, , PID: -1
2010/09/05 18:33:37.998| RESULT_NODE: GetMiscInfoResult, 1002, PID: 0
2010/09/05 18:33:37.998| Init phservice2.oray.net with user peter/******
2010/09/05 18:33:39.144| Initservice OK!
2010/09/05 18:33:39.144| Soapinvoke begined with url: /userinfo.asmx/GetMiscInfo
2010/09/05 18:33:40.644| RESULT_NODE: GetMiscInfoResponse, , PID: -1
2010/09/05 18:33:40.644| RESULT_NODE: GetMiscInfoResult, 1002, PID: 0
2010/09/05 18:33:40.644| Init phservice2.oray.net with user peter/******
2010/09/05 18:33:41.887| Initservice OK!
2010/09/05 18:33:41.887| Soapinvoke begined with url: /userinfo.asmx/GetMiscInfo
2010/09/05 18:33:43.204| RESULT_NODE: GetMiscInfoResponse, , PID: -1
2010/09/05 18:33:43.204| RESULT_NODE: GetMiscInfoResult, 1002, PID: 0
2010/09/05 18:33:43.204| ExecuteUpdate Connecting PH031.Oray.Net.
2010/09/05 18:33:44.749| SEND AUTH REQUEST COMMAND...2010/09/05 18:33:44.749| OK.
2010/09/05 18:33:45.179| SERVER SIDE KEY "334 cHDPMkHEKXKDTKdksGyJcQ==" RECEIVED.
2010/09/05 18:33:45.196| SEND AUTH DATA...2010/09/05 18:33:45.196| OK
2010/09/05 18:33:48.437| ExecuteUpdate auth failed.
2010/09/05 18:33:48.437| ExecuteUpdate failed, waiting for 30 seconds to retry...
总是这样一个循环，请问，ruby有无办法实现我的意图？

ruby如何打开xml? ... 8 replies

luofeiyu — Tue, 31 Aug 2010 21:03:43 +0800

有个xml文件，我可否用ruby将它以html形式，通过浏览器来显示？

ruby如何使用代理服务器？ ... 17 replies

luofeiyu — Tue, 31 Aug 2010 15:27:33 +0800

请问ruby有什么库可以使用代理服务器？具体这么用呢？

require 'open-uri'
web="www.sample.com"
open(web){|webfile| puts webfile.read}
通常，我使用上面的方法打开一个网页，如果www.sample.com被墙了，只有使用代理服务器，请问，如何在ruby中完成呢，请提供一个具体的代码，写一个具体可用的免费代理服务器，谢谢

这个字符串替换为何无法运行？ ... 5 replies

luofeiyu — Sun, 29 Aug 2010 16:57:20 +0800

我的目的：将一个字符串所有不是英文小写的字符删除。

item='gkhj*&()'
item=item.map{|echar|
if /[a-z]/=~ echar then
echar=echar
else
echar=''
end}
puts item

为何上面的代码不能得到我需要的结果呢？

如何挑选出包含列数超过3个的行？ ... 8 replies

luofeiyu — Sat, 28 Aug 2010 11:18:38 +0800

require 'rubygems'
require 'nokogiri'
item='sometext'
doc = Nokogiri::HTML.parse(open(item))
data=doc.xpath('/html/body/table/tr[@td.size>3]')
puts data

上面的代码无法运行，估计xpath表达式的问题，请问，这个xpath表达式如何写？

有什么好结构可以代替if then? ... 3 replies

luofeiyu — Fri, 27 Aug 2010 20:29:50 +0800

if a=="symbol" then
这个里面有400多行，有各种选择、文件读写等等，有很多end
else
end
如果用if then 来写，个人觉得结构会很糟糕，请问，有什么表达方法，可以让这个程序更容易读？

多线程的错误处理究竟应该如何写？ ... 5 replies

luofeiyu — Fri, 27 Aug 2010 17:41:07 +0800

有一个处理多线程下载的代码片段：
p1

for page_to_fetch in cthreaddown
threads<<Thread.new(page_to_fetch) do |web|
datafile="/home/pt/usa/stock/"+web
open(datafile,'a+'){|refile|
open(web){|webfile|
refile.puts webfile.read
puts "#{web} is over"
}}
end
end
threads.each {|thr|
begin
thr.join
rescue Timeout::Error => e
puts "#{web} failed"
rescue NameError => e
puts "#{web} failed"
rescue => e
puts "#{web} failed"
end
}

程序可以运行，但是运行一段时间以后，下载了几千个数据后，出现错误
undefined local variable or method `web' for Data:Class (NameError)
这里的data类是我的程序定义的。
我仔细查找，发现了原因：web,用wget，发现有的web返回404.
不明白的事情是，为何我的程序不能处理这个错误，会中途停下来？
于是改成p2\p3都不行，请问，如何解决？

p2

for page_to_fetch in cthreaddown
threads<<Thread.new(page_to_fetch) do |web|
datafile="/home/pt/usa/stock/"+web
open(datafile,'a+'){|refile|
begin
open(web){|webfile|
refile.puts webfile.read
puts "#{web} is over"
}}
rescue NameError => e
puts "#{web} failed"
rescue => e
puts "#{web} wrong"
end
end
end
threads.each {|thr| thr.join }

无论p1/p2/p3，故障都一样，可以正常运行下载30%左右的数据，都出现
undefined local variable or method `web' for Data:Class (NameError)
请问，如何写多线程的这个错误处理，让程序跳过错误，可以正常运行？

给数组增加元素 ... 9 replies

luofeiyu — Tue, 24 Aug 2010 21:14:28 +0800

pt@pt-laptop:~$ irb
irb(main):001:0> a=[1,2]
=> [1, 2]
irb(main):002:0> a<<3
=> [1, 2, 3]
irb(main):003:0> a<<3
=> [1, 2, 3, 3]
<<可以从末端给数组增加元素，有无现成的方法可以做到：
从已有数组的末端增加元素，但是当这个元素已经存在时，不增加。
（我知道可以写几句话做到）
请问，ruby有无现成的这样一个方法？

ruby的execute如何处理null? ... 1 reply

luofeiyu — Sat, 21 Aug 2010 18:40:22 +0800

ruby读写mysql数据库，
p1可以正常执行
require 'date'
require 'mysql'
dbh = Mysql.real_connect("localhost", "root", "****")
dbh.query("use company;")
dbh.query("insert into code(name,ipoyear) values ('kk',null);")
p2无法执行
require 'date'
require 'mysql'
dbh = Mysql.real_connect("localhost", "root", "qwerty")
dbh.query("use company;")
st = dbh.prepare("INSERT INTO name( code,ipoyear) VALUES (?,?)")
st.execute('kk',null)
错误输出：
NameError: undefined local variable or method `null' for main:Object
请问，如何修改，使得p2程序段能够执行？

数组变换 ... 1 reply

luofeiyu — Sat, 21 Aug 2010 16:36:56 +0800

有一个数组a=["7.48","33854480","n/a"],需要变换成
b=["7.48","33854480","null"]
于是进行下面的操作，
irb(main):100:0> a=["7.48","33854480","n/a"]
=> ["7.48", "33854480", "n/a"]
irb(main):101:0> b=a.map{|item| if item=="n/a" then item="null" end}
=> [nil, nil, "null"]
irb(main):102:0> a=["7.48","33854480","n/a"]
=> ["7.48", "33854480", "n/a"]
irb(main):103:0> b=a.map{|item| if item=="n/a" then item="null"
irb(main):104:2> else
irb(main):105:2* item=item end}
=> ["7.48", "33854480", "null"]
为何b=a.map{|item| if item=="n/a" then item="null" end}不能获得我需要的结果？
想了半天，不知道其中的原因。请指教

125%变成1.25？ ... 6 replies

luofeiyu — Sat, 21 Aug 2010 13:13:37 +0800

format("%.2f",125)
=> "125.00"
irb(main):012:0> format("%.2f",125%)
SyntaxError: compile error
(irb):12: syntax error, unexpected ')'
请问，应该如何写？

mysql数据的格式 ... no reply

luofeiyu — Sat, 21 Aug 2010 08:48:04 +0800

我有个csv文件，用符号;进行分割，其中的
1.千位分割符号的问题
全部加有千位分割符号，29，876这样的形式，
导入mysql数据库,变成29，我的导入语句指定的分割符号没有问题。
LOAD DATA LOCAL INFILE 'myfile' INTO TABLE mytable FIELDS TERMINATED BY ';' LINES TERMINATED BY '\n' IGNORE 1 LINES;
这个问题只能这样解决吗？导入前，删除千分符号？但是工作需要，必须对数据进行这样的展示，难道只有导入时删除，展示时，加上？？
2.%问题
csv文件中有125%这样的数值，我导入mysql后变成了125（对应的字段是float类型），这个问题同上。
请解答一下

xpath：如何获得指定的表格？ ... 2 replies

luofeiyu — Fri, 20 Aug 2010 10:09:08 +0800

今天解析网页，碰到一件奇怪的事情 table=doc.xpath('/html/body/div/table[7]//tr/td[3]/table[7]//table')
irb(main):030:0> puts table.size
4
我想得到第二个表格

table=doc.xpath('/html/body/div/table[7]//tr/td[3]/table[7]//table[1]')
irb(main):030:0> puts table
不能获得输出，
写成
table=doc.xpath('/html/body/div/table[7]//tr/td[3]/table[7]//table//table[1]')
irb(main):030:0> puts table
也不行，只能写成
table=doc.xpath('/html/body/div/table[7]//tr/td[3]/table[7]//table')[1]
puts table
想不通其中的理由，请各位指教一下？

多线程的怪事情：40个线程可以，50个就不行。 ... 2 replies

luofeiyu — Wed, 18 Aug 2010 14:38:10 +0800

用多线程下载，出现无法解答的怪事，反复测试多次，
40个线程可以顺利完成下载，50个就不行。故障现象：
每次线程设置成50，或者100，程序可以运行，但是运行到某一个阶段，比如下载了2000个数据以后，出现
undefined local variable or method `wurl1' for Option:Class (NameError)
wurl1是我程序中的一个变量。
我的分析，
1.不是对方服务器的限制，如果对方服务器有限制，为何可以下载一堆数据，再出现故障呢？
2.从程序报错来看，也不是对方关闭我这边链接的错误。
我的程序核心代码如下：

threads=[]
url.each.with_index {|item,idx|
i=i+1
wurl<<item
if i==40 or idx==url.size-1 then
for page_to_fetch in wurl
threads<<Thread.new(page_to_fetch) do |wurl1|
datafile="/home/pt/test/"+wurl1.split("=")[2].to_s
open(datafile,'w'){|file|
info = Net::HTTP.get_response(URI.parse(wurl1)).body
file.puts info
}
end
end
threads.each {|thr|
begin
thr.join
rescue Timeout::Error => e
puts "#{wurl1} failed"
rescue NameError => e
puts "#{wurl1} failed"
rescue => e
puts "#{wurl1} failed"
end
}
i=0
wurl=[]
threads = []
else
end
}

这个异常如何处理？ ... 4 replies

luofeiyu — Sun, 15 Aug 2010 14:50:27 +0800

请将下面的程序p1，复制粘帖以后，到irb中执行。

require 'rubygems'
require 'net/http'
threads = []
str=%w(http://table.finance.yahoo.com/table.csv?s=ALP/N http://table.finance.yahoo.com/table.csv?s=YHOO http://table.finance.yahoo.com/table.csv?s=AACC)
for page_to_fetch in str
threads<<Thread.new(page_to_fetch) do |url|
@@myfile="/tmp/"+url.split("=")[1].to_s
open(@@myfile,"w") do |wfile|
info = net::HTTP.get_response(URI.parse(url)).body
wfile.puts info
end
end
end
threads.each {|thr|
begin
thr.join
rescue Errno::ENOENT=>e
puts "wrong,#{@@myfile}"
end
}

执行完成后，
1.irb中出现
wrong,/tmp/AACC
=> [#<Thread:0xb76f86c0 dead>, #<Thread:0xb76f865c dead>, #<Thread:0xb76f7b6c dead>]
2./tmp文件夹下面出现两个文件
AACC YHOO
但是，如果您把p1保存为/tmp/test.rb,
pt@pt-laptop:~$ ruby /tmp/test.rb
ruby: No such file or directory -- /tmp/test.rb (LoadError)
它会出现这样的错误，我仔细分析发现
1.并不是没有/tmp/test.rb这个文件，明明存在，请各位一定测试一下。
2.问题出在
http://table.finance.yahoo.com/table.csv?s=ALP/N，我在程序中提取ALP/N，并准备创建/tmp/ALP/N
对应的代码是：
@@myfile="/tmp/"+url.split("=")[1].to_s
open(@@myfile,"w") do |wfile|
使用全局变量是为了后面的输出，检测问题，
linux的文件名不能够是ALP/N！！
我如何用程序处理这种异常呢？下面不可以,如何改进？

readlines的问题 ... 2 replies

luofeiyu — Sat, 14 Aug 2010 23:31:58 +0800

有下面的程序p1：
class Initialcname
def self.down()
require 'rubygems'
require 'open-uri'
cname=['nasdaq','nyse','amex']
cname=cname.map{|item| item="http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange="+item+"&render=download"}
open("/tmp/companyname","a+") {|namefile|
cname.each.with_index{|url,idx|
open(url){|urlfile|
a=0
while line=urlfile.gets
line=line.chomp
if /\<html\>/ =~ line then
x=urlfile.lineno-2
a=1
else
end
end
if a==0 then x=-1 end
if idx==0 then
puts x
namefile.puts urlfile.readlines[0..x]
else
puts x
namefile.puts urlfile.readlines[1..x]
end
}
}
}
end
end
Initialcname.down()
不知为何，无法得到需要的文件。
写成下面的样子p2，就有结果
class Initialcname
def self.down()
require 'rubygems'
require 'open-uri'
cname=['nasdaq','nyse','amex']
cname=cname.map{|item| item="http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange="+item+"&render=download"}
open("/tmp/companyname","a+") {|namefile|
cname.each.with_index{|url,idx|
open(url){|urlfile|
if idx==0 then
namefile.puts urlfile.readlines[0..-1]
else
namefile.puts urlfile.readlines[1..-1]
end
}
}
}
end
end
Initialcname.down()
但是这个结果含有不需要的东西，没有消除。<html> </html>之间的内容不需要。
p1的x是用来解析位置的，去掉文件末尾的<html>以后的内容。
程序p1的
namefile.puts urlfile.readlines[0..x]
没有按照
namefile.puts urlfile.readlines[0..2921]运行，
实际上可以看到x的输出分别是2921\3262\-1

第一个文件
http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nasdaq&render=download，需要保留第一行，因此从0开始，从第2921行开始，后面的数据不要，这个2921我已经求到。
http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nyse&render=download，不要第一行，因此从1开始，从第3262行开始，后面的数据不要，这个3262我已经求到。
http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=amex&render=download，不要第一行，因此从1开始，所有数据都要因此是[1..-1]
把x的带入进去就是，
namefile.puts urlfile.readlines[0..2921]
namefile.puts urlfile.readlines[1..3262]
namefile.puts urlfile.readlines[1..-1]
但是p1没有获得我需要的结果，请各位运行一下p1,p2,看看结果，就知道我的意图，其中的原因，为何p1无法获得我期望的结果，请解释一下，谢谢。

ruby定时执行任务 ... 3 replies

luofeiyu — Fri, 13 Aug 2010 09:45:55 +0800

在linux中，可以通过crontab来执行定时的任务，请问，ruby不调用shell命令，可否有它自己原生的解决方式？