土曜日の夜一杯やっていると...

27日土曜日夜8時頃、自宅で一杯飲んでいると、大学の某教授から電話で医学のサーバがこけたと言ってきた。で、自宅から確認すると、kiban がこけていた。mikeちゃんは問題ない。kiban の再起動が必要だ。

土曜日の夜も働いている某教授も偉いというかworkaholicだけど、困っているのはわかるけど、どうしようもない。こっちはもう出来上がっちゃっているからな。技術責任者はバングラディッシュとかに出張で、メールも届かないとこにいるみたいだし...

というわけで、日曜早朝5時半に大学に来て、kiban再起動。動いている。どうもkiban が先日の停電以来不安定だ。

Spam-その40

このサーバちゃんのspam 除去率を久々にアップします。

20071024.gif

9月末に何故か打率が落ち、10初旬に回復しました。昨日の打率は.600 で、管理者が使っているThunderbirdと重ね合わすと打率.889 となりGmail にははるかに及びませんがいいところに行きます。

ネット不通の原因

一昨日の日曜日朝(21日)にはじまったネットワーク障害の原因は、まだ中央からレポートがないのでわからない。大学が回復したあと、部局は延々と回復しなかった。

結局、部局の場合は基幹ネットから部局のサブネットの間の光ケーブル接続に問題があったためである。光ケーブルは1本が1Gbpsで、これを2本使って帯域を2Gbpsとして運用している。つまり負荷分散で見かけ上のスピードを上げているのだ。この分散装置の動作不良で、同じネットワークにある m, e などのサーバは問題がなく、k だけがおかしいという症状になったのだ。何故かはわからん。Proxy server である t ちゃんは k のDNSに依存しているので t も動かないということになったのだ。

一部から、部局のネットワークは障害が多すぎるとのクレームがあった。そうだろうか?

現在のシステムになった平成16年1月から、予告のあったネットワーク器機交換や点検のための停電などの場合を除いたネット全体が事故で落ちたケースを拾ってみた。研究室内とかセグメント内で終止しているローカルな事故は含まない。 メール送受信以外の、一部のWebページが見えないなどのサービスの一部が出来なかった場合も除く。

平成16年11月8日早朝 2時間 全学基幹器機の障害

平成16年11月1 0日昼頃 30分 全学基幹器機の障害

平成17年1月24日朝  3時間 全学基幹器機動作不良

平成17年1月28日昼 不明 部局外の末端器機の故障・ウイルス? 接続しにくくなった

平成17年5月2日深夜から早朝 9時間 全学基幹器機の故障

平成17年9月 1日朝 1時間 部DHCPサーバ電源故障

平成17年10月16日 不明 電源定期点検後、全学基幹器機一部不調

平成18年 5月16-17日 断続 局部DHCPサーバ不調

平成18年10月16日夕方 20分 全学基幹器機故障

平成19年1月15日―16日 断続 局部DHCPサーバ故障

平成19年8月20日 30分 全学過負荷による停電事故

平成19年10月21日―22日 全学基幹器機故障

こうやって見ると、局部情報基盤室管理下の器機が原因なのは年1回あるな。DHCPサーバが原因だ。担当者がDHCPがいやだというのもわかるな。

この他に、予告があるものの、ネットワーク器機の交換・リセットとかが、部局、全学基幹部、SINETで短時間だけどあることと、研究室内あるいは特定のセグメント内だけのトラブルとかがあるので、どれをとってもユーザはネットが使えないことに変わりがないから、部局はネットが安定していないとかいうことになるんだろうな。

大学のDNSが混乱している

昨日の日曜日(21日)06時を最後に、管理者自宅サーバからの3時間毎の定期メールが、現在(22日午前7時半)まで来ていない。通常だと、月曜日に大量のスパムを処理しないといけないんだけど、それが少ないのでらくちんだ。て、あとで、どっとくるんだろうけど。このサーバ ちゃんの Spamassassin は好調で打率7割5分だった。

医学の生理のサブネット内から、Tサーバ をプロキシに設定すると学内のサイトも含めてアクセスできない。time out になる。プロキシを使わないと接続できる。k にも接続できない。

学外からこのサーバ へのアクセスは、昨日、朝はできなかったが、昼頃から可能になった。

k のDNSが機能していない。しかし、k のせいではなさそうだ。大学のルーティングが混乱しているらしい。

科研費

さって、諸君、科研費申請は終わったかね?

齢を重ねると、新しい申請システムは昨年も使ったのに忘れちゃっている、折角色々なサポートが研究支援とかからあるんだけど一切利用しない、 ということになる。

んでもって、近くの若者のサポートがないと申請すら危うい。いやですな。 :cry:

若者がサポートしてくれると、ますます頼っちゃう。出てくるのは、x本先生と同じく、ため息だけですな。

「おい、アレくれ」 と言うのは極力避けているんですけどね。:sad:

定期点検の停電からの復帰

日曜日午後5時、定期点検のための停電が復帰する予定。

午後5時前に大学に行ったら、まだ電源は回復していない。17時ちょうどに電源が復帰した。

そんでもってKを起動。問題なし。セキュリティドアのサーバを起動...ん?パスワードがわからん。担当の技術職員の電話番号がわからん...後回しだ。

QR, Z, D, S を起動。む、Z の電源が入らん。電源が潰れた可能性が大だ。担当のxx先生に電話。通じない。月曜日だな。 この前の停電事故では問題なかったんだけどね。

M と T を起動。問題なし。

あちこち、電話してセキュリティサーバの管理技術職員の自宅の電話番号をさがし、電話して、パスワードを聞いて、サーバは無事起動。問題なし。

で結局、小一時間 かかった。帰宅して風呂入って、酒のんで、阪神が中日に負けるTV中継みておしまい。

出張先のホテルのnet

和歌山でサテライトシンポジウムがあり、参加しています。

ホテルは一泊5000円の格安ホテルで、net接続ができるのは期待していませんでした。ですから、メールはホテルのロビーにあるパソコンでG-mailでやっていました。。

部屋にはVOD専用モニターというのが普通のTVセット以外にも壁に取り付けられており、シンポジウムに同行している某助教もVODがなんだか知りませんでした。最近は知らない言葉があるとnetで調べるというのが習慣になっていますが、netに接続できないのでは知りようがありません。

このVODモニターには映像・音声信号ケーブルのほかにLANケーブルも接続されています。LANケーブルはモニタの背面の箱につながっていて、その箱からコネクタのついたケーブルがあり、このコネクタにはLANケーブル接続されていて、ベッドサイドのテーブル背面に入っています。おととい、このホテルに着いたときは、このサイドテーブル背面にあるケーブルがひょっとしてインターネットにつながるのかと思いためしてみましたが、だめでした。

ところが、今朝再度よく見ると、別のLANケーブルが天井からこのVODモニターに接続されているのを発見し、それではサイドテーブル背面からのケーブルはなんだ?ということになって、引っ張ってみましたら、なにも接続されていないということがわかりました。

でこのケーブルをPCにつないだら、DHCPサーバに繋がり、無事こうやってブログに書き込めることになったわけです。

しかし、部屋のホテルの説明書なんかないし、なんの説明もなく、フロントで改めて聞いても下っ端はなんだかわかっていなで「さあー?」というだけです。

ま、安いからしょうがないか。北京や西安のホテルは高いけどnetに接続できないに比べたらましです。

明日、別のサテライトシンポジウムが京都であって 、これに出るので今日一日はフリーです。

和歌山は以外と遠く、大阪から1時間以上かかります。つくばからは6時間みる必要があります。ですから今日筑波にもどるというのは意味がないと決めて、一日ひまになりました。

ちなみみVODとは Video On Demand の略で、要するにカード を購入したらエロ映画をみることができるというもののようです。

D棟からのメール伝導時間

D棟から出したMのアカウントへのメールの所要時間
Yさんの最近のメールの例
Yさんのパソコンが送付した時刻:10時59分17秒
kaのサーバが受け取った時刻:10時59分25秒(多分、Yさんのパソコンの時刻が誤っている。ここでこんなに時間がかかるわけがない)
kaのサーバからkが受け取った時刻:10時59分55秒(kannseiのサーバからkiban まで30秒もかかる)
kからMが受け取った時刻:10時59分55秒(kではほとんど消費していない)
mが処理して受信者のメールフォルダに入れた時刻:11時00分25秒(メーリンの処理に30秒かかった)

というわけで、1分かかる

D棟から出したmのメーリングリストへのメールの所要時間
K君の最近のメールの例
K君のパソコンが送付した時刻:10時14分18秒
kaのサーバが受け取った時刻:10時14分07秒(多分、K君のパソコンの時刻が誤っている)
kaのサーバからkが受け取った時刻:10時14分37秒(kaのサーバからk まで30秒もかかる)
kからmが受け取った時刻:10時14分37秒(kではほとんど消費していない)
mがメーリングリストを処理して26名に配信し受信者のメールフォルダに入れた時刻:10時16分20秒(メーリングリストの処理に1分43秒かかった)

したがって2分強かかる。

結論:

b.k.t.ac.jp というD棟のメールサーバがとろい。サーバの能力か、DNSの解決に時間を要しているのだ。

m がとろい。中古パソコンで能力が低いからだ。

spam-その39

スパムメールの率とm の除去率(件名に***JUNK MAIL*** が付加されたもの)は以下のグラフです。横軸は計測順で、平日は1日に1回、週末は土日のメールを1回としています。平日に必ずカウントしているわけではないので、正確ではありません。

20070928l.gif

これをみてもわかるように9月6日頃から、なぜか除去率が下がり(4〜5割くらい)、昨日は7割5分の成績でした。理由はわかりません。通算打率は6割位です。あまり当初から改善されていません。spamメールを学習させているんですけどね。:cry:

停電ー対処できたか?

9月1日(土)午前5時−9時まで、8月20日のトランスがぶっとんだための全学停電の修理のため、停電である。朝5時だぜ!!:evil:

ファイルサーバであるbは前日に落とし、月曜日に起動しても問題ない。使うのが生理の人間だけだからな。分散サテライトも前日に落として月曜日起動で問題ないでしょ。利用者は学群学生だし、まだ夏休みだし。これらは担当者が対応するからいいでしょ。

k, m, t , QR はリモートで午前5時直前にシャットダウンすればいいが、セキュリティドアのサーバは、当然ながらインターネットに接続していないのでリモートで落とすことはできない。しかし、このサーバのUPSは1時間以上持つのがわかっているから、朝5時前に起きて、サーバをリモートでシャットダウンして、一眠りして、朝6時ころ大学に出てきてセキュリティドアのサーバを落として、UPS の電源をきって... また9時頃、大学に出てきて、UPSの起動とサーバの起動をすればいい...なんて甘い考えがいけなかった。

目がさめたのが朝6時直前。やば!! この時点では全学停電だからリモートでシャットダウンできない。

大学にきたのが6時10分。

m はUPS で動いていたが、t のUPSはもたなかった。バッテリーがそろそろアウトだからな。k とQR は,別の管理者がやることになっていいたから落ちていたんだろう。 確認する暇もない。

あわてて、セキュリティドアのサーバをシャットダウン。m をシャットダウン 。セキュリティドアのサーバとm, t, QR, b のUPSを落とす。

tだけが、異常修了だったわけで、HD がこけていないことを祈るだけ。でも はproxy の機能だけだから、こけちゃっても再構築は簡単だし、その間、生理グループのネットへの接続は可能だからなんとかなるだろ。

いったん自宅へ。コンビニに寄って朝食を買って、自宅で朝飯食べて、9時に再度大学に来て、全てのUPSを起動。セキュリティドアのサーバを起動。t, m, QR, bを起動。k の担当者はさらに遅れて登場。k 起動。

問題のtama は起動しただけではproxy が動いてくれなかったので、実験室から リモートで再起動。動いた。いがった。:wink:

セキュリティドアのサーバがドア開閉情報を記録しているのを確認した。9時頃沢山の大学院学生が来ている。停電時、医学の建物内では、冷凍庫のアラームがあちこち鳴っていた。 冷凍庫がちゃんと動いていることを確認しないとヤバい研究室が一杯あるからね。下っ端が来る事になっていたんだろう。

m, t, k がちゃんと動作している事を確認。 QRの確認は月曜日だな。利用者だけどID, パスワード忘れたし、利用できる環境にないし。で、月曜日朝、動作確認した。

めでたし、めでたし。が、....月曜日の朝、動いていないセグメントがあった。ユーザからのクレームだ。て、クレームがないとわからん。いちいちすべてのセグメントが動作しているかを確認できない。

原因はセグメントを仕切っているスイッチが起動時に設定をちゃんと読まなかったらしい。2度再起動して問題解決。:smile:

このスイッチは学情が管理している。これはまずいかも。迅速な対応ができなくなるかもしれない。ただのスイッチングハブで一時的に置換すればいいのだろうか。管理者なのに実務管理者に任せているので、いまいち理解していない、まずいな。 :sad:

From Beijin その2

昨日の うろつき の報告。

ホテルの西側は各国の大使館があります。麻布とか狸穴みたいなとこですな。でもその裏通りは、庶民の街です。麻布だって同じだ。そこでみた大衆食堂の裏は

peijin-street.jpg

拡大すると

peijin-noodle.jpg

わかるかな?刀削麺を作っているんです。 表通りはきれいなビルとか、大使館の玄関、庭なのですが、裏に入ると、行き止まりの通路とか通り抜けることができるかどうかわからないふるいアパートが立ち並んでいて、露天の店とかちっちゃな店があります。そのひとつの大衆食堂でした。食べようかと思ったんですけど、夕食が用意されているから…でも失敗。ホテルのお仕着せの夕食はまずかった。

From Beijin with Love

北京に着いたよん。

空港で待っていた車は!!

limousine.jpg

だ。                 うそだよ。きまっているだろうが。

ホテルのnetの速さはすごいよ280kbsだ。ISDNの時代だな。

ホテルの部屋に入って、LANポートがあるからつないだら、ホテルのWebページがでてきて有料だけどいいか? だって。この高いホテルで有料だとさ。頭くる。1日120円だといっていたが、どうだかな。

で I agree. のボタンを押してもエラーでつながらない。フロントのねーちゃんに交渉しても埒が明かない。一日120円だというだけだ。

当然、上司を呼べ ですな。で上司は話を聞いたらすぐ裏に引っ込んでなにやら設定して、大丈夫だという。

ぷらぷら出かけて、もどって再度挑戦。つながった。なにか各部屋ごとに接続の制限をしているようだ。

停電その2

8月20日に吹っ飛んだトランスの交換らしい。

9月1日(土)午前5時ー9時の4時間、停電だ。  こっちのサーバは リモートで 午前5時直前にシャットダウンが可能だが、再起動にはサーバ自体を操作しないとできない。つまり休日出勤だ。

あっち のほうは実務管理者が同様にリモートでシャットダウンして9時ころ出勤。

セキュリティドアはしょうがない。そもそもインターネットに接続する代物じゃないから、シャットダウンと再起動はサーバ自体の操作をするしかない。

電算機室と分散サテライトは前日午後5時から月曜日朝9時までシャットダウンでいいでしょ。まだ学生は夏休みだしね。

停電のせい?

MacOSX と WinXPを使っているが、メールとかは基本的にWinでは行っていない。この Macに内蔵HDをもう1台設置してバックアップにつかっている。 SliverKeeper でHDをまるごとバックアップしている。バックアップに成功すると、このバックアップ用のHDからも起動できる。毎日午前2時にバックアップするように設定している。

今朝、出勤してきたらバックアップに失敗している。何回かトライしたができない。で調べたらバックアップ用のHDのテーブルとかが壊れていた。 DiskFirsAIDS でも修復できない。初期化した。ただちにバックアップした。2回バックアップする。どうもSliverKeeper は1回に多量のファイルのバックアップすると抜けがあった経験がある。だから最初のバックアップは連続して2回やっておく。差分だけをバックアップするから2回目は時間がかからないはず。2回目は新規のコピーが1MB以下だったから1回目でバックアップは完成していたことがわかった。この新規にできたファイルは Libraryにできたやつなので、しょっちゅう書き代わるファイルなんだろ。

バックアップHDから起動できるのを確認した。 この辺が Windows と違っていいとこだ。 Win だと起動ディスクを作成するのは非常に面倒だ。だから作っていない。データの部分だけバックアップしている。

停電のときHDにアクセスしていなかったはずだけど、壊れた。停電のためという可能性が高いが証拠はない。回復できたから問題ないが2時間はこれでつぶれた。:sad:

停電

朝10時ちょっと前に、全学で停電。実務管理者がいたのでkiban のほうはおまかせ。

セキュリティドアのサーバはUPSが1時間くらい持つことを確認してあったので、最初うっちゃっておいたけど、さすがに15分を過ぎるとヤバいので、シャットダウンを指示した。

mike. tama はしばらく様子をみていたが15分以上続いたのでシャットダウン。buchi もシャットダウン。 1時間弱で電源回復。全て改めて起動して、トラブルは無し。これで現在のUPSでは15分は持つことがわかった。

mike, tama, buchi のUPSはかき集めてきたもので、それぞれてんでんばらばらにアラーム音を出す。アラームも5秒間隔とか30秒間隔でぎゃーぎゃーわめくのとかがあってうるさいこと、うるさいこと。:evil:

停電の原因は、夏休みが開け、全学で空調を一斉に使いはじめたのでオーバーロードで落ちたと予想するけどちがうかな?13日(月)、14日(火)は全学で夏休み(経費削減のため、有給休暇にカウントされない)。とすると15日(水)から17日(金)の3日間は夏休み(こいつも有給休暇にカウントされない)をみんな取るでしょ。そうすれば1週間丸々休みになる。んでもって20日(月)10時頃、大学に出てきて空調の電源を入れはじめた。大学の先生は10時出勤が多いんだろうな。本当の勤務時間は9時前なのに。:cry:

管理人はちゃんと 9時前には来ている。ということを皆知っていて、9時頃、電話がよくかかってくる。PCME室とか、いろんな所からだ。前日、処理できなかったことを電話してくるのだ。:!:

今回のような停電時の連絡網というのは大学で確立していない。黒電話(べつに黒くなくてもいいけど、localな電源を必要としないやつ)経由で、緊急時の連絡網があってしかるべきだ。個人が施設などに問い合わせた結果が噂のように伝たわる。地震で被害が生じたときはどうするんだろ?

今回の停電の被害報告を出せとかいう文書が何日かあとにくるんだろうな。被害があったからといって弁済してくれるわけじゃない。:roll:

正午頃、事務経由で10時−11時40分の停電はトランスの故障だという情報があった。3台あって1台がこけて現在は2台で運用しているらしい。トランスがこけた原因はわからない。トランスとはtransformer 変圧器のことで、アクティブなコンポーネントはないから故障は過電流によるオーバーヒート、接続部の破断とかしか考えられないけど。:mrgreen:

午後5時に入った情報では、3台あるトランスの1ヶの碍子がぶっ飛んでいたそうな。オーバーロードとトランスの老朽化なんだろうな。:twisted:

遅い

このサーバ の処理速度が遅い。5年前のMac だから当然か。8秒ルールに抵触しそうだ。

メールは処理に30秒もかかる。

誰か寄付してくれ。最新のやつを。

追伸2007.8.22

このサーバ ちゃんは Washingtong 大学にいる奴のファイルサーバにもなっている。ファイルは違うvolumeだけど、mike なのだ。でここにFTPでアクセスするのが、日本時間で真夜中から朝3時くらいなんだけど、このFTP接続があると、また遅くなる。なんとかしないと。

quote

引用を色付きの枠内におさめるためにstyleシートに書かれているblockquoteの部分を変更した。
~/Sites/blog/wp-content/theme/EasyAll/style.css の135行目

#content div.post div.storycontent blockquote {
background: #f7f7f7;
border-left: 3px solid #6F6F6F;
font-family: Osaka, Verdana, sans-serif;
margin-left: 20px;
padding: 4px 4px 4px 7px;
width: 85%;
}
の前後にコメントであることを示す /* と*/ で囲ってコメントアウトして
/*Original blockquote
#content div.post div.storycontent blockquote {
background: #f7f7f7;
border-left: 3px solid #6F6F6F;
font-family: Osaka, Verdana, sans-serif;
margin-left: 20px;
padding: 4px 4px 4px 7px;
width: 85%;
}
*/

とした。そのあとに、

.red{
background-color: #FBD7DE;
border-left: 10px solid #FB5679;
margin-right: 5px;
margin-left: 20px;
padding: 3px;
}

.blue{
background-color: #CDDAFD;
border-left: 10px solid #8FABFD;
margin-right: 5px;
margin-left: 20px;
padding: 3px;
}

.green {
background-color: #CAF8CA;
border-left: 10px solid #2AF52A;
margin-right: 5px;
margin-left: 20px;
padding: 3px;
}

.yellow {
background-color: #FEFDC4;
border-left: 10px solid #FCF925;
margin-right: 5px;
margin-left: 20px;
padding: 3px;
}
を書き加えた。

<blockquote class=”▲▲▲”>文字列</blockquote>

と記入する。 ▲▲▲ にred, blue, green, yellowとすると

のようにに表示され、指定しないと(つまり <blockquote>なし</blockquote>)、

なし

のように一段下がって表示される。しかし、:roll: 投稿の編集画面には反映されない。

Stupid Blog by Stupid Guy