20130413 uspstudy qonly
-
Upload
ryuichi-ueda -
Category
Documents
-
view
737 -
download
0
description
Transcript of 20130413 uspstudy qonly
第4回春爛漫シェル芸人撩乱 勉強会
USP友の会 上田 隆一
近況
• 月曜、とあるサイトをリリース – (日曜の朝から作業。泊まり込み) – 延期!でも明日も仕事だ!
• 今朝は子供が while sleep 1000 ; do 嘔吐 ; done で病院へ連れて行った。
• お察しください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 2
はじめに
なに!?
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 3
東京にミサイルが来るらしい
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 4
今、我々にできること
curlとシェル芸で無慈悲なパケット攻撃
(注意:ダメ絶対)
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 5
ということで本日は
シェル芸web編
やりませう。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 6
シェル芸とは?
• マウスも使わず、ソースコードも残さず、 GUIツールを立ち上げる間もなく、 あらゆる調査・計算・テキスト処理を コマンド入力一撃で終わらす。
– 近、一般名詞化 してきた
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 7
海外のシェル芸勉強会の様子(再掲)
今回の内容
• ウェブ関連の9問を準備 – ポイント • 表向き:webからの情報収集 • 裏のテーマ:不定形文章の処理(こっちが大事)
• ちょっと難しめ – 玄人が1人混入した2, 3人のグループを
作ってください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 8
注意
• 解答例は Mac で作成 • *Linux の人は gawk, gsedを適宜 awk, sedに読み替えのこと • その他環境でも、解答例にこだわらずネット等を
調べながら解答願います。
• 解答では、例題が解ければよい。 – 一般解を探すのは、場合によっては悪い癖となる。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 9
問題1: 肩ならし
• 次のファイルから、「index.cgi」を 除去して出力してください。 – ただし、p=index.cgiは残すこと。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 10
問題2: urlのリスティング
• 次のファイルを作って、urlを抜き出してください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 11
問題3: 整形
• インデントの汚いhtmlを整形してください – 一行にtd一個にすること
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 12
問題4: webページの切り取り
• yahooさんのトップページからトピックスの 見出しを抽出しましょう
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 13
問題5: 数値参照の変換
• 次のような数値参照、実体参照文字列を 読めるように変換してください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 14
問題6: ポスト
• hMp://www.usptomo.com/TOMONOKAI_CMS/CGI/hoge.cgi に、ポストでデータを送りつけてください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 15
こんなCGIスクリプト→
問題7: データの収集
• 本日の 高気温をワンライナーで 出力してください。
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 16
問題8: 画像をダウンロード
• ウェブページに掲載されている画像を集めてください。 – yahooさんのニュースのページ hMp://headlines.yahoo.co.jp/hl 等々から
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 17
問題9: クローリング
• どこかのサイトのトップページにあるリンク先のリストを作って、リストのページや画像等をダウンロードしてください。
– 相対パスにも対応しましょう。
– できたら再帰的にクローリング
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 18
おわりに
• 次は・・・
#!/beer/bash
2013/04/13 第4回春爛漫シェル芸芸人撩乱勉強会 19