달력

112019  이전 다음

  •  
  •  
  •  
  •  
  •  
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30

'log'에 해당되는 글 5건

  1. 2013.11.14 10일간 로그 분석
  2. 2008.12.06 okjsp 폭주 (2)
  3. 2008.09.05 네트워크에 관한 재밌는 얘기; 책임 못짐. ㅡㅡ; (2)
  4. 2008.06.08 테스트에 관하여 (4)
  5. 2007.08.23 eclipse 다른 콘솔 보기

10일간 웹로그에서 가장 많이 찍힌 문자열이 다음과 같습니다.

$ head -20 part-r-00000.sorted

-       38368124

+0900]  15687677

"GET    15639179

HTTP/1.1"       15460537

.NET    12153058

CLR     12152759

NT      12104459

"Mozilla/5.0    10849691

(compatible;    10664745

Windows 9383937

MSIE    9348230

200     8631840

6.1;    7713934

304     5998624

like    4948562

(KHTML, 4430859

Gecko)  4422071

"Mozilla/4.0    4289783

WOW64;  3823166

2.0.50727;      3712273


추출한 데이터 목록과 용량입니다.

[hadoop@hadoop input]$ ls -alh && du -h

total 3.6G

drwxr-xr-x.  2 hadoop hadoop  12K Nov 14 20:01 .

drwxr-xr-x. 12 hadoop hadoop 4.0K Nov 14 20:11 ..

-rw-r--r--.  1 hadoop hadoop 455M May 15  2013 localhost_access_log.2013-05-14.txt

-rw-r--r--.  1 hadoop hadoop 467M May 16  2013 localhost_access_log.2013-05-15.txt

-rw-r--r--.  1 hadoop hadoop 426M May 17 00:00 localhost_access_log.2013-05-16.txt

-rw-r--r--.  1 hadoop hadoop 153M May 18 00:00 localhost_access_log.2013-05-17.txt

-rw-r--r--.  1 hadoop hadoop 138M May 19 00:00 localhost_access_log.2013-05-18.txt

-rw-r--r--.  1 hadoop hadoop 154M May 20 00:00 localhost_access_log.2013-05-19.txt

-rw-r--r--.  1 hadoop hadoop 474M May 21 00:00 localhost_access_log.2013-05-20.txt

-rw-r--r--.  1 hadoop hadoop 474M May 22 00:00 localhost_access_log.2013-05-21.txt

-rw-r--r--.  1 hadoop hadoop 483M May 23 00:00 localhost_access_log.2013-05-22.txt

-rw-r--r--.  1 hadoop hadoop 437M May 24 00:00 localhost_access_log.2013-05-23.txt

3.6G    .


싱글 노드에서 돌렸을 때 20:11:27~20:19:28 (8'01") 걸렸습니다. sort는 1분 이하로 걸렸습니다.

date && hadoop jar hadoop-mapreduce-examples-2.2.0.jar wordcount input output && date


part-r-00000 파일을 정렬한 linux 명령은 다음과 같습니다.

sort -r -n -k2 part-r-00000 > part-r-00000.sorted


virtualbox 가상머신에 centos 6.4 minimal 설치하고, 실행했습니다.

$ cat /proc/cpuinfo /proc/meminfo

processor       : 0

model name      : Intel(R) Core(TM) i3-3220 CPU @ 3.30GHz

cache size      : 6144 KB

fpu             : yes

cpuid level     : 5

wp              : yes

bogomips        : 6585.72

clflush size    : 64

cache_alignment : 64

address sizes   : 36 bits physical, 48 bits virtual


MemTotal:        1020532 kB


$ df -h

Filesystem            Size  Used Avail Use% Mounted on

/dev/mapper/vg_hadoop-lv_root

                       14G  5.4G  7.4G  43% /

tmpfs                 499M     0  499M   0% /dev/shm

/dev/sda1             485M   52M  408M  12% /boot




Posted by 케누 kenu허광남

댓글을 달아 주세요

okjsp 폭주

java/jsp 2008.12.06 19:11

많이 느려졌습니다.

사이트가 느려졌을 때 톰캣 매니저(/manager/html)에서 확인한 세션수입니다. 선방하고 있다고 말하기 힘든 응답시간입니다. 이번 스프링컨퍼런스에서 알게된 mysql 느린 쿼리 로그를 활성화 시켜야 할 것 같습니다.

•MySQL has a Slow Query Log
 --log-slow-queries and --log-queries-not-using-indexes
관련: http://dev.mysql.com/doc/refman/5.0/en/slow-query-log.html

^^; 살살 방문해주세요.
Posted by 케누 kenu허광남

댓글을 달아 주세요

  1. 토비  댓글주소 수정/삭제 댓글쓰기 2008.12.08 08:50

    그러니까 얼른 스프링으로 바꿔야 대.

30여년 전
컴퓨터와 컴퓨터가 연결되었을 때
제일 처음 전송한 메시지가 뭔지 아세요?

저도 들은 얘기지만...

^^;




log

라네요.
역시 로그가 중요해요.

사용자 삽입 이미지

왜 통나무가 log인지 아세요?

윌슨 옆에 있는 톰 행크스 같은 사람들이 기록을 통나무에 남겼기 때문이라는... ( ''); 먼산
Posted by 케누 kenu허광남

댓글을 달아 주세요

  1. 용식  댓글주소 수정/삭제 댓글쓰기 2008.09.07 13:21 신고

    왜 그럴듯해 보이죠?? 헉...!!!!

테스트에 관하여

java 2008.06.08 13:02
테스트만큼 번잡스러운 것이 없습니다. 모두가 동의하는 것은 테스트를 많이 할 수록 버그는 많이 발견된다는 것인데, 문제는 테스트하기가 귀찮다는 것이죠.
6월 14일 발표하는 자료에서 이런 고민에 대한 저의 생각을 풀어볼 생각입니다.
사용자 삽입 이미지


첨부파일은 freemind(http://freemind.sourceforge.net) 마인드 맵 원본입니다.

Posted by 케누 kenu허광남

댓글을 달아 주세요

  1. songsungkyun  댓글주소 수정/삭제 댓글쓰기 2008.06.08 14:37

    테스트

    막스 레거(Max Reger) : "바흐는 모든 음악의 시작이며 끝이다."
    To me, Bach is the beginning and end of all music.

    위의 말을 바꾸어서 다음과 같이 만들어 봤습니다.

    테스트는 모든 프로그램의 시작이며 끝이다.
    To me, Test is the beginning and end of all program.

    완벽할 수 없지만
    적절하게 만든 테스트 케이스는 안전장치
    조금 후에 이 안전장치는 깨질테지만

    테스트를 테스트하고
    테스트들을 리팩토링하고
    테스트가 항상 실서버환경이 아닌
    테스트환경에서 실행되는지 체크하고

    저에게 있어서 테스트분야는
    아직 안개속에서...

    하지만 저의 사고의
    우선순위에서 상승곡선을 타고 올라가서
    이제 당당히 우선순위 1위

  2. hyunjun19  댓글주소 수정/삭제 댓글쓰기 2008.06.08 21:28

    '내 컴퓨터에서는 동작합니다. ㅡㅡ;'라는 말이 제 가슴에 와 닿네요...^^;;

콘솔(Console) 에는 보통 로그가 찍힙니다. 그래서 중요합니다.
콘솔뷰는 로그가 상황에 따라 다르게 관리됩니다. 마치 레이어처럼 말이죠.
Tomcat 서버를 시작하면 나오는 로그가 콘솔 뷰에 보입니다.
Servers Console

Servers Console


뷰의 우측상단에 Open Console의 역삼각형 부분을 클릭하면 다른 뷰를 열 수 있죠.
Open Console View

Open Console View


CVS를 열어보겠습니다.
다음과 같이 CVS 로그가 보이게 됩니다.
CVS Console

CVS Console


구석 구석 세심함이 묻어있는 좋은 도구입니다. ^^
Posted by 케누 kenu허광남

댓글을 달아 주세요