1 up | 2 up |
^^^ Additional posts ^^^
zorg.ch
#31337 by @ 05.05.2004 09:09 - nach oben -
insert ignore into comments_read ( postid, meids-userid)
zorg.ch
#31344 by @ 05.05.2004 09:18 - nach oben -
ah moment, mein post ist bullshit ;)
zorg.ch
#31345 by @ 05.05.2004 09:18 - nach oben -
Du koenntest die PostingIDs direkt in SQL schreiben (mehrere auf einmal) anstelle einen Loop ueber das SQL Query zu machen, und pro ID ein Query absetzen. Ich denke, das wuerde einiges bringen, denn im Moment siehts so aus aus:

acquire write lock
insert
release write lock
acquire write lock
insert
release write lock
[ x * 30'000 ]

Das andere waere dann
acquire write lock
insert [ 30'000 rows ]
release write lock
zorg.ch
#31346 by @ 05.05.2004 09:19 - nach oben -
mkay... ich weiss aber noch nicht wie das geht
zorg.ch
#31353 by @ 05.05.2004 09:26 - nach oben -
Also, MySQL hat gute Doku. Und ich bin ueberzeugt das du das schneller weisst. Ich bin von so kompliziertem Zeugs naemlich ueberfordert. Das ist was fuer Entwickler ;)
zorg.ch
#31364 by @ 05.05.2004 11:12 - nach oben -
Jo, ich lueg mol...
PS: Sysadmins können sicher auch Dokus lesen ;-)
zorg.ch
#31419 by @ 05.05.2004 21:10 - nach oben -
Aus der Doku:

There is a multi value example above. This one contains 3 rows to be inserterd.

mysql> INSERT INTO a VALUES (1,23),(2,34),(4,33);

zorg.ch
#31347 by @ 05.05.2004 09:19 - nach oben -
evtl ne transaktion machen demfalls?
zorg.ch
#31350 by @ 05.05.2004 09:22 - nach oben -
Jo, dann muesste man allerdings auf InnoDB umstellen. Kein Problem, gibt aber Downtime.
(tables dumpen, neu erstellen mit innodb tabletype).
zorg.ch
#31356 by @ 05.05.2004 09:57 - nach oben -
Ich korrigiere; mit 4.x reicht ein ALTER [ .. ] ENGINE = innodb;
zorg.ch
#31357 by @ 05.05.2004 10:09 - nach oben -
Waer mal soweit vorbereitet. InnoDB initialisieren kann er nur mit nem neustart des Daemons, -> ~2-3 Minuten Downtime. Wenns euch recht ist, kann man jetzt machen, sonst mach ichs heute Abend.
zorg.ch
#31361 by @ 05.05.2004 10:53 - nach oben -
Query Cache

Hilft natuerlich nichts gegen inserts.
zorg.ch
#31372 by @ 05.05.2004 11:51 - nach oben -
Mit Query Cache:


# siege -u "http://www.zooomclan.org/forum.php"
** Siege 2.09
** Preparing 10 concurrent users for battle.
The server is now under siege...done
Transactions: 299 hits
Elapsed time: 60.19 secs
Data transferred: 5751526 bytes
Response time: 0.97 secs
Transaction rate: 4.97 trans/sec
Throughput: 95556.17 bytes/sec
Concurrency: 4.84
Successful transactions: 299
Failed transactions: 0



mysql> show status like "Qcache%";
+-------------------------+----------+
| Variable_name | Value |
+-------------------------+----------+
| Qcache_queries_in_cache | 173 |
| Qcache_inserts | 339 |
| Qcache_hits | 46190 |
| Qcache_lowmem_prunes | 0 |
| Qcache_not_cached | 315 |
| Qcache_free_memory | 16379336 |
| Qcache_free_blocks | 9 |
| Qcache_total_blocks | 360 |
+-------------------------+----------+
8 rows in set (0.00 sec)


Von 0.5 Trans/s auf 5 Trans/s.

InnoDB Support ist nun auch aktiviert, muesste man also mal ausprobieren.
zorg.ch
#31373 by @ 05.05.2004 11:54 - nach oben -
Slow Query Logging spuckt ab zu dieses Query aus:


# User@Host: zooomclan[zooomclan] @ localhost []
# Query_time: 18 Lock_time: 0 Rows_sent: 23 Rows_examined: 94517
SELECT user.clan_tag, user.username, c2.*, UNIX_TIMESTAMP(c1.date) as date, count(c1.id) as replies from comments as c2
left join comments as c1 on c1.id = c2.thread_id and c1.board = c2.board
left join user on c2.user_id = user.id group by c1.thread_id order by lastpost desc limit 0,23;


Dieses Query ist nicht indexed, d.h. er macht einen full table scan.
zorg.ch
#31387 by @ 05.05.2004 14:25 - nach oben -
merci, ich schau den mal an...
zorg.ch
#31417 by @ 05.05.2004 21:04 - nach oben -

mysql$ explain SELECT user.clan_tag, user.username, c2.*, UNIX_TIMESTAMP(c1.date) as date, count(c1.id) as replies from comments as c2
->
-> left join comments as c1 on c1.id = c2.thread_id and c1.board = c2.board
->
-> left join user on c2.user_id = user.id group by c1.thread_id order by lastpost desc limit 0,23;
+-------+--------+---------------+---------+---------+--------------+-------+---------------------------------+
| table | type | possible_keys | key | key_len | ref | rows | Extra |
+-------+--------+---------------+---------+---------+--------------+-------+---------------------------------+
| c2 | ALL | NULL | NULL | NULL | NULL | 31042 | Using temporary; Using filesort |
| c1 | eq_ref | PRIMARY,board | PRIMARY | 4 | c2.thread_id | 1 | |
| user | eq_ref | PRIMARY | PRIMARY | 4 | c2.user_id | 1 | |
+-------+--------+---------------+---------+---------+--------------+-------+---------------------------------+
3 rows in set (0.00 sec)

Additional posts
zorg.ch
#31388 by @ 05.05.2004 14:26 - nach oben -
Query-Cache hast du jetzt eingestellt? Cool!
zorg.ch
#31414 by @ 05.05.2004 19:58 - nach oben -
Ja. Der bringt bei zooomclan.org zwar schon ziemlich was, aber bei den restlichen Kunden bringt er wesentlich mehr.

InnoDB muesst man mal ausprobieren.
Additional posts
zorg.ch
#31365 by @ 05.05.2004 11:13 - nach oben -
Das "acquire write lock " - Zeug geht nur mit innodb? Ja, das wär cool...
zorg.ch
#31367 by @ 05.05.2004 11:25 - nach oben -
Es geht darum dass bei ner Transaktion die inserts in einem rutsch gemacht werden und darum nicht für jeden einzelnen ein write lock gerupft werden muss.
zorg.ch
#31376 by @ 05.05.2004 12:30 - nach oben -
So wie ich das sehe, bringt das ganze ja nur was, wenn man alle Posts als gelesen Markieren will.

Ich denke der grösste aufwand ist das Rekursive suchen der Posts oder wie seht ihr das?
Also müsste man nach lösungen suchen, wie man das beschleunigen könnte.

Werdeb Stored Procedures in MySQL 4.x schon unterstützt? Dan könnte man eine Prozedur basteln, welche die ID's ausspukt und anschliessend noch die ID's lesen.
zorg.ch
#31377 by @ 05.05.2004 12:35 - nach oben -
Nein, Stored Procedures kann erst der 5er.

Aber die von milamber angesprochenen Subquerys kann der 4er (Doku).
Additional posts
zorg.ch
#31418 by @ 05.05.2004 21:08 - nach oben -
Aus den Docs:

If you are inserting many rows from the same client at the same time, use INSERT statements with multiple VALUES lists to insert several rows at a time. This is much faster (many times faster in some cases) than using separate single-row INSERT statements. If you are adding data to a non-empty table, you may tune up the bulk_insert_buffer_size variable to make it even faster. See section 5.2.3 Server System Variables.

Siehe http://dev.mysql.com/doc/mysql/en/Insert_speed.html

Auch Interessant:

http://dev.mysql.com/doc/mysql/en/Update_speed.html
http://dev.mysql.com/doc/mysql/en/Tips.html
Additional posts
zorg.ch
#31389 by @ 05.05.2004 14:27 - nach oben -
naja, das ist glaub wirklich nur beim "mark all as read", aber ich könnte mich täuschen.
zorg.ch
#31369 by @ 05.05.2004 11:27 - nach oben -
Hast Du aber mal untersucht ob dann nicht durch InnoDB das ganze noch wurstliger wird? ich kenne keine Performancevergleichen zwischen den verschiedenen Table Typen, aber könnt ja sein..
zorg.ch
#31370 by @ 05.05.2004 11:32 - nach oben -
MyISAM ist nur beim lesen schnell, bei Schreibvorgaengen verlierts so ziemlich all seine Vorteile.