Ver la versión completa : ¿Mejorar rendimiento disco en linux?
Puck2099
01/10/2009, 22:00
Buenas,
Tengo un ordenador prácticamente dedicado a las descargas de Internet con una distribución Debian, todo va bastante bien (es un G4 a 1.25 GHz), pero a la hora de pasarme los archivos por la red al PC "grande" la velocidad de transferencia es penosa...
Ahora mismo me va a 1.28 MB/s en una red supuestamente a 100 mb/s, pudiera ser un problema con el router o el cableado, pero al hacer un top o vmstat resulta que tengo el procesador al 100% casi todo el rato, con más de 85% en wa (operaciones de E/S si no me equivoco).
El disco duro según el hdparm está en modo UDMA, pero no sé si hay alguna otra manera de evitar esta carga de E/S que me parece brutal...
¿Se os ocurre algo?
Gracias :brindis:
Puck2099
01/10/2009, 22:21
Acabo de mirar la red como dices y está a 100 Mb/s y Full Duplex.
Lo de los procesos... estoy mirando en top, pero no encuentro cómo mostrar el porcentaje de CPU en wa en cada uno, solo el global... ¿alguna idea?
100Mbits/s= 12,5MBps
Descarta el 20% en cabeceras IP y te quedaran 10MBps, eso suponiendo que este bien negociado como dice civantoz y tengas la conexion como full duplex y lo que tengas sea un switch y no un hub, con mas ordenadores en la red.
Eso si todo funcionase bien, pero ya sabes, dependiendo del protocolo, las cosas pueden ir lentas, y por lo que dices estas compartiendo por protocolo de windows??
El problema te da con ficheros grandes o con muchos ficheritos pequeños?
Algun dato mas.
Saludos
Pero a ver, tan malo no es el SMB como para que le vaya a 1MB/s, dudo que sea eso.
Haz un test de velocidad de lectura de disco duro si no lo has hecho ya
# hdparm -tT /dev/hda
Puck2099
01/10/2009, 22:59
a top le puedes pasar el pid de un proceso con "-p num_pid", pero aún así creo que las estadísticas de arriba se siguen manteniendo para la memoria y el procesador de manera global, puedes confirmar?
Sí, es como dices, se mantienen las estadísticas globales...
También está el iotop, que es un top de entrada/salida, aunque nunca lo he visto, pero sé que existe.
Puck2099
01/10/2009, 23:05
100Mbits/s= 12,5MBps
Descarta el 20% en cabeceras IP y te quedaran 10MBps, eso suponiendo que este bien negociado como dice civantoz y tengas la conexion como full duplex y lo que tengas sea un switch y no un hub, con mas ordenadores en la red.
Eso si todo funcionase bien, pero ya sabes, dependiendo del protocolo, las cosas pueden ir lentas, y por lo que dices estas compartiendo por protocolo de windows??
El problema te da con ficheros grandes o con muchos ficheritos pequeños?
Algun dato mas.
Saludos
No uso switch o hub sino un router.
Estoy transfiriendo a un Windows, sí, pero usando el protocolo Samba a través de los sitios de red de Windows.
La velocidad es prácticamente la misma con ficheros grandes (+500 MB) que con "pequeños" (15 MB).
< - >
Eso también tiene que ver, es cierto, si puedes hacer la prueba de pasar de SMB, mejor monta un servidor FTP en un sitio, un cliente en otro y haz la prueba a pasar los mismos ficheros, probablemente la velocidad suba bastante :D
A ver si pruebo, antes tenía un cliente FTP en el Mac (creo que sigo con él), pero es más incómodo de transferir y además me daba muchos problemas con los nombres de los archivos cuando había puntos en los directorios...
< - >
Pero a ver, tan malo no es el SMB como para que le vaya a 1MB/s, dudo que sea eso.
Haz un test de velocidad de lectura de disco duro si no lo has hecho ya
# hdparm -tT /dev/hda
Con el buffered 31 MB/s, el cacheado mucho más.
Acabo de bajar el iotop, ahora pruebo.
31MB/s, pues problema del disco no es, es una velocidad bastante normal.
Sólo se me ocurre problema de driver de tarjeta de red. :confused:
No uso switch o hub sino un router.
Estoy transfiriendo a un Windows, sí, pero usando el protocolo Samba a través de los sitios de red de Windows.
La velocidad es prácticamente la misma con ficheros grandes (+500 MB) que con "pequeños" (15 MB).
< - >
A ver si pruebo, antes tenía un cliente FTP en el Mac (creo que sigo con él), pero es más incómodo de transferir y además me daba muchos problemas con los nombres de los archivos cuando había puntos en los directorios...
< - >
Con el buffered 31 MB/s, el cacheado mucho más.
Acabo de bajar el iotop, ahora pruebo.
Dependiendo de como sea el router lo que tienes es un switch o un hub, te lo digo porque he visto uno que lo que hacia era tener un puerto y replicar entre todos, vamos, una guarrada como una casa, por eso aviso.
Lo de los ficheros pequeños te lo decia porque muchas veces si tienes que abrir muchos ficheros, sube el tiempo de maquina, el tiempo de espera y baja la velocidad de la red.
Tb puedes mirar en el monitor del sistema si tienes el uso de red, tal vez tengas algo mandando mierda por el terminal ethernet y te ralentice todo :S
Puck2099
01/10/2009, 23:11
Dependiendo de como sea el router lo que tienes es un switch o un hub, te lo digo porque he visto uno que lo que hacia era tener un puerto y replicar entre todos, vamos, una guarrada como una casa, por eso aviso.
Lo de los ficheros pequeños te lo decia porque muchas veces si tienes que abrir muchos ficheros, sube el tiempo de maquina, el tiempo de espera y baja la velocidad de la red.
Tb puedes mirar en el monitor del sistema si tienes el uso de red, tal vez tengas algo mandando mierda por el terminal ethernet y te ralentice todo :S
Bueno, tengo puesto el Transmission (BitTorrent), pero no estoy bajando nada y subo a 20 KB/s.
Usando el iotop que dice efegea me dice que el 98% de la E/S la usa el demonio de Samba.
Bueno, tengo puesto el Transmission (BitTorrent), pero no estoy bajando nada y subo a 20 KB/s.
Usando el iotop que dice efegea me dice que el 98% de la E/S la usa el demonio de Samba.
torrent == muchos paquetes perdidos en tcp si no esta bien configurado, prueba a quitar, pero mas bien creo que es un problema dado por usar smb
Quien es el cliente y quien el servidor??
Puck2099
01/10/2009, 23:15
¿Podría ser cosa de la fragmentación de archivos? Acabo de traerme un fichero e iba a algo más de 3 MB/s, sin embargo con otro estoy de nuevo en 1 con algo...
< - >
torrent == muchos paquetes perdidos en tcp si no esta bien configurado, prueba a quitar, pero mas bien creo que es un problema dado por usar smb
Quien es el cliente y quien el servidor??
Pues Linux el servidor y desde Windows pillo sus archivos.
¿Podría ser cosa de la fragmentación de archivos? Acabo de traerme un fichero e iba a algo más de 3 MB/s, sin embargo con otro estoy de nuevo en 1 con algo...
< - >
Pues Linux el servidor y desde Windows pillo sus archivos.
Pon la configuracion de la carpeta compartida por samba, y la configuracion general.
Has probado a hacer lo contrario, creo que gnome permite entrar en carpetas compartidas por windows via samba, no se si otros escritorios lo permitiran.
Por ftp suele ser mas rapido, eso de usar un socket dedicado le da vidilla, ademas de que esta mejor pensado, pero puede ser cualquier cosa.
Puck2099
01/10/2009, 23:32
Nada, por FTP estoy consiguiendo las mismas velocidades y carga de CPU, solo que ahora el proceso que chupa es el vsftp.
< - >
Bueno, tiene que ser algo del disco...
He apagado el Bittorrent y he transferido otro archivo, esta vez a unos 6 MB/s, pensando que era cosa del Bittorrent se me ha ocurrido pillar otro archivo y esta vez de nuevo a 1 MB/s...
Nada, por FTP estoy consiguiendo las mismas velocidades y carga de CPU, solo que ahora el proceso que chupa es el vsftp.
< - >
Bueno, tiene que ser algo del disco...
He apagado el Bittorrent y he transferido otro archivo, esta vez a unos 6 MB/s, pensando que era cosa del Bittorrent se me ha ocurrido pillar otro archivo y esta vez de nuevo a 1 MB/s...
Tienes dos discos en ese ordenador o posibilidad de usar un disco usb?
Intenta copiar a otro disco y mira que velocidades tienes.
Que temperatura te coge el disco??
Saldos :S
Puck2099
01/10/2009, 23:42
Es un solo disco duro.
Mañana pruebo y te digo, que ya es muy tarde y hay que madrugar, pero tienes razón en que acabaría antes usando el disco USB como paso temporal entre un PC y otro...
¿En qué formato tienes la partición? ¿ext3, hpfs...? Es que también puede influir bastante...
Puck2099
02/10/2009, 21:21
¿En qué formato tienes la partición? ¿ext3, hpfs...? Es que también puede influir bastante...
ext3.
He probado a copiar antes un fichero de un directorio a otro dentro del mismo disco duro y la velocidad de transferencia era también de unos 2 MB/s, así que ya descarto la red y lo achaco al propio disco o a una mala gestión de la E/S por parte del kernel...
< - >
Bueno, mal que me pese, creo que voy a volver a instalar el Mac OS en detrimento de Linux a ver si así funciona mejor el disco... ¿Cuál es la última versión o la más recomendable para un PowerPC G4 a 1.25 Ghz con 512 MB de RAM?
ext3.
He probado a copiar antes un fichero de un directorio a otro dentro del mismo disco duro y la velocidad de transferencia era también de unos 2 MB/s, así que ya descarto la red y lo achaco al propio disco o a una mala gestión de la E/S por parte del kernel...
< - >
Bueno, mal que me pese, creo que voy a volver a instalar el Mac OS en detrimento de Linux a ver si así funciona mejor el disco... ¿Cuál es la última versión o la más recomendable para un PowerPC G4 a 1.25 Ghz con 512 MB de RAM?
Las pruebas de un disco al mismo disco puedes trampear mucho el resultado, porque depende del tamaño de la cola de escritura sobre disco, creo recordar, y con poca ram posiblemente esta sea pequeña, asi que tiene que hace cientos de saltos, para leer sectores y otros cientos para escribirlos donde tengas hueco.
Tb depende de si el disco es sata, es ide, la velocidad del mismo, vamos, que influyen muchisimas cosas, y que posiblemente el disco tenga un tiempo tb, no?
Saludos
Te puedo decir que yo en mi "server" con ext3 no paso de los 2Mb y con XFS llego facilmente a los 8Mb (con una tarjeta de red de 10Mb). Y que sftp me quita un par de megas frente a samba, supongo que debido a la encriptación (en XFS, en ext3 no cambia el rendimiento).
Lo que más gracia te va a hacer es esto:
[ 37.231903] ata1.00: ATA-7: Maxtor 6Y080L0, YAR41BW0, max UDMA/133
[ 37.231916] ata1.00: 160086528 sectors, multi 16: LBA
---
[ 37.631755] ata2.00: ATA-5: ST380021A, 3.19, max UDMA/100
[ 37.631767] ata2.00: 156301488 sectors, multi 16: LBA
El primero es que el está en ext3 y el segundo, con un DMA de 100 es el que está en XFS y alcanza los 8Mb. Para más datos, el segundo disco debe tener ya sus 10 años frente al primero que tendrás sus 6 o 7.
Por cierto, mi equipo: P3 800mhz con 128 de ram.
Puck2099
03/10/2009, 22:14
Pues he probado a reinstalar un Mac OS X Tiger y la velocidad por la red ha sido muy superior, unos 6-8 MB/s...
Lo malo es que al ser una versión ya "vieja" del OS X me están dando problemas algunos programas que piden ya Leopard o bibliotecas que no encuentro para esta versión, así que voy a ver si le meto otro Linux esta vez con el XFS que comenta Bernard para intentar mejorar la cosa...
¿Alguna recomendación aparte de Debian?
JoJo_ReloadeD
03/10/2009, 22:40
Usad reiser, por dios.
Puck2099
03/10/2009, 22:44
Usad reiser, por dios.
¿Es más rápido que XFS?
Puck2099
03/10/2009, 22:57
ReiserFS vuela, lo que no se que continuidad tendrá puesto que el tio animal tuvo un conflicto con la vida de su señora :$
Sí, recuerdo que se la cargó, ¿no? :loco:
Estoy mirando comparativas y por lo general ponen mejor al XFS que a ReiserFS, así que supongo que instalaré el primero.
De momento estoy bajando una Ubuntu, a ver si consigo instalarla sin problemas, pues siempre he tenido que acabar instalando Debian, sino me solían dar problemas con la gráfica...
Si mal no recuerdo XFS es un sistema de archivos diseñado para utilizar ficheros muy grandes. Basandome en eso hice la partición de un disco en XFS (para probarlo pues suelo manejar "isos") y la otra en ext3. Reiser si mal no tengo entendido es para el uso habitual de un SO (archivos grandes y pequeños).
En mi caso tengo una partición para "/" otra para /home (ambas en ext3) y el otro disco duro al completo en XFS. Con una Ubuntu Hardy server (sin servidor gráfico).
La verdad es que no me había dado por trastear con la velocidad de transferencia hasta hoy, a si que tampoco confirmo que pueda ser ese el problema, pero en cuanto confirmes/desmientas si ha funcionado creo que mi partición de ext3 va a mutar :)
Puck2099
04/10/2009, 00:07
Bueno, mañana probaré con Debian, la Ubuntu, como siempre, se me ha quedado con una pantalla en negro mientras "rasca" el CD...
Puck2099
04/10/2009, 00:36
Alegrate, si Ubuntu lo único que ofrece frente a Debian es versionitis e inestabilidad xD
Ya, pero también está más actualizado...
Joe, acabo de probar con el instalador de "testing" de Debian y, tras arrancar la pantalla en la que elegir idioma, ya no me pilla el teclado...
La última vez creo que conseguí instalar Debian al tercer intento porque se colgaba en un punto de la instalación, la verdad es que meter Linux en este Mac es todo menos "apetecible".
Yo voy a probar un poco de zfs, lo que no se es como se comportara para arrancar el sistema, grub lo soporta o tendre que hacerme muchas particiones??
Por lo que tengo entendido es mas rapido, y como tiene tamaños variables de bloque, sirve tanto para ficheros gordos como para pequeños, no?
Saludos
No se como va Mac, ¿son bios normales como las de PC? ¿Si es así tienes activada la emulación de teclados legacy de USB?
<->
De ZFS ni pajolera xD
Ya os ire contando, ya xD
Puck2099
04/10/2009, 01:08
No se como va Mac, ¿son bios normales como las de PC? ¿Si es así tienes activada la emulación de teclados legacy de USB?
Que yo sepa no se puede entrar a la BIOS... lo raro es que el teclado sí lo coge en la pantalla del Grub, así que por hardware no es.
Acabo de probar con el CD estable de Debian y sí pilla bien el teclado, mañana lo instalo.
Por cierto, me encanta el instalador en modo texto de Debian :brindis:
Que yo sepa no se puede entrar a la BIOS... lo raro es que el teclado sí lo coge en la pantalla del Grub, así que por hardware no es.
Acabo de probar con el CD estable de Debian y sí pilla bien el teclado, mañana lo instalo.
Por cierto, me encanta el instalador en modo texto de Debian :brindis:
Mola, pero si no tienes cuidado te instalas TODOS los paquetes desde internet, como me paso a mi por no leer, y es un coñazo xDD
Yo creo que directamente voy a dar el saldo al demonio dojo de freebsd, ya que voy a tener que usarlo para el pfc, pues directamente me monto el entorno sobre el mismo, mil cosas las se hacer sobre este y sobre linux me cuesta un monton xDDD
Si doy el salto tb hago un par de pruebas, pero por ahora ext3 me va bastante bien, el que me va peor, sobretodo por fallos a la hora de eliminar archivos grandes, es ext4, y los gañanes de ubuntu lo ponen como por defecto, cuando es un error reportado y creo que no solucionado, se ve el caos
Puck2099
04/10/2009, 01:16
Si doy el salto tb hago un par de pruebas, pero por ahora ext3 me va bastante bien, el que me va peor, sobretodo por fallos a la hora de eliminar archivos grandes, es ext4, y los gañanes de ubuntu lo ponen como por defecto, cuando es un error reportado y creo que no solucionado, se ve el caos
Yo todavía estoy esperando que solucionen el problema del Tracker cuando metes una unidad extraíble...
Juer, pues yo en Debian siempre tengo algún problema >.< Debo de ser t0nto, pero soy incapaz de instalar aplicaciones de 32 bits en Debian Lenny AMD64 xD
Topochan
04/10/2009, 09:32
Hay mucho posibles problemas, pero apuesto que es de disco, tuve uno parecido y al final fue el disco usb que no daba más de si, aunque despues de tu prueba de hdparm ya no se.
Si vas a instalar una debian testing lo clasico es instalar la estable y sobre ella la testing.
Puck2099
04/10/2009, 12:05
Bueno, acabo de instalar la Debian (esta vez sin problemas [wei4]) con XFS y he hecho unas pruebas de escritura en el Mac y lectura desde él, todas a través de Samba.
El resultado es asombroso, entre 11 y 12 MB/s de transferencia, cuando lo más a lo que llegaba antes eran 2-3...
Bueno, acabo de instalar la Debian (esta vez sin problemas [wei4]) con XFS y he hecho unas pruebas de escritura en el Mac y lectura desde él, todas a través de Samba.
El resultado es asombroso, entre 11 y 12 MB/s de transferencia, cuando lo más a lo que llegaba antes eran 2-3...
Muchas gracias, ahora mismo me miro un poco la documentacion de xfs, a ver que pinta tiene xD
Saludos
Yo aún no lo he necesitado, que sigo anclado en el mundo de los 32 bits, pero chrootando las librerías que necesitas y partes del sistema necesarias para ejecutar en 32bits y haciendo uso de las librerías IA32 deber ser "fácil" hacer rular cualquier aplicación, bueno ante la duda, un poco de lectura ligera para un sábado noche xD
http://alioth.debian.org/docman/view.php/30192/21/debian-amd64-howto.html#id292205
Gracias :) según leo (es posible que lo haya entendido mal xD), las aplicaciones no se instalan, sino que toca ejecutarlas a mano desde el terminal, lo cual no me gusta xD. En Ubuntu uso un programa que se llama "getlibs", que tras forzar la instalación de un .deb se encarga de meterle las cosas que necesita para funcionar. En Debian instalé getlibs, pero no había manera de hacerlo funcionar... que desastre xD.
Powered by vBulletin® Version 4.2.5 Copyright © 2025 vBulletin Solutions Inc. All rights reserved.