Para hacer cualquier tipo de benchmarking consistencia es la clave.
Cuando la evaluación comparativa de su software, ya sea para ser publicados como parte de su material de marketing o no, debe ser consistente a través de especificaciones técnicas, no sólo "la línea" (MacBook Pro de 13").
Estoy tratando de medir el rendimiento de una pieza común de software en la línea actual de 13" y 16" para el propósito de la comparación entre modelos.
El problema es técnico configuraciones de cambiar significativamente dentro de esa línea. Mi 2020 13" MacBook Pro pueden ser muy diferentes a los de su 13" MacBook Pro. Incluso si usted elige utilizar una amplia cepillo para describir las estadísticas de rendimiento, puede ser "demasiado amplia, un pincel" porque la CPU, la GPU y la memoria de las configuraciones pueden variar en un amplio grado. Debido a esto diciendo: "tenemos X operaciones en el 13" modelo e y operaciones en el 16" modelo" no tendrá mucha relevancia debido a la natural pregunta será "que uno de los 13 modelos hice la prueba."
Crítico Y No Crítico De Los Factores De
-
CPU: La CPU puede variar de un i5 a 1,4 GHz a un i9 de 2.3 GHz. Con solo eso puede afectar a su rendimiento (e i7 de 2.3 y un i9 2.3 son muy diferentes en términos de velocidad.
-
Memoria: no Es tan crítico como te gustaría pensar que si no hay presión de memoria porque estás aprovechar al máximo. Por ejemplo, por lo general, si usted está utilizando un total de 4GB de memoria RAM, 8 o 16 GB total no importa, pero si usted está empujando 8GB y comparar máquinas de 8 y 16 gb, usted verá una diferencia de rendimiento.
Sin embargo, desde un punto de vista de marketing (lo que el cliente lee), que desea mantener la coherencia. Usted no quiere que ellos preguntando "¿por qué el uso de 8 de aquí y de 16 no?" Usted quiere evitar dar al cliente "latas de gusanos para abrir."
-
GPU: Crítica si el equipo hace uso de la GPU de alguna manera - para la representación de gráficos o de los números. Sin embargo, al igual que la memoria, que quiere permanecer en constante también aquí, como también es "una lata de gusanos que usted no quiere abrir."
-
Almacenamiento: No critico en absoluto. Si se ejecuta esta en un MacBook Pro con 256 gb de almacenamiento SSD o un SSD de 512 gb no va a hacer ninguna diferencia en el rendimiento de almacenamiento no se mide en el tamaño, pero en IOPS o *Entrada/Salida por Segundo. Así que, a menos que su aplicación depende de la velocidad de lectura/escritura en un coche, usted puede estar seguro de ignorar este factor.
-
Toque la barra: Yep! El Toque de la barra. Mientras que él no tiene "procesador" a la unidad, aún tiene que sincronizar con el resto del sistema operativo y que requiere de ciclos de CPU (como pocos, como pueden ser). Usted no quiere algo gorrones ciclos de CPU de una máquina de prueba y no otro, asegúrese de que su consistente en tener o no tener uno.
-
WiFi: Generalmente no es una preocupación, especialmente si la conectividad de la red no es un problema. Si su aplicación no es necesario, desactive la consistencia. Esto también, es como el almacenamiento, a menos crítica, puede ignorarlo
-
Dispositivos periféricos: teclado, ratón, discos externos, etc. La mayoría de estos utilizan muy poco en el camino de ciclos de CPU, pero de nuevo, no quiero un rendimiento sanguijuela que afectan a sus datos. Sin embargo, si usted debe utilizar uno, como un USB-C a HDMI o adaptador de Ethernet, asegúrese de que está utilizando idénticos para cada máquina. No hay un puente USB (interfaz entre el USB y el dispositivo) o incluso en una SATA (en unidades) o Ethernet (de red) del controlador. Los fabricantes son conocidos por la desactivación de características (incluso si el mismo chip se utiliza) o el uso de pobres realización de fichas que requieren más ciclos de CPU para compensar. Si usted debe usar una de estas, asegúrese de que son de la misma marca y modelo.
-
OS: esto es muy importante. Quieres un limpio (que significa nueva instalación) sin la 3ª parte de nada instalado. El modo seguro es bueno en un apuro, pero no tiene en cuenta las Preferencias del Sistema de las personalizaciones que haya realizado. El sistema operativo debe ser la misma hasta el número de compilación.
-
Medio ambiente. Algo crítico. Idealmente, usted desea que se ejecute en una "sala de la temperatura de la habitación" donde el calor de los factores no cambian significativamente (es decir, una habitación con un montón de ventanas). A menos que usted está probando en el ártico o en un desierto, cualquier control de temperatura de la habitación está muy bien.
TL;DR
El Benchmarking requiere repetible consistencia. Sin embargo, puede configurar sus dispositivos, usted debe hacer todo lo posible para garantizar la coherencia del entorno de pruebas donde se pueden realizar varias iteraciones de la referencia, sin preocuparse de que los factores son inconsistentes.
El peor escenario es que el chico que le gusta jugar "tocón de la tecnología" en un foro público y sus datos es inconsistente. Y como se mencionó anteriormente, usted no quiere dar a sus clientes "latas de gusanos" abrir porque, en última instancia, será el uno para limpiar todo.
