Esta placa de desarrollo apareci\u00f3 a principios de 2025 e incorpora un SoC Ky X1<\/strong> con un procesador RISC-V de 8 n\u00facleos. Adem\u00e1s, dice contar con un acelerador neuronal dedicado, prometiendo 2 TOPS<\/strong> (2 billones de operaciones por segundo). Aunque algunas webs lo describen como una NPU, en realidad se trata de un bloque de hardware especializado dentro del chip: un co-procesador matem\u00e1tico que acelera operaciones tensoriales o convoluciones mediante vectorizaci\u00f3n, pero no es una NPU independiente. Pero lo que s\u00ed es cierto es que est\u00e1 dise\u00f1ada para desplegar modelos de inteligencia artificial en el borde<\/strong> (AI on-the-edge<\/em>).<\/p>\n\n\n\n Imagen 1. Vista frontal de la Orange Pi RV2, usada en este art\u00edculo para ejecutar localmente un modelo de lenguaje (LLM) como Qwen2-1.5B en RISC-V.<\/p><\/div>\n\n\n\n Orange Pi liber\u00f3 recientemente software y modelos optimizados para desplegar un LLM en la RV2, lo que me dio la excusa perfecta para experimentar. En este post, te cuento c\u00f3mo logr\u00e9 hacer correr un modelo de IA generativa de forma local en esta Orange Pi RV2<\/strong> y, lo m\u00e1s importante, qu\u00e9 tal fue la experiencia<\/strong>. \u00bfEstamos ante el inicio de una nueva era de accesibilidad para la IA? \u00a1Vamos a descubrirlo!<\/p>\n\n\n\n Antes de entrar en materia, conviene repasar las principales caracter\u00edsticas de esta sistema embebido.<\/p>\n\n\n\n En el apartado de puertos, encontramos tres USB 3.0 Tipo-A para perif\u00e9ricos de alta velocidad, complementados con un cuarto puerto USB 2.0 Tipo-A ideal para teclado o rat\u00f3n. Para la visualizaci\u00f3n y el audio, cuenta con una salida HDMI y un conector de audio de 3,5 mm, ofreciendo la experiencia b\u00e1sica de un miniordenador.<\/p>\n\n\n\n Sin embargo, donde realmente destaca es en su capacidad de expansi\u00f3n y red. Posee dos puertos Gigabit Ethernet, abriendo las puertas a proyectos en los que busquemos usarla como router <\/em>o firewall<\/em>. El almacenamiento puede gestionarse a trav\u00e9s de una ranura para memoria microSD, pero podemos ir m\u00e1s all\u00e1, instalando un SSD NVMe en la ranura M.2 2280 a trav\u00e9s de PCIe 2.0 x2, lo que servir\u00e1 para trabajar con los pesados archivos de los modelos de IA.<\/p>\n\n\n\n Para proyectos de visi\u00f3n por computador cuenta con dos conectores MIPI-CSI, d\u00f3nde se pueden conectar dos c\u00e1maras, as\u00ed como un conector MIPI-DSI para conectar una pantalla. Si queremos integrar sensores, actuadores, o establecer comunicaciones, la Orange Pi RV2 dispone de un cabezal GPIO de 26 pines. Y lo mejor de todo, la placa se alimenta mediante un puerto USB Tipo-C, por lo que podremos alimentarla con un cargador de m\u00f3vil o una powerbank<\/em>.<\/p>\n\n\n\n Esta versatilidad de hardware se ve potenciada por una variedad de im\u00e1genes listas para utilizar. Para nuestro experimento con LLMs la elecci\u00f3n l\u00f3gica fue Ubuntu, por ser un entorno de prop\u00f3sito general, familiar y con un amplio soporte. No obstante, su potencial no se limita a esto. La RV2 tambi\u00e9n acepta sistemas especializados como OpenWRT, lo que, unido a sus dos puertos de red Gigabit, la convierte en una plataforma excelente para construir routers <\/em>personalizados o appliances <\/em>de red, como ya adelant\u00e1bamos.<\/p>\n\n\n\n Para esta primera prueba, me decant\u00e9 por uno de los modelos proporcionados por la comunidad de Orange Pi: Qwen2-1.5B<\/strong>, un modelo de lenguaje abierto de 1.500 millones de par\u00e1metros desarrollado por Alibaba. Era la opci\u00f3n perfecta: lo suficientemente reciente como para ser competente, y lo suficientemente ligero (en su versi\u00f3n cuantizada a 4 bits ocupa unos ~1,2 GB) para ser manejable en los 8 GB de RAM de la RV2.<\/p>\n\n\n\n Con la Orange Pi RV2 ya funcionando con Ubuntu 24.04 y conectada a internet, lo primero fue clonar el repositorio Orange Pi suministr\u00f3 binarios de una versi\u00f3n de ONNX Runtime<\/strong> adaptada a este chip. En particular, se proporcionan dos archivos wheel:<\/p>\n\n\n\n Para instalarlos ejecut\u00e9 el siguiente comando (usando Nota:<\/strong> La opci\u00f3n Tambi\u00e9n, como indican las instrucciones, agregu\u00e9 la carpeta de binarios de Python al PATH:<\/p>\n\n\n\n El repositorio incluye un script muy \u00fatil, Primero, asegur\u00e9 de tener la utilidad El script es interactivo: te pide el ID de Google Drive del modelo que quieres. Tras introducir el ID correspondiente a Finalmente lleg\u00f3 el momento de la verdad. El repositorio trae un script de inferencia llamado Donde:<\/p>\n\n\n\n El script carg\u00f3 el modelo en memoria y lanz\u00f3 un prompt interactivo. Escrib\u00ed Tambi\u00e9n decid\u00ed probar la capacidad del modelo para entender mezclas de idiomas, un fen\u00f3meno com\u00fan en el lenguaje cotidiano. Le pregunt\u00e9 directamente: \u00abWhat does ‘Je voudrais un caf\u00e9, please’ mean in English?<\/em>\u00ab. El modelo respondi\u00f3 con soltura, reconociendo tanto el franc\u00e9s como el ingl\u00e9s mezclados en la frase, y lo que es m\u00e1s, ofreci\u00f3 una explicaci\u00f3n contextual \u2014algo que me pareci\u00f3 notable trat\u00e1ndose de un modelo peque\u00f1o (1.5B). <\/p>\n\n\n\n Para estresarlo <\/em>un poco m\u00e1s, lanc\u00e9 otra instrucci\u00f3n m\u00e1s acad\u00e9mica: \u00abExplain how photosynthesis works in simple terms<\/em>\u00ab. La respuesta fue extensa, ordenada, e incluso pedag\u00f3gica. Describi\u00f3 la fotos\u00edntesis mencionando la funci\u00f3n de la clorofila, la absorci\u00f3n de luz, la producci\u00f3n de glucosa y ox\u00edgeno, y lo resumi\u00f3 con una frase clara sobre su importancia para la vida en la Tierra. Si cometi\u00f3 un ligero error cuando dijo que la clorofila absorbe la longitud de onda del color verde, en realidad la refleja.<\/p>\n\n\n\n![\"Fotograf\u00eda](\"https:\/\/jagumiel.xyz\/blog\/wp-content\/uploads\/2025\/11\/1-orange_pi_rv2_foto_real.png\")
\n<\/a>Orange Pi RV2: Una aproximaci\u00f3n a este SBC<\/h2>\n\n\n\n
Hardware<\/h3>\n\n\n\n
Variedad de im\u00e1genes<\/h3>\n\n\n\n
Pasos para instalar y ejecutar un modelo LLM en la RV2<\/h2>\n\n\n\n
Preparando el entorno<\/h3>\n\n\n\n
RiscV-KyX1-LLM-Demo<\/code> desde GitHub<\/a>. Este repositorio es el kit de herramientas esencial, ya que contiene todos los scripts y la base para ejecutar varios modelos compatibles con el SoC Ky X1.<\/p>\n\n\n\ngit clone https:\/\/github.com\/thanhtantran\/RiscV-KyX1-LLM-Demo\ncd RiscV-KyX1-LLM-Demo\/python<\/code><\/pre>\n\n\n\nInstalando el Motor de Inferencia: ONNX Runtime Adaptado<\/h3>\n\n\n\n
\n
onnxruntime_genai-0.4.0.dev1-linux_riscv64.whl<\/code>: Una versi\u00f3n especial de ONNX Runtime para IA generativa.<\/li>\n\n\n\nky_ort-1.2.2-linux_riscv64.whl<\/code>: Lo que parece ser el \u00abproveedor\u00bb o driver que permite ejecutar los modelos utilizando el acelerador neuronal \u00abKy\u00bb del Ky X1.<\/li>\n<\/ul>\n\n\n\npip3<\/code> en Python 3.12 incluido con Ubuntu):<\/p>\n\n\n\npip3 install .\/onnxruntime_genai-0.4.0.dev1-cp312-cp312-linux_riscv64.whl \\\n .\/ky_ort-1.2.2-cp312-cp312-linux_riscv64.whl --break-system-packages<\/code><\/pre>\n\n\n\n--break-system-packages<\/code> fue necesaria para instalar los paquetes a nivel de sistema. Una alternativa m\u00e1s limpia ser\u00eda usar un entorno virtual de Python.<\/em><\/p>\n\n\n\nexport PATH=\"$PATH:\/home\/orangepi\/.local\/bin\"<\/code><\/pre>\n\n\n\nDescargar el modelo LLM cuantizado preparado:<\/h3>\n\n\n\n
download_models.sh<\/code>, que automatiza la descarga de los modelos ya convertidos y optimizados. Estos modelos han sido previamente cuantizados (pesos en 4 bits) y empaquetados listos para ONNX en la RV2.<\/p>\n\n\n\ngdown<\/code> para descargar de Google Drive, y luego ejecut\u00e9 el script:<\/p>\n\n\n\npip3 install gdown \nsudo chmod +x download_models.sh\n.\/download_models.sh<\/code><\/pre>\n\n\n\nqwen2-int4-1.5b<\/code>, el script se puso en marcha, descargando y descomprimiendo autom\u00e1ticamente el modelo en la carpeta models\/<\/code>. \u00a1Y listo para usar! Con esto el modelo de la IA estaba en su sitio.<\/p>\n\n\n\nEjecutar el LLM en modo inferencia interactiva<\/h3>\n\n\n\n
llm_qa.py<\/code> que permite cargar el modelo y entablar un di\u00e1logo por consola (un estilo de chatbot<\/em> sencillo). Para lanzar el modelo Qwen2 1.5B utilic\u00e9 la siguiente orden, tal como indica la documentaci\u00f3n<\/a>:<\/p>\n\n\n\npython3 llm_qa.py -m .\/models\/qwen2-int4-1.5b -l 128 -e qwen2 -v -g\n<\/code><\/pre>\n\n\n\n\n
-m<\/code> especifica la ruta del modelo a cargar.<\/li>\n\n\n\n-l 128<\/code> establece la longitud m\u00e1xima de respuesta en 128 tokens.<\/li>\n\n\n\n-e qwen2<\/code> indica el tipo\/estructura de modelo (en este caso Qwen).<\/li>\n\n\n\n-v -g<\/code> activan un modo verboso<\/em> que imprime informaci\u00f3n de rendimiento y habilitan la generaci\u00f3n (greedy<\/em> por defecto).<\/li>\n<\/ul>\n\n\n\nPrimera prueba: Probando el LLM en castellano<\/h4>\n\n\n\n
Hola<\/code> para probar, y en unos segundos obtuve la respuesta de la IA. En efecto, el modelo respondi\u00f3 en espa\u00f1ol<\/strong> a mi saludo inicial: \u00ab\u00a1Hola! \u00bfC\u00f3mo puedo ayudarte hoy?\u00bb<\/em>. \u00a1Ten\u00edamos un asistente de IA ejecut\u00e1ndose localmente en la Orange Pi RV2! A continuaci\u00f3n, realic\u00e9 algunas preguntas simples. Por ejemplo, al preguntarle \u201c\u00bfQui\u00e9n eres?\u201d<\/em>, contest\u00f3 \u201csoy una inteligencia artificial dise\u00f1ada para ayudarte a responder preguntas y proporcionar informaci\u00f3n…\u201d<\/em>.<\/p>\n\n\n![\"Consola](\"https:\/\/jagumiel.xyz\/blog\/wp-content\/uploads\/2025\/11\/2-qwen_llm_orangepi_rv2_respuesta_hola.png\")
\n<\/a>
\nImagen 2. El modelo Qwen2-1.5B genera respuestas en espa\u00f1ol desde la Orange Pi RV2, incluyendo interacciones b\u00e1sicas como saludos o identificaci\u00f3n.
<\/p><\/div>\n\n\nSegunda prueba: Probando otros idiomas y preguntas m\u00e1s complejas<\/h4>\n\n\n\n
![\"Terminal](\"https:\/\/jagumiel.xyz\/blog\/wp-content\/uploads\/2025\/11\/3-qwen_llm_orangepi_rv2_traduccion_y_fotosintesis.png\")
\n<\/a>